基于视频图像数据的人体行为识别技术是计算机视觉中最活跃的领域之一，在人机交互、视频检索、虚拟现实和视频监控等领域有非常广泛的应用。行为特征提取是实现人体行为识别的关键一步，早期的研究以人工构造特征为主，但在不同任务环境下，人工构造的特征具有差异性，其模型参数不具备泛化能力，且对复杂背景具有盲目性的缺点。随着深度学习技术的飞速发展，采用神经网络自学习技术获取的特征及分类器能够发现特征间的隐藏关联，与手工构造特征的方法相比，对行为理解与识别问题具有更好的鉴别能力。但是，面临各种真实环境的复杂性、现实场景的多样性以及运动人体的差异性，正确理解视频图像中的人体行为意图仍极具挑战。因此，如何在视频数据中提取表征关键信息的有效特征，以提高人体行为特征提取和分类识别的准确性，成为该领域需要解决的关键问题。课堂教学重点针对视频监控和视频检索两种应用场景，基于稀疏自编码器和3D卷积神经网络方法，开展人体行为识别方法的理论和实验教学。

首先，为解决视频监控中人体几何建模困难，行为姿态特征描述过程复杂的问题，介绍了基于稀疏自编码器的人体行为识别方法。为了得到只包含人体动作信息的数据，所有动作序列的图像先利用ViBe（Visual Background extractor）背景建模法进行运动目标检测，并进行质心配准和标准化处理，进而利用K-means方法消除视频中相似的冗余帧。然后，通过稀疏LSTM（Long Short Term Memory）自编码器进行自学习关键帧提取。进一步地，为了寻求更有效的特征，挖掘出关键帧中的动作信息，利用稀疏自编码器(Sparse Autoencoder，SAE)自动提取人体姿态特征，建立自学习姿态字典。最后，利用Lasso求解待测样本在字典下的系数，并将其送入SVM（Support Vector Machine）分类器实现人体行为识别。通过在公开数据集DHA和自采集视频中的实验，验证方法的有效性。

其次，为了解决视频内容检索中包含人体行为和行为场景的整体特征提取困难，海量高维视频数据处理过程复杂的问题，介绍了基于改进3D卷积网络的人体行为识别方法。通过K-means方法调整视频长度，以消除视频中相似的冗余帧，并进一步利用稀疏LSTM自编码器进行自学习关键帧提取，以达到简化数据量的目的。为了获取动作视频序列的整体时空信息，利用改进的3D卷积网络进行特征提取，通过递归特征消除可以进一步提升特征的表达能力，以达到特征降维、提高分类识别准确性的目的。通过在公开数据集UCF101和自采集视频数据集中的实验，验证该方法的有效性。