基于注意力机制和残差网络的视频行为识别

李建平,赖永倩

(东北石油大学 计算机与信息技术学院,黑龙江 大庆 163318)

0 引 言

人体行为识别[1]指从一段视频中通过某种方法提取关键动作特征来识别出不同的人体动作。随着互联网的高速发展,人体动作识别仍是一项有挑战的课题。提取视频中的动作行为特征,可以利用视频帧图像处理、深度学习等方法,使得计算机能学习识别到人体动作的行为变化。行为识别研究在智能监控、智能医疗等领域都有广泛的应用。

早期行为识别中,由于技术限制,传统视频行为识别算法一般是通过手工构造提取特征,例如利用方向梯度直方图HOF/HOG[2],运动边界直方图MHB等传统的提取特征方法,但该类方法是根据特定目的设计的。Wang等人[3]根据光流场的原理,研究了一种用于视频运动轨迹的提取方法,即密集轨迹跟踪算法(DT)。经过对光流图像和特征编码方式等方面改造后形成iDT[4]算法,相比其他传统算法有很好的效果和鲁棒性。但随着技术发展,其他识别方法也涌现而出。

随着深度学习方法的出现,学者们也纷纷将其应用到视频中进行人体行为识别。在特征学习方面,它比传统的学习算法更有效。Simonyan K等人[5]提出一种融合时间和空间两个维度的双流卷积网络,但计算较复杂且无法实现端到端识别;Donahue等人[6]利用LSTM方法对视频序列进行建模,但由于模型复杂度高,导致最终的识别率也不是很高。Tran等人[7]首次介绍了利用三维卷积神经网络进行视频图像特征提取的方法,即C3D网络模型,但是参数量大导致训练周期长且易过拟合。……