基于运动学动态图的人体动作识别方法

肖志涛，张 曌，王 雯

（天津工业大学电子与信息工程学院，天津 300387）

基于RGB-D数据人体动作识别已成为计算机视觉中重要的研究方向。RGB-D数据包括由RGB相机拍摄的RGB数据和由深度相机拍摄的包含物体和相机之间距离信息的深度图像组成。此外，RGB-D数据不受照明、阴影的影响，所以基于RGB-D数据的人体动作识别方法具有更出色的性能。

为了获得RGB-D视频中的运动信息，文献[1-3]提出了场景流的方法，但是场景流仅提供场景中运动目标的速度信息，因此场景流提供的运动信息并不充分。文献[4]提出了基于散度、旋度、错切运动学特征的描述符，增强了运动目标的局部运动。文献[5]使用散度、旋度等运动学特征，证明了运动学特征有尺度不变性，并且此特征可以逐帧计算。文献[6]使用排序池化算法把视频映射为外观动态图，并利用外观动态图和CaffeNet进行动作分类。

人体动作的执行时间只占视频中的一部分帧，视频中含有与动作无关的冗余帧，只对视频逐帧计算运动学特征会受到冗余帧的干扰。本文提出了一种基于运动学动态图和双流卷积网络的人体动作识别方法。通过视频的场景流向量计算视频的散度、旋度、错切运动学特征图序列。使用分层排序池化[7]把运动学特征图序列映射为运动学动态图，得到视频的运动信息。把原始视频对应的外观动态图[6]和运动学动态图输入到双流卷积网络中以实现人体动作识别。基于运动学动态图和双流卷积网络的人体动作识别方法融合了外观信息和运动信息，不仅充分表征了视频的动态，而且使用了视频中具有丰富运动信息的运动学特征。……