孙 宁, 郝一嘉, 宦睿智, 刘佶鑫, 韩 光
(南京邮电大学 宽带无线通信技术教育部工程研究中心,江苏 南京 210003)
基于视频的行为识别一直是计算机视觉领域的研究热点。在早期的工作中,研究思路主要集中在使用人工特征与基于浅层学习的分类器相结合上。文献[1]从90帧图像组成的三维(3D)时空卷(spatial-temporal volume,STV)中提取3D特征,并在这些3D特征上训练最近邻分类器对视频中的行为进行分类。文献[2]提出了密集轨迹(dense trajectories,DT)算法,通过对图像序列中的多尺度密集关键点进行采样和跟踪,构建视频的密集轨迹;接着在每个密集关键点附近提取多种特征[3-5],并利用特征袋(bag of features,BoF)[6]模型对每个密集点构建时空金字塔(spatial-temporal pyramid,STP);最后在STP数据上训练支持向量机(support vector machine,SVM)分类器,学习视频的时空特征进行行为识别。改进的密集轨迹模型(improved dense trajectories,IDT)[7]是对DT算法的改良。IDT使用SURF算子[8]提取关键点,并结合相邻2帧的光流来缓解摄像机运动的影响。在特征编码阶段,采用Fisher向量[9]代替DT算法中的BoF模型。IDT算法能够有效地消除摄像机运动对图像的不利影响,达到更佳的行为识别效果。
与基于人工特征和浅层学习的行为识别方法相比,基于深度神经网络的行为识别方法可以从大量训练数据中学习高度非线性的时空语义特征,大大提高了行为识别的性能。然而,在现有的基于深度学习的行为识别方法中,都是按照某种固定的采样规则对输入视频进行图像帧采样,对于所有的采样图像都无差别对待,没有考虑不同图像帧对于行为识别重要性的不同。……