基于深度学习的舞蹈视频分类

王鹏程

（四川大学计算机学院，成都610065）

0 引言

基于计算机视觉的人体行为识别一直在视频分类领域有所应用。在舞蹈视频中获得舞蹈的视频画面（如图1），利用视频行为识别技术，分析舞者的姿态特征和时间顺序。

图1 舞蹈动作画面

目前，国内外已经有很多专家学者对姿态估计问题进行了研究，并取得了不错的研究成果。根据特征提取方式的不同，主要可以分为两类：传统特征提取法、深度学习法。下文将对这两个技术方向做简要介绍。

传统的特征提取方法，专家学者在这方面做了大量研究[2]：基于时空特征点的识别方法，如Laptev等人提出的Harris3D特征点检测[3]；基于轮廓的全局特征的识别方法，如Bobick等人使用帧差处理特征集中区域，提取了运动能量图和行为历史图，以模板匹配的方式进行行为识别[4]；Wang等人在2013年提出的iDT（improved Dense Trajectories）算法[5]效果较好。iDT算法是DT（Dense Trajectories）算法[6]的改进。该算法使用光流场来获得视频序列中的一些轨迹，再沿着轨迹提取HOG（Histogram Of Gradient）[7]、HOOF（Histograms of Oriented Optical Flow）[8]、MBH（Motion Boundary Histograms）[9]、Dense Trajectory（密集轨迹）4种特征。其中，除了HOG特征基于灰度图计算外，其他几个特征均基于Dense Optical Flow[10]（密集光流）计算。然后利用FV（Fisher Vector）[11]方法对上述特征进行编码，最后基于编码结果，完成对SVM分类器的训练。

iDT算法主要的改进点是iDT算法利用视频前后两帧图像之间的光流以及SURF[12]关键点进行匹配，从而消除/减弱相机运动带来的影响，改进后的光流图像被成为WOF（Warp Optical Flow）。除此之外，为了消除视频中人体身上的匹配点对WOF图像计算的影响，iDT算法还使用了人体检测技术检测人体位置，iDT算法在HMDB51数据集[13]的识别准确率为57.2%，在UCF50数据集[14]的识别准确率为91.2%。……