基于人体姿态感知的运动相似度计算系统设计与实现

葛亚坤

（北方工业大学信息学院 北京市 100144）

1 引言

随着短视频的兴起，人们对跟随视频学习动作越来越感兴趣。运动能够缓解身体疲劳，使人们可以更加轻松地学习生活。但是观看运动类视频后盲目跟练可能伤害身体。现有的视频教学软件缺少跟练效果的反馈，因此，开发一个操作简单、交互自然、反馈完善的人体运动相似度计算系统是必要的。

2 相关工作

人体姿态感知技术可得到图像中所有人体的骨骼数据信息。在获取二维骨骼关键点时，文献[1]提出了基于DeepPose 的人体姿态感知方法，第一次使用深度学习技术进行人体姿态感知。文献[2]建立空间融合模型，提出了基于CNN 网络的人体姿态感知方法。文献[3]介绍了基于部件响应图预测骨骼关键点的方法。文献[4]提出了OpenPose 的人体姿态感知方法。在获取三维骨骼关键点时，文献[5]使用了基于序列帧的光学运动捕捉系统方法。文献[6]提出了机械式运动捕捉系统的微调方法。文献[7]提出了基于kinect 三维骨骼节点的动作识别方法。相似度计算技术是人体运动相似度计算系统中实现运动学习结果对比反馈的关键技术之一。文献[8]提出了基于商品相似度的协同过滤推荐方法。文献[9]提出了改进的Dynamic Time Warping （DTW）方法。文献[10]使用差异矩阵比对运动相似度。在研究了人体姿态感知和运动相似度计算方法存在的优缺点之后，本文设计并开发了人体运动相似度计算系统。

3 基于人体姿态感知的运动相似度计算系统设计与实现

为提升用户使用的便捷性和体验感，达到计算并分析运动相似度的主要目的，进行课题调研与需求分析，本文设计的运动相似度计算系统使用户可以根据模板视频的分解动作进行学习并提交系统等待评分反馈，获得反馈后可以及时修正该分解动作。

3.1 系统模块划分

本文设计的运动相似度计算系统主要分为五个主要模块，分别是视频加载模块、动作学习模块、姿态感知模块、相似度计算模块和人机交互模块。

3.2 系统模块实现

3.2.1 视频加载模块

视频加载模块的功能为将多种种类的模板视频加载到系统中，供用户进行有针对性、选择性地学习。视频加载模块分为两大部分，分别为模板视频加载和用户视频加载。模板视频加载文件夹包括调研后选择的六类热门运动训练项目，分别为戏曲、瑜伽、太极、健身操、广场舞、流行舞。每类中均有多种片段供用户选择作为模板视频进行跟练。用户视频加载文件夹为动作学习模块中用户保存的跟练视频，可加载进入系统总结经验。

3.2.2 动作学习模块

动作学习模块供用户观看视频加载模块导入的模板视频，并根据模板视频的动作跟练。用户开始学习时，可以选择学习视频关键动作，待所有动作学习完成后，再跟练完整视频。选用红外传感器实时跟练拆解动作，并根据反馈结果及时矫正动作。完成拆解动作学习后，选用单目摄像头进行跟练并保存视频，方便姿态感知模块提取二维骨骼关键点。单目摄像头和红外传感器需要简单的初始化。

图1：人体运动相似度计算系统模块图

3.2.3 姿态感知模块

姿态感知模块分为两大部分，分别为二维骨骼关键点提取和三维骨骼关键点提取。完成人体姿态感知后，骨骼数据以关键点连线形成骨架的形式绘制在视频中人体相应位置，使用户可以清晰明了地查看。

（1）二维骨骼关键点提取。为了较准确地提取二维骨骼关键点，本文采用优化的vgg-19 网络获取图像特征，其次训练关键点置信度网络预测骨骼关键点的位置；同时根据亲和度向量网络输出结果生成骨骼关键点对的集合；接着聚类关键点；获取人体完整的二维骨骼数据，从而完成二维骨骼关键点提取。

（2）三维骨骼关键点提取。传统提取三维骨骼关键点的运动捕获技术需要宽阔的场地和繁杂的设备，不便于家庭或者个人用户使用。因此，使用红外传感器提取三维骨骼关键点。获取深度图像后创建分割蒙版，训练分类器并预测骨骼关键点，方便提取用户的三维骨骼关键点。

3.2.4 相似度计算模块

相似度计算模块根据模板视频和用户视频姿态感知的骨骼数据计算运动相似度。该模块主要有三个功能，首先，进行视频序列的人体姿态相似度的计算，计算结果换算为百分制的数值，方便用户理解。数值越高，相似度越大。用户可以查看视频序列相似度得分柱状图，从而观察自己肢体的动作得分。之后，查看学习视频图像帧的人体姿态相似度，观察每个图像帧的相似度，计算结果为百分制的数值。最后，查看视频人体每部分肢体的相似度，通过选择各肢体部位，生成整个时间序列上该肢体相似度计算结果的曲线，更细致地提供需要训练修正的时刻信息，以便针对性地纠正动作。

3.2.5 人机交互模块

人机交互模块主要包括功能界面和反馈提示。为方便用户使用功能界面实现各种功能，系统首页展示给用户一些操作指导的使用说明文字。功能界面中将系统设计并实现的功能通过按钮、文字等方式引导用户使用并实现各种功能的效果。反馈提示为用户根据系统提示进行相应操作后，系统将提供基于该操作对应的反馈结果供用户查看。为方便用户使用，系统增设了音频提示等功能。

4 实验结果与分析

本系统硬件环境为Intel(R)Xeon(R) E5-2620 2.40GHz 的CPU、32GB 内存、NVIDIA Quadro M4000 显卡；软件环境为Windows10操作系统，Pycharm2018.1.2；编程语言为Python3.6。系统的图像界面开发工具为Python 的PyQt5 工具包。

如图2所示为系统人体姿态感知界面。其中界面的左上侧区域为选择的模板视频，右上侧区域为选择的用户视频。对视频每帧进行人体姿态感知，并计算相似度。在下侧区域展示绘制于视频中的二维骨骼关键点及相似度得分。

图2：人体姿态感知界面

如图3所示，进行计算相似度后，分别得到视频序列与图像帧的相似度得分可视化结果，由得分曲线追溯用户动作得分较低帧数并进行有针对性地纠正。

图3：运动相似度计算界面

5 总结展望

为解决视频教学软件反馈较少的问题，本文设计并实现了运动相似度计算系统。该系统基于本文使用的人体姿态感知、运动相似度计算的方法，实现了系统的功能。该系统主要分为五个主要模块，分别是视频加载模块、动作学习模块、姿态感知模块、相似度计算模块和人机交互模块。针对每个模块的功能与实现进行了清晰的说明，将系统中每个模块的功能效果进行了展示。系统运行效果表明，本文设计的运动相似度计算系统运行稳定、效果良好。