基于单模态的多尺度特征融合人体行为识别方法

刘锁兰，田珍珍，王洪元*，林龙，王炎

基于单模态的多尺度特征融合人体行为识别方法

刘锁兰1，2，田珍珍1，王洪元1*，林龙1，王炎1

（1.常州大学 计算机与人工智能学院 阿里云大数据学院 软件学院，江苏 常州 213164； 2.江苏省社会安全图像与视频理解重点实验室（南京理工大学），南京 210094）（ ∗ 通信作者电子邮箱 hywang@cczu.edu.cn）

针对人体行为识别任务中未能充分挖掘超距关节点之间潜在关联的问题，以及使用多模态数据带来的高昂训练成本的问题，提出一种单模态条件下的多尺度特征融合人体行为识别方法。首先，将人体的原始骨架图进行全局特征关联，并利用粗尺度的全局特征捕获远距离关节点间的联系；其次，对全局特征关联图进行局部划分以得到融合了全局特征的互补子图（CSGF），利用细尺度特征建立强关联，并形成多尺度特征的互补；最后，将CSGF输入时空图卷积模块中提取特征，并聚合提取后的结果以输出最终的分类结果。实验结果表明，在行为识别权威数据集NTU RGB+D60上，所提方法的准确率分别为89.0%（X-sub）和94.2%（X-view）；在具有挑战性的大规模数据集NTU RGB+D120上，所提方法的准确率分别为83.3%（X-sub）和85.0%（X-setup），与单模态下的ST-TR（Spatial-Temporal TRansformer）相比，分别提升1.4和0.9个百分点，与轻量级SGN（Semantics-Guided Network）相比，分别提升4.1和3.5个百分点。可见，所提方法能够充分挖掘多尺度特征的协同互补性，并有效提高单模态条件下模型的识别准确率和训练效率。

人体行为识别；骨架关节点；图卷积网络；单模态；多尺度；特征融合

0 引言

随着人工智能的兴起和智能化时代的不断推进，人体行为识别技术在智能安防、自动驾驶、异常行为监测、虚拟现实等方面有许多实际的应用。……