基于RGB-D图像弱监督学习的3D人体姿态估计*

申琼鑫, 杨 涛, 徐 胜

(福州大学 物理与信息工程学院,福建 福州 350116)

0 引 言

人体姿态估计是对图像或视频数据中的人的关节点位置进行检测并还原的过程。根据估计结果的数据维度的不同分为2D人体姿态估计和3D人体姿态估计。目前,2D人体姿态估计技术获得了较大进展[1]。Toshev A等人[2]首次提出了人体关键点解决方案,使用级联形式的卷积神经网络(convolutional neural network,CNN)完成更准确的姿态估计。现在大多数的3D人体姿态估计都是在2D姿态估计的基础上完成的。Wang K等人[3]提出长短期记忆( long short-term memory,LSTM)网络架构,利用自顶向下的反馈机制,从而达到优化关节点的目的。Bogo F等人[4]提出自监督校正机制,其本质是利用了同一个姿态的二维特征和三维特征的一致性。上述研究从不同的方向上去优化关节点的位置,在效果上都取得了不同程度的提升,但基本上采用的的都是强监督学习模型,其需要大量的带标签的数据。

本文提出一种基于RGB-D图像的弱监督学习模型实现3D人体姿态估计的方法。采用一种端到端的弱监督模型,解决数据标签不足的问题,并在弱监督模型中对生成的2D热图进行积分回归,克服基于热图估计的方法中所存在的缺陷,同时改善3D回归网络模块,以实现减少网络运算量,降低训练时间的目的。

1 3D人体姿态估计的实现原理与方法

本文所使用的网络整体实现具体框架如图1所示。1)将深度图像或者彩色图像作为网络输入；2)图像数据通过2D姿态估计模块生成热图，即H2d；3)将热图进行积分回归,生成对应的关节坐标J2d；……