曾 瑞, 张海翔, 马汉杰, 蒋明峰, 冯 杰
(浙江理工大学 信息学院, 杭州 310018)
近来,手势生成的工作多用于从语音或文本中产生协同的手势[1-3],以及实现手势数据的增强[4-5]。 生成式对抗网络因其在生成上的优异表现,在手势生成上也得到了广泛的应用[1-4]。 但是,对于给定话语生成对应手势的主要问题是,手势作为非语言信号辅助语言,使得交流更加顺畅,却难以单独表达语义。 这是由于语音到手势的高度非确定性映射,即使是同一个人说相同的短语,也可能在每次重复时伴随不同的手势动作,并且生成的结果会特定于个人手势风格。 另外,手势数据增强工作主要针对的是真实的手势,并且大多数都是将人体的骨骼关节点当做图像的一个像素,将动作的一帧当做一个图像,而没有考虑到骨骼关节点间丰富的人体结构信息,从而可能导致生成的结果是扭曲的、不自然的。 研究发现,图卷积神经网络能够处理非欧式空间的数据,而不同于传统的网络模型如CNN、LSTM 等只能处理欧式空间的网格结构的数据。 因此,为了能更好地利用手部的结构信息,本文采用了基于图卷积的生成式对抗网络模型来直接生成手势骨架。 实验结果表明,文中的方法对手势骨架的生成的确有了更自然更高质量的结果。 本文工作的主要贡献概括为2 个方面:
第一,提出了基于图卷积神经网络的手势骨架生成方法,可以有效地将手部的结构信息编码到手势建模中。……