连续手语识别中的文本纠正和补全方法

，*

（1.湘潭大学计算机学院·网络空间安全学院，湖南湘潭 411105；2.中国科学院计算技术研究所，北京 100190）

0 引言

随着残疾人信息无障碍建设的发展，自然手语和汉语互译越发重要，手语合成旨在将汉语语句翻译为符合手语语法的连续手语动作视频；而手语识别旨在将连续手语动作视频翻译为通顺可懂的汉语语句。手语识别面临两个难题：一是手语单词的边缘检测和时域分割；二是识别结果的手语文本语义可懂度的提升。近年来第一个难题已经得到有效解决，而第二个难题还处于探索阶段，本文基于该难题展开研究。

自然手语是一种视觉语言，有其自身的语法规则和特点。用自然手语表述事情时，通常把描述主体排在前面，然后再对主体进行描述，即宾语前置，其语序和汉语语序完全不同。此外还存在否定词后置、量词省略、动名词一体，没有“双重否定”等规则［1］，如表1、2 所示。自然手语和汉语不同的语法规则使得连续手语识别结果的手语文本语义模糊，造成了健听人理解困难。此外，多数健听人和少数听障人掌握的手语为文法手语，即按照汉语语法顺序表达手语单词，这部分人对自然手语的理解也存在比较大的障碍。因此如何提高连续手语识别结果的可懂度，非常值得研究探讨。

在连续手语识别领域，目前多数研究为对视频的逐词翻译，得到的结果是不通顺的语句，并且受限于手语的复杂性和多模态性，难以收集和注释大规模的连续手语数据集。……