基于嵌入式手语翻译手套的研究

徐大杰+康书宁+李松林

摘要：本系统设计一款翻译手语的低功耗便携式手套，它能有效地解决正常人与聋哑人的交流障碍问题。系统使用Cortex-A53为主处理器，以Linux为平台，通过数据端采集手部数据，利用改进的算法解析出正确手势，最后经语音合成模块进行语音播放。该智能手套具有低功耗、智能翻译和便携式等显著优点。

关键词：微处理器；语音合成；弯曲度传感器；智能翻译

中图分类号：TH878 文献标识码：A 文章编号：1007-9416（2017）06-0063-02

手语是一种独特的视觉语言，是聋哑人表达情感、同外界沟通的重要工具。随着社会的进步，聋哑人这一弱势群体逐渐受到了社会的关注。第六次全国人口普查公布的数据显示，全国各类残疾人总数为8502万人，其中听力残疾2054万人，言语残疾130万人，分别在残疾人总数的24.16%和1.53%。聋哑人只能通过手语进行相互交流，他们与正常人的交流存在极大的障碍。本系统设计了一款低功耗便携式的智能手语翻译手套。通过对硬件的改善，具有低功耗、便携、数据量小等特点。相比于其他手势捕获技术，能精确的记录手势的空间数据，不存在手势死区。

1 总体结构与工作原理

系统以低功耗、便捷、准确翻译为设计原则。数据端以STM32为微处理器，采用弯曲传感器、接触式传感器、陀螺仪等传感器分别进行手指弯曲程度、指尖是否接触、手势在空间中的姿态等数据的采集。将采集到的手势数据经WIFI传到识别端。识别端使用Cortex-A53处理器，使用改进的算法，与SD卡中的模板手势库匹配，最终完成手势动作捕捉并翻译成文字。翻译的文字送入语音模块进行语音合成。系统框图如图1。

2 系统设计

2.1 手指弯曲传感及手指接触式传感器

为获取手指的准确的姿态数据，本设计采用Flex4.5弯曲传感器，通过弯曲传感器自身物理特性，将弯曲度体现为阻值的变化。电路中进一步将阻值变化转化为电压的变化，最后将电压送入ADC进行量化，从而建立手指弯曲度与AD值之间的映射关系。

如图2，输入同向端的电压为：，ADC采集的AD值为：，其中Vi为A/D输入通道的电压值，Rx为弯曲传感器的电阻值，N为A/D转换器的分辨率。如图2所示。

2.2 手勢姿态获取模块

为获取手部在空间的姿态，如加速度、欧拉角、速度，系统采用MPU9250。相比MPU6050，其动态特性、处理速度和数据精度等方面都有很大的提升。在通信协议上，支持400Khz IIC和1Mhz SPI。在实时性要求更高的场合，可以使用可编程中断，直接读取传感器和中断寄存器，最大可支持20Mhz SPI。同时它也是一款超低功耗的传感器，供电电压可使用2.4V-3.6V，在正常工作下，地磁计的工作电流仅为280uA；加速度计电流为8.4uA；陀螺仪的电流为3.2mA，在休眠模式下电流为8uA。

2.3 语音合成模块

为解决聋哑人与正常人的交流问题，系统中使用语音合成模块，将翻译的文本信息转换成语音，设计中选取XFC5152语音合成模块。

该语音合成模块，支持任意中文文本、英文文本的合成，支持中英文混读。在通信方式上，支持UART、IIC、SPI三种通讯方式。具体工作框图如图3。

3 调试结果

本实验选取3个受试者，分别对198个常用孤立手语词、英文字母和阿拉伯数字的手势采集5遍，选择任意2位，每位中的4组数据作为手势训练样本集，利用Baum-Welch算法进行多次训练，为每个手势训练独立的HMM模型参数，得到稳定的测试模板，方便用户直接使用。以其中一次实验数据分析，数据采集周期为30ms，通过WIFI发送至电脑。

识别端配置UART参数，包括波特率、数据位、停止位等和WIFI的IP和端口等参数。开始接收手语手套的数据，并利用DTW和HMM算法与模板手势库进行匹配，并识别出最优手势并显示。图4为实际手势识别过程。

4 结语

本系统设计并实现了一款便携低功耗智能翻译手套，手语数据经改进过的算法处理并识别，最终翻译成文本信息并进行语音播报。通过对硬件的改善，使得功耗得到降低，单只手套的工作电流约为15.3mA。该系统对常见手势的识别率高，识别速度快，并且结构简单、便于携带、功耗低，可广泛运用于聋哑人与正常人的交流中，具有很好的前景和应用市场。

参考文献

[1]赵燕潮.中国残联发布我国最新残疾人口数据[J].残疾人研究，2012，（04）：11.

[2]白瑞霞，王俊珍.高校手语翻译专业实践教学探索[J].南京特教学院学报，2012，（04）：8-14.

[3]GB/T 24435-2009，中国手语基本手势[S].2009.endprint