建筑工人上肢康复训练虚拟现实系统软件设计

余楠兮， 方晓柯， 邹晓滢， 覃亚伟

(1. 中航工业北京长城计量测试技术研究所， 北京 100095； 2. 东北大学 信息科学与工程学院， 辽宁 沈阳 110819； 3. 华中科技大学 土木工程与力学学院， 湖北 武汉 430074)

近年来，我国的经济发展水平不断提高，建筑工程市场迈入了快速发展时期。城市规模不断扩大的背后是建筑工程投资的快速增长，建筑业已经成为促进国内经济迅猛发展的重要支撑产业中的一部分。而经调查，全日制建筑工人的总工伤率几乎是全国工伤率的两倍[1]，大量建筑工人无法继续参与劳动，失去经济来源。然而，为了使建筑工人在工作中更少地受到伤害，现有的研究主要集中于正式开始工作前对他们的安全教育[2,3]，针对其伤后康复训练的研究较少，且训练价格昂贵。这意味着不仅需要加强对建筑工人的教育和培训，同时也应该对已受伤的建筑工人提供医疗帮助，尽量降低治疗成本，减少伤者的经济负担。据了解，近30%的建筑工人因为上肢受到伤害，无法进行正常的日常活动，遭受着极大的伤痛与折磨[4]。因此，对建筑工人进行低价高效的上肢康复训练是十分必要的。

在上肢康复方面，Kikuchi等[5]研制了六自由度康复机器人系统来带领患者上肢进行康复训练；邢科新等[6]将气动肌肉驱动机器人与虚拟现实技术相结合来进行针对手部功能的康复训练；李军强等[7]利用外骨骼带动患者在虚拟场景中进行漫游训练；李超等[8]则利用机械摇杆对患者进行阻抗训练与主动训练。总之，在当前结合虚拟现实技术的康复系统之中，大多数系统使用的硬件价格昂贵，设置复杂，且需要医疗人员全程看护，明显不适合经济条件极差的建筑工人群体。

Kinect是微软公司发行的一种外部传感器设备，它操作简单，价格低廉，在近几年成为了体感游戏领域的热门产品。显然，与其他高价传感器相比，Kinect更加适合经济条件不佳的建筑工人群体。在康复训练过程中，患者能够积极主动进行训练的意识对其自身恢复十分有利，而将虚拟现实技术应用于康复治疗中，可大大增加训练的沉浸感，优化训练效果[9]。而且，虚拟现实技术能够针对患者的情况做到大量密集的重复性训练，使其机体功能得到最大程度的训练[10]。

在此背景下，本文针对需要进行上肢康复训练的建筑工人，利用虚拟现实技术构建了建筑工人上肢康复训练系统，阐述了系统的设计方案、功能实现和运行流程，减少传统一对一康复训练带来的经济负担，增加建筑工人在家自行进行康复训练的可行性，减少医疗资源浪费，为患者带来更好的训练效果，从而使其更快更好地恢复日常生活，提高生活质量。

1 系统方案设计

1.1 系统功能需求分析

中壮年建筑工人占到职业灾害总量的2/3；在已经遭受职业灾害的工人中，95.9%没有接受过正规职业培训[11]。因此，对上肢受伤且影响日常生活的建筑工人来说，在必要的治疗基础上还需要增加相应的康复训练，最佳为低成本且高效的康复训练方案，而虚拟现实技术作为一种新型康复策略，可以避免医疗资源的过度使用且减少浪费，为建筑工人的上肢功能康复提供新思路。

根据国家明确提出且提倡的“三级康复体系”理论[12]，康复治疗的首要目的就是恢复日常生活，即针对建筑工人上肢受伤的情况，提供有效的上肢康复训练。因此可以选择现代室内房间为背景，使建筑工人从心理上感到更接近日常生活，从而增加康复训练的沉浸感，使他们更愿意进行主动训练，以达到更佳的治疗效果。患者在训练过程中需要与训练的场景进行交互，所以系统需要采集患者上肢的运动数据并传输到计算机，为实现二者之间的交互提供支撑。因此在训练过程中，按需求设计出来的训练动作需要有效、可靠且安全。

根据功能需求分析，将针对建筑工人的上肢康复训练系统分为信号采集与处理部分、虚拟场景部分与康复训练部分。

1.2 康复训练系统方案设计

整体的康复系统流程如图1所示。

图1 康复流程

(1)信号采集与处理部分：用Kinect对患者上肢的动作信号进行采集与处理，并为Unity3D虚拟现实环境提供人体运动信息(关节点位置信息)。

(2)虚拟现实场景部分：用Unity3D已有的功能来设计与实现所需要的虚拟现实场景。该软件属于游戏引擎，有优秀的物理系统，同时支持大量插件，可以打造出贴近现实的场景，使患者主动参与有趣的康复训练，从而达到更好的锻炼效果。而为了使患者的上肢能够在系统中与训练时的虚拟场景交互，可采用中间件来实现这一部分的功能。通过中间件，将Kinect获得的骨骼关节点信息与虚拟场景中的预设部分进行比较，从而获得反馈。

(3)上肢训练部分：设计恰当的训练动作，在保障安全性的同时，使患者上肢得到康复。并将设计出的动作通过Unity3D录入虚拟现实场景中，使整个系统可以实现交互。

本设计主要是针对建筑工人的上肢康复训练虚拟现实系统进行软件设计，对设计的康复动作进行记录，并在电脑上对该动作进行处理，在患者一定程度的康复之后，让患者在Kinect前完成医生安排的动作，记录后对动作的完成情况进行分析，从而对患者的康复情况进行评估。

1.3 康复训练轨迹的选择

(1)直线运动轨迹设计

研究表明，当上肢受伤的患者在实验要求下，对一定目标进行伸展运动时，肩肘关节的不协调对上肢沿直线进行的运动有明显的影响[13]。建筑工人在受伤后，在肩肘关节变得不协调的同时，肌肉力量也会下降，因此上肢对抗重力的能力与伸展的能力都会受到限制。若针对肩肘关节进行伸展练习，上肢的不协调与肌无力的情况应该会有好转。而经试验，这种方法的训练效果比传统的上肢训练方法更好[13]。

故而，本实验选用直线运动轨迹为康复训练的轨迹之一，目的是锻炼患者的上肢关节协调功能与其伸展功能。

(2)向外圆周运动轨迹设计

本研究小组通过实地调研50个典型建筑工地发现，在很多受伤的建筑工人中，尽管上肢的外伤与痉挛等情况得到了一定程度上的治疗，但日常生活中所需的运动功能仍不能达标。因此，这种运动功能障碍可能是由运动协调功能的异常引起的，即可能是由脑损伤引起的，其具体状况为异常的协同作用。经过对上述情况的定量研究发现，损伤后残存的肌肉活动的特点为肩部外展肌群与肘屈肌群的协同收缩活动，肩部内收肌群与肘伸肌群的协同收缩活动[14]。

而向外圆周运动就可以对上述肌群进行锻炼，即肩外展与肘伸展，肩内收与肘屈曲的共同训练，恰好可以对脑损伤所出现的上肢协调功能异常进行针对性训练。

因此，向外圆周运动轨迹同样也被选择为本次康复训练的轨迹之一，目的是为了更好地锻炼肩肘关节的屈伸状态，同时更好地锻炼上肢的协同与分离运动。

(3)训练背景设计

为了符合日常生活的训练背景，并克服由Kinect “鱼眼”摄像头的特殊功能造成的采集数据的一定误差，这里应尽量避免关节部位的遮挡，并且现场环境应尽量避免使用吸收或镜面反射的材料，选择“擦窗户”作为基本动作进行设计。

2 系统功能实现

2.1 信号采集与处理部分

由于建筑工人的上肢康复训练需求量大，重复性强，因而希望尽量降低训练的成本；又因为训练目的是使工人上肢能满足生活所需，因此训练中对上肢动作的捕捉不需要极高的精度，所以，这里选择Kinect作为动作捕捉的传感器。

如图2所示，Kinect的硬件部分包括：一个红外投影机、一个红外摄像头、一个RGB摄像头，底部还有一个马达可以改变Kinect的俯仰角度，它的内部还设置了一组麦克风，用于语音辨识。

图2 Kinect硬件

Kinect传感器提供了三类原数据，包括彩色视频流(Color Stream)、深度数据流(Depth Stream)、原始音频数据(RawAudio Stream)，分别对应身份识别(Identify)、骨架跟踪(Skeletal Tracking)、语音识别(Speech Pipeline)三个处理过程，从而实现人体多部位的跟踪、识别和重建功能[15,16]。

Kinect传感器可以通过获得人体20个关键关节点的三维坐标信息来获取整个人体不同关节点的运动数据信息，如图3所示。

图3 Kinect 能够追踪的人体关节点名称和分布

为了能够在虚拟现实场景中获得人体上肢的运动情况，这里可以运用YuYuYouEr的中间件对Kinect获得的关节点信息进行处理。通过获取的人体上肢的骨骼关键关节点的实时位置来跟踪与获取人体模型的动作变化。

2.2 虚拟场景部分

在Unity3D软件中搭建现代室内房间的背景，如图4所示。

图4 Unity3D软件中搭建的室内模型

为使伤后的建筑工人进行康复训练，并获得较好的训练体验，在将中间件成功导入场景之后，需要将Kinect体感信号的位置、角度、大小与场景进行匹配，还要调整人体与背景场景之间的比例大小与坐标关系，使Kinect的人体骨骼等信号可以在整个房间场景中，以合适的大小和位置、角度搭建体感环境，调整后如图5所示。

图5 导入人体关节信息

2.3 康复训练部分

在康复训练部分，首先需要设计出合适的训练轨迹，再用Unity3D进行实现。主要分成下列几个步骤：(1)按照选择的康复轨迹进行污渍的生成(轨迹有四种，分别为左手的直线运动轨迹、左手向外圆周运动轨迹、右手直线运动轨迹与右手向外圆周运动轨迹)；(2)用Kinect识别相应的上肢信号(用已导入的中间件进行处理和实现)；(3)在场景内添加碰撞识别模块，遇到污渍发生触发器的碰撞，而使对应位置的污渍被清除，当所有污渍被消除，则作为完成康复训练一次；(4)通过对建筑工人训练前后沿轨迹做同样的直线运动的情况进行对比，从而了解到上肢的康复情况。

2.3.1 轨迹录入及生成

由于整个训练过程中，患者移动的范围十分有限，所以在设计之初就应该考虑到在场景内生成轨迹与污渍的范围问题。而想要确定运动范围，则要建立触发器，使体感信号可以与场景内同步并且能够触发“识别并录入运动轨迹坐标”的事件，保证人物的体感信号在触发器内，所以这里需要把相应的脚本编辑好并且绑定在触发器上。当人物体感信号在触发器内被识别，则读取人物上肢左手位置的世界坐标并将横、纵轴投影在窗户物体的表面，并同时在该位置生成一个白色的小方块标记位置，输出该小方块的坐标位置。

为使轨迹在场景中的大小位置均能够适中，需调节人体信号生成的识别点在场景中的位置和比例，经调整后，可达到图6所示效果。

图6 调整后的运动范围

在之前工作的基础上，由运动康复医学原理选择好将要设计的康复轨迹，并利用编程在场景中实现污渍按轨迹的生成。

本设计分为四种模式：左侧上肢直线运动、左侧上肢圆周运动、右侧上肢直线运动、右侧上肢圆周运动。为了详细描述案例设计并且节约篇幅，这里以左侧上肢的直线运动和圆周运动为例进行详细说明。

利用正常上肢进行直线和圆周运动，在窗体平面内用白色小方块标注轨迹，通过记录采集到的坐标并用几何知识进行运算，最终选定了最适宜康复的直线轨迹和圆周轨迹，得到了最合适的轨迹大小和位置，如图7所示。

图7 最适宜的直线轨迹和圆周轨迹

2.3.2 系统的开发与应用

系统准备状态如图8所示：

图8 准备状态

经过虚拟现实场景的搭建与轨迹的录入，现在需要按照规划的轨迹来生成污渍并开始计时，由于需要在上肢信号接触到污渍时将污渍消除，故需调用Unity3D中设置好的触发器模块，通过碰撞的检测来识别上肢与污渍是否接触。为达成此目的，我们选择用Ray射线触发方式，由手部信号发射Ray射线，如图9所示。

图9 手部信号产生Ray射线

在射线与窗体接触坐标位置生成小方块，以确保射线与平面交点位置的坐标可以被读取，从而有效触发污渍消除事件，如图10所示。

图10 交点生成方块

采用射线识别，当发出的射线接触到生成的污渍块上，则消除污渍。在Unity3D当中，射线消除事件要求被射线射到的物体是触发器，才能够达成事件触发从而消除物体，故而这里要求所有的污渍必须都是触发器。

整个实验表现如图11，12所示。

图11 直线训练图12 圆周训练

2.4 康复效果

为了解这项康复训练的具体效果，课题组邀请了5名建筑工人参与本课题。参与课题的建筑工人满足以下条件：(1)上肢的运动功能受限，影响日常生活；(2)对本课题的具体内容有一定的了解，能按时按量完成训练；(3)上肢外伤已愈合且无严重疼痛与关节问题。整个训练阶段的时长为4周，每周训练5 d，每次训练45 min。

为了直观地了解建筑工人的训练效果，这里在训练前后分别测量建筑工人上肢沿目标直线与目标椭圆运动的情况，并根据Kinect获得的手部坐标导入数据分析系统进行绘制，则可得到图13，14。图中黑色线条为目标轨迹，不同颜色的曲线分别为5名建筑工人训练前后的上肢实际运动轨迹。

图13 直线训练前后轨迹

图14 圆周训练前后轨迹

如图13，14所示，患者按计划完成4周的康复训练后，手部的坐标运动轨迹比训练之前更加贴近目标直线或目标椭圆。通过对比训练前后的轨迹情况，可以得出结论：这个为上肢受伤的建筑工人设计的康复训练系统可以在一定程度上使其完成上肢训练，而且完成训练计划后，患者上肢的运动情况有了明显的好转，与目标轨迹的拟合度更高，证明了建筑工人的肩腕关节的协调能力得到了提升。

为了使建筑工人的上肢康复情况数据化，可使用Fugl-Meyer上肢运动功能评估表[17]从定量分析的角度来评价患者上肢的康复情况，从而得出其恢复情况。训练前后分别用上述方式评估建筑工人的上肢功能，并按标准打分，得分情况见图15。图中标明了训练后患者上肢运动功能评分增加情况，增加程度从5.7%到17.0%不等。

图15 Fugl-Meyer得分

因此，虚拟现实技术对建筑工人上肢康复训练的有效性与可行性得到了证明。

3 结 语

本文通过学习Unity3D和Kinect体感设备并将二者相结合，设计出可使建筑工人的受伤上肢获得康复训练的系统。该系统在增加了康复训练沉浸感的同时降低了为建筑工人提供康复训练的成本，也为现有的针对建筑工人职业危害防治中所缺乏的问题提供了补充。结论如下：

(1)由于现有的建筑工人职业危害防治中缺乏针对其伤后康复问题的训练系统，且现有的康复训练价格较为昂贵，该群体无法承担，因此本文设计了一套更廉价的康复训练系统。通过对Kinect和Unity3D虚拟现实平台的学习与应用，实现了人体与虚拟现实环境的交互。

(2)由于建筑工人上肢更容易受到伤害，基于康复理论，选择了两种针对上肢肩、肘、腕关节的康复训练动作，并为了更好的康复训练体验，选择贴近日常生活的动作与环境进行康复训练，大大提升了患者的参与感，从而使患者更加主动地参加训练以求获得更好的康复效果。

(3)通过实际测验，分别从定性与定量两个方面对此康复训练进行效果评估，证明了本上肢康复训练系统的有效性与可行性。