医学移动软件中虚拟现实人机交互方案的研究*

孟祥军 赵文华 马志庆* 孟 美

医学移动软件中虚拟现实人机交互方案的研究*

孟祥军①赵文华①马志庆①*孟 美②

目的：在医学软件的开发中，改变原有的利用鼠标、键盘等人机交互方案，研究基于佩带虚拟现实头盔多个新的人机交互方案。方法：采用手势识别工具LeapMotion在虚拟环境中在医学模拟场景中模拟真人的手势移动轨迹，利用科大讯飞语音识别对开发的医学移动软件进行语音控制的新技术来实现新的人机交互方案。结果：在医学虚拟现实软件中应用手势识别以及语音控制后较传统采用按钮、鼠标及键盘等人机交互方案易用性获得显著提升，使用效果反馈较好，验证了新的人机交互方案的有效性，并提高了软件的易用性和灵活性。结论：应用虚拟现实人机交互方案后，采用沉浸式虚拟现实技术开发的医学软件能够获得较好的应用体验。

医学移动软件；人机交互；虚拟现实

虚拟现实(virtual reality，VR)目前在数字化领域中是一项应用最为广泛的技术，与网络技术、多媒体技术并称为三大前景最好的计算机技术，是一种集计算机图形技术、传感器技术、人机交互技术、网络技术、立体显示技术以及仿真技术等多种技术发展而来的综合性技术[1-3]。应用VR技术的医学移动软件目前显示出巨大的应用前景，其可构建VR手术、人体解剖虚拟实验室及VR医学等应用平台，可以极大降低购买批量医疗器械、医疗模型以及建立实体实验室带来的巨额花费，且通过在VR技术中进行学习，使用者可更加直观地理解医疗器械的内部原理和应用等[4]。因沉浸式VR技术需佩带头盔，原有的人机交互方案已不适用，因此本研究采用基于佩带VR头盔的新型人机交互方案。

1 Leap Motion手势识别的人机交互

1.1 人机交互原理

Leap Motion是由Leap公司在2013年发布的一款手势识别工具。Leap Motion利用红外成像原理，追踪双手、手指及手持小工具等的活动，采用独特的软件、硬件结合技术，使用双手即可实现虚拟实境和扩增实境，如同在真实世界中与数字内容进行互动，且具有超高精度和超低延时等特点，误差在0.01 mm以内，延时为5～10 ms，能够以≥200帧/s的速度追踪双手，其精准程度在极大程度上保证用户顺利完成人机互动所需的操作。Leap Motion是以右手笛卡尔坐标系为基准，单位为毫米(mm)，X轴与Z轴呈水平状态，Y轴呈竖直状态，如图1所示。

在虚拟现实场景中，应用Leap Motion可带来自然的人机交互方式，易于接受，并可带来身临其境的感觉，营造真实的用户体验。以开发的儿童辨识教育APP为例，讨论在Unity 3D下如何应用Leap Motion手势识别进行人机交互，其主要功能为可以帮助幼儿辨识学习一些简单的立方体。

图1 Leap Motion坐标系

1.2 虚拟现实场景

(1)需从Leap Motion官网下载Unity 3D对应的Unity Package，然后新建Unity 3D工程，导入Unity Package如图2所示。

图2 Leap Motion导入图示

(2)在Visual Studio编写相关代码逻辑，其最终打包生成APP配合Leap Daemon Skeletal运行界面，如借助VR头盔可实现沉浸式体验(如图3所示)。

图3 应用运行界面图

(3)应用此方法虽简单实现了VR体验，但是由于VR头盔的工作原理，一般是通过对屏幕的左右内容进行光学放大实现沉浸式体验，为了让用户在视觉上拥有真实的沉浸感，VR设备则要尽可能覆盖人眼的视觉范围，因此需要在VR头盔装一个特定的球面弧度镜片，但利用弧形镜片将传统的图像投射到人眼中时图像扭曲，人眼无法获得虚拟空间中的定位，因此会出现边角畸变[5]。为了解决畸变问题，本研究通过从虚拟镜片对VR头盔硬件进行处理或通过利用相关算法在软件中处理，其中Cardboard软件开发工具包(software development kit，SDK)可提供预防畸变方案。

2 讯飞语音识别的人机交互

2.1 人机交互方案

在VR人机交互上，语音识别以及语音回馈功能可以让使用者自然交互，具有很好的用户体验。目前，应用较多的主要有讯飞语音、百度语音等提供SDK的平台，在Unity 3D平台也有开源的Unity包，如Word Detection等。经过反复研究对比，其中讯飞语音识别准确率最高，因此以讯飞语音为例，简要介绍人机交互功能的实现。

2.2 人机交互功能

(1)因讯飞语音在移动平台提供的API大同小异，因此以Android SDK为例讨论如何利用讯飞语音SDK，即MSC SDK实现人机交互功能[6-8]。①需利用Eclipse新建Android工程导入MSC SDK中libs文件夹中文件到Android工程中libs目录下；②在Android Manifest.xml文件中添加网络连接、获取手机录音机使用、读取网络状态、读取WiFi状态、允许程序改变网络连接、读取手机信息、读取联系人及外存储读写等权限；③编写代码实现语音识别逻辑功能；④需在onCreate方法上创建语音配置对象，设置其申请的APPID字符串后创建Create Recognizer对象；⑤对上述XML文件布局进行初始化并在开始与结束上放置Click Listener，编写Click事件逻辑；⑥设置DOMAIN、SAMPLE_RATE及LANGUAGE等参数，创建Recognizer Listener对象实现对识别结果进行监听，应用Create Recognize对象开始监听语音输入事件，编写相关代码逻辑。

(2)由于项目需要使用Unity提供的接口，故需将接口classes.jar引入至当前工程中在Windows平台下其位于Unity 3D安装包目录中的UnityEditorData PlaybackEnginesandroidplayerinclasses.jar中[9]。打开工程的目录，进入bin文件夹下面的classes文件夹，在Windows平台下打开命令(command，CMD)提示符将目录调整到classes目录下，输入jar-cvf命令将Eclipse中的所需类打成JAR(压缩文件)包其整体过程如图4所示。

图4 JAR导出过程示图

(3)将获得的JAR导入到Unity工程中进行调用，首先需得到Android Java Class，然后得到Android java Object就是当前Activity的对象在上面创建的Main Activity.java。拿到后jo.call()函数完成调用，最后完成在虚拟现实场景中调用讯飞语音进行语音识别的人机交互功能[10]。

3 VR人机交互技术的应用

在医学移动软件VR人机交互的研究上，越自然的人机交互方式越能被人们所接受[11]，能在虚拟环境中对虚拟世界物体直接操作，能听懂操作命令是该技术的研究方向，这些功能的实现可为医生、患者带来很多有益的帮助。在医学软件的开发中，随着VR技术的快速发展，新的人机交互方式已被越来越多的研究者所关注，除应用手势识别、语音识别进行人机交互外，还可应用移动设备的陀螺仪、智能手套等设备在VR环境中进行虚拟手术的人机交互，也取得了较好的成果[12-14]。

4 结语

医学移动软件VR人机交互技术方案的研究，有利于在VR环境中更好的实现人机交互。在医学移动软件的开发上，通过利用Leap Motion能够实现手势捕捉的实时交互、利用讯飞语音实现语音的交互，实验证明，相比原有人机交互方式在VR环境中表现更好。在下一步的研究中，计划在VR环境中继续优化现有交互方案，并研究其他适用于VR环境中新的人机交互方案。

[1]Pelliccia L，Klimant P，Schumann M，et al.Energy Visualization Techniques for Machine Tools in Virtual Reality[J].Procedia CIRP，2016，41(2)：210-214.

[2]Lopez Maïté C，Gaétane D，AxelC.Ecological assessment of divided attention：what about the current tools and the relevancy of virtual reality[J]. Revue Neurol(Pans)，2016，172(4-5)：270-280.

[3]Minzhi LU，Abdelkader EL，Guanghong NG.Simulation of natural environment impacts on intelligent vehicle based on a virtual reality platform[J].IFAC Proceedings Volumes，2012，45(24)：69-70.

[4]Yang YJD，Allen T，Abdullahi SM，et al.Brain responses to biological motion predict treatment outcome in young adults with autism receiving Virtual Reality Social Cognition Training for children with high functioning autism[J].Behav Res Ther，2017，93(1)：55-66.

[5]Farra SL，Miller ET，Hodgson E.Virtual reality disaster training：translation to practice[J].Nurse Educ Pract，2015，15(15)：53-57.

[6]Chang TP，WeinerD.Screen-Based Simulation and Virtual Reality forPediatric Emergency Medicine[J].Clinical Pediatric Emergency Medicine，2016，17(3)：240-243.

[7]Vaughana N，Gabrysa B，Dubeya VN.An overview of self-adaptive technologies within virtual reality training[J].Computer Science Review，2016，36(7)：12.

[8]Chalil Madathil K，Greenstein JS.An investigation of the efficacy of collaborative virtual reality systems for moderated remote usability testing[J]. Appl Ergon，2017，pii：S0003-6870(17)30037-30046.

[9]Roy E，Bakr MM，George R.The Need for Virtual Reality Simulators in Dental Education：A Review[J].Saudi Dent J，2017，29(2)：41-47.

[10]Hsuan J，Lin T.Fear in virtual reality(VR)：Fear elements，coping reactions，immediate and nextday fright responses toward a survival horror zombie virtual reality game[J].Computers Human Behavior，2017，72(1)：23-25.

[11]Zhihan Lv，Xiaoming Li，Wenbin Li.Virtual Reality Geographical Interactive Scene Semantics Research for Immersive Geography Learning[J]. Neurocomputing，2016，65(3)：11.

[12]Dong-Hee Shin.The Role of Affordance in the Experience of Virtual Reality Learning：Technological and Affective Affordances in Virtual Reality[J]. Telematics and Informatics，2017，21(12)：45-49.

[13]Higuera-Trujillo JL，López-Tarruella Maldonado J，Llinares Millán C.Psychological and physiological human responses to simulated and real environments：A comparison between Photographs，360°Panoramas，and Virtual Reality[J].Appl Ergon，2017，pii：S0003-6870(17)30117-30125.

[14]Innocenti A.Virtual reality experiments in econo-mics[J].J Behavi Experimental Economics，2017，51(4)：21-25.

Research on human-computer interaction scheme of VR in medical mobile software/

MENG Xiang-jun, ZHAO Wen-hua, MA Zhi-qing, et al//China Medical Equipment, 2017,14(8):112-114.

Objective: In the development of medical software, to research new humancomputer interaction scheme based on wearing virtual reality (VR) helmet so as to change former scheme which using mouse, keyboard and other tools. Methods: LeapMotion, a kind of gesture recognition tool, was used in medical simulation scenes of virtual environment to simulate movement trajectory of real person's gesture. The speech recognition of iFLYTEK, which could implement speech control for developmental medical mobile software, was used to realize new human-computer interaction scheme. Results: Usability of gesture recognition and voice control in medical virtual real software was obviously higher than that of traditional human-computer interaction scheme which adopted button, mouse and keyboard. And its feedback was better than that of traditional scheme. Besides, it verified the effectiveness of new human-computer interaction scheme and enhanced usability and flexibility of software. Conclusion: After human-computer interaction scheme of virtual real is applied, the medical software was developed by adopting virtual reality technique of immersion, and it can obtain better application experience.

Medical mobile software; Human computer interaction; Virtual reality

College of Science and Engineering, Shandong University of Traditional Chinese Medicine, Jinan 250355, China.

1672-8270(2017)08-0112-03

R-058

A

10.3969/J.ISSN.1672-8270.2017.08.031

孟祥军,男,(1990- ),硕士研究生，山东中医药大学理工学院，研究方向：医学图像处理、医学增强现实与虚拟现实。

2017-05-28

山东省研究生教育创新计划(SDYY16069)“基于《生物医学图像处理与分析》课程群移动学习资源的研究与设计”

①山东中医药大学理工学院 山东 济南 250355

②中国海洋大学信息科学与工程学院 山东 青岛 266100

*通讯作者：mazhq126@163.com