基于MR与云端的医疗信息可视化交互系统

陈丹凤

基于MR与云端的医疗信息可视化交互系统

陈丹凤

（武汉理工大学 信息工程学院，湖北 武汉 430070）

在这个信息技术飞速发展的时代，互联网、物联网相继出现，可以使用户端延展至任何物与物之间，从而进行信息交换与通信，这带动了遥控式机器人的快速发展。为了解决传统就诊中医生工作时无法即时显示病人信息、异地或被隔离时无法完成远程就诊的弊端，提出了基于MR与云端的医疗信息可视化人机交互系统，可以使医疗信息的交互变得更加准确、迅速，可以帮助原有的异地医疗设备更加准确地传递信息，使医生与患者不会再因为距离远、数据不准、难以接触等问题而影响了最佳救治时间。

人机交互；Microsoft HoloLens；云共享；混合现实技术

1 概述

1.1 设计背景

人机交互越来越受到社会各界关注，又随着混合现实技术（Mixed Reality，MR）的出现与不断成熟，适应这种新型技术的新的交互方式日渐发展起来。从学习、研究，到娱乐、生产、营销等各个领域都可以找到这种新型交互方式的发展方向与利益需求。本系统主要从医疗辅助设备的角度出发，利用Microsoft HoloLens将应用程序、信息以及多维视频等数字内容融入周围的物理空间，直接将医疗工作者、患者的各项数据具象化，拓展医疗工作者的工作环境，方便工作者操作，同时还能避免大型机械发生意外事故。

1.2 概要设计

如今是一个机械化生产的信息时代，各种功能的机器人已经成了各个领域上必不可少的重要工具，医疗领域也是如此。传统医疗器械与仪表盘与人分离造成的数据显示延迟、知名医院一号难求、偏远山区就医不便等问题却仍层出不穷，面对这种医疗资源普遍紧缺的局面，想做到显示实时数据并实现精确性是困难的，但随着时代的发展，人们对信息交互的即时性、准确性却有着越来越严格的要求，这种要求在此次疫情期间尤为突出。在疫情期间，患者信息传递不及时、无法实现即时接触诊病、医生被隔离无法增援等问题都突显了出来，严重影响了医护人员的工作进程，减缓了抗疫的速度。

本交互系统的主要功能是在佩戴HoloLens的情况下，通过控制HoloLens界面中的机器人来使实际中的机器人做出对应的动作，同时在用户的视野中实时呈现相关数据（机器人状态、病人体温、病人心跳等），从而实现脱离操控台的人机分离的操作或实时数据变化显示，最大程度上保证了医生与患者的安全，拓展了医生的行医环境，并使机械臂有了更大的移动空间，可以更好地完成其相关工作，而每次工作积累下的数据可形成历史记录，存入云端进行简单的处理与分析。信息可视化交互系统工作流程如图1所示。

图1 信息可视化交互系统工作流程图

2 详细设计

2.1 控制面板

为了更好地实现与远程医疗设备的对接，借助已有机械臂进行了产品设计，在本系统中设置了虚拟控制面板，使用户可以通过视野中的虚拟按键对仪器图像进行操控，从而控制实际中的医疗器械，实现远程操控。模式中控制机械臂的方式，达到减少医生来回走动以观察病人与医疗器械情况次数的效果，并实现了在近距离观测工作情况的同时，远离机械臂的工作范围，最大程度上保证了医生与患者的安全，并使机械臂有了更大的移动空间。系统控制面板如图2所示。

图2 系统控制面板

在将本系统部署至HoloLens完成后，直接启动HoloLens。在Hololens的菜单页找到名为AR_HRI的应用，点击即启动。通过移动视线使光标移动至各个按键，光标到达按键位置时，将使用者的手置于视线当中，做捏合动作。

2.2 实时数据界面

数据显示界面如图3所示。

图3 数据显示界面

在作品设计过程中，针对已有设备，搭建了一套基础的实时数据显示界面，其包括控制面板、机器人实时数据显示面板，在技术上已可以实现对常规机器人的各项数据进行实时显示，并已有如下功能：该界面显示的为工作中机器人的实时数据以及机器人的全息图。该面板有锁定键，绿色表示已解锁，白色表示未解锁。将光标移至锁定键，捏合手指锁定键变绿后移动光标至机器人图像，捏住不放即可拖动。控制面板可直接通过捏合手指不松开进行移动。

2.3 部分关键算法

本系统在设计过程里，在Visual Studio 2017中使用C#进行编译，在其环境中下载并安装了Unity 5.6版本的Vuforia，然后进行系统的开发与测试，所写部分源码如图4所示。

图4 医疗信息可视化交互系统部分源码

系统设计中的gaze、gesture、voice三种交互方式的添加与悬浮数据显示窗口的设计，实现了以HoloLens为主体在Wi-Fi环境下人机通信，实现人与设备、人与实时数据的交互，从而有了较强的实时性与便捷性，所以对其在医疗领域的应用进行了拓展与探索。

3 系统优势

本设计从此次疫情角度出发，系统利用现今受到广泛关注的混合现实技术实现医生与医疗信息、医疗器械的共融交互，较传统医疗设备有许多优势，应用前景光明。本系统可使用户在同一位置以全息图的方式完成对被检查者的大致了解，有效提高了工作效率。改变了近距离控制摇杆或按键以移动机器人来工作的控制模式，实现了便捷的远程操作，在保护医生与患者安全的同时提高了信息交互的效率。

3.1 医疗设备与信息的MR显示

在设计系统功能的过程中，本系统的交互模式借助MR技术，打破了传统工作状态下必须近距离观察机械臂各方位情况的限制，使医生可以在同一位置以全息图的方式完成对医疗器械的检查、对病人大致情况的了解，有效提高了工作效率。

3.2 可调节的实时数据悬窗

本系统的控制面板、仪器实时数据显示界面、患者状态实时数据显示界面，均脱离了传统仪表盘式显示的束缚，借助HoloLens的界面以悬浮窗口的形式显示在使用者的视野前方，且由于本系统自主设计了非嵌入的窗口模式，所以，各个数据窗口可以随使用者的视野移动固定或移动，保证了使用者可以有选择地看到所需要的控制面板与数据。

3.3 虚拟按键的使用

本系统设计了较为完善的虚拟按键与面板，降低了使用者对实际器材的依赖，改变了原有的近距离控制摇杆或按键以移动机械臂、电子针筒的控制模式，实现了令医生远程操作，在保护使用者安全的同时扩大了机械臂的工作空间，降低了购置大型控制台、仪表盘的成本。

3.4 云端信息处理

在完成了整体系统的脱机设计之后，利用阿里云服务器，自主搭建了医疗信息处理平台，可以对使用者的历史使用记录进行分类存储、处理与分析，方便医生的后续工作，也有利于患者对自己历史就诊数据的了解。

4 发展前景

如今，许多医疗机器人已投入了使用，人机共融交互系统可以使医生在长时间手术过程中远离感染病病人，且无需一直操纵实体遥控设备，减少医生的疲劳感，进而提高手术的安全性。而由于该系统在借助HoloLens与PC连接后可控制各类机器人，结合设计的组合式数据显示窗口，可以实现在不同应用场景下各种数据的实时显示，所以，其功能可扩展至工业、科研等更多领域。

4.1 工业领域

工业机器人已广泛应用于工业制造的各流水线中，而该系统的出现可以使制造工人全方位了解机器人的工作情况，及时并准确地进行操作，可以有效提高工作效率。

4.2 军事领域

远程操控的军事机器人、无人机已经出现，但在高科技战争、精兵对抗的时代，原有遥控设备既不方便携带又易被发现，该系统则只需以HoloLens为载体，即可实现对不同设备的控制，可在战斗中取得奇效。

4.3 科研领域

大型产品的研制往往涉及成千上万的系统或者零部件，他们之间的关系单凭想象无法梳理清楚，借助该系统可以真实地呈现某个设计环节，而不用完成整个设计后才发现问题，有效节约了科研成本与时间。

现阶段，本系统已借助HoloLens实现了在无线局域网范围内对工业机械手臂的操控与实施数据显示，实现了显示人体体温这一基本数据。随着后续的开发与设计，本系统将可以实现更多医疗信息的显示，帮助医生与患者营造一个更安全、更便捷的医疗工作生态，尽其所能，从而使此次疫情的医疗资源短缺问题不再出现。

5 可行性分析

就技术层面而言，AR技术出现30余年，已经可以通过增强见、声、闻、触、听来实现模糊真实世界与计算机所生成的虚拟世界之间的界线。可以将真实世界信息和虚拟世界信息“无缝”集成，这促使近年来虚拟现实领域出现了一个新的方向——混合现实（MR）。

混合现实的出现，为人机共融交互系统提供了思路与技术支持。微软推出了首款运行Windows 10的全息计算机HoloLens，它是完全独立的，不需要线缆或手机，也无需连接计算机。Microsoft HoloLens可以将全息影像融入物理环境，使人有观察周围世界的全新方式，且有对应的SDK支持程序开发，使得该系统可以将HoloLens作为载体。在设计本系统时，借助unity开发平台导入RAPID语言编得的工业机器人ABB IRB1200模型，以TCP/IP通信方式连接HoloLens与PC，最终实现运用MR技术来实现人机共融交互，达到用HoloLens直接控制机器人的目的。这一技术已经完善至可以通过改变视线中HoloLens操作界面来直接命令现实世界中的机器人做出对应动作。

就工业生产层面而言，该系统建立了现实中ABB IRB1200与HoloLens界面中ABB IRB1200之间的通道，使该系统可以精确地观测到机器人实时移动距离与位置，使操作更加精准，以减少误差。可通过hologram技术实现全角度观测并检查机器人与患者的实时情况。且HoloLens是现有的所有HMD中唯一在开发、配置和使用时完全不需要插上传输数据线/充电线的产品，所以HoloLens可以直接通过WiFi连接，这一远程操控的特性可有效保护医患双方的安全，并使医疗器械在工作过程中只与患者接触，从而减少意外事件与不必要的传染。

因此，笔者认为，本系统在未来的医学领域有较高的实用价值。

［1］蒋红卫，张树兴.机器视觉的人机交互系统的设计分析［J］.现代工业经济和信息化，2020，10（3）：52-54.

［2］王素丽.基于人机交互的界面故障数据属性识别方法［J/OL］.沈阳工业大学学报：1-5［2020-05-25］.http: //kns.cnki.net/kcms/detail/21.1189.T.20200515.0957.012.html.

［3］杨丽梅，李致豪.面向人机交互的手势识别系统设计［J］.工业控制计算机，2020，33（3）：18-20，22.

［4］易敏哲.基于视觉信息设计的人机交互界面设计［J］.科技与创新，2020（5）：126-127.

TP391

A

10.15913/j.cnki.kjycx.2020.13.015

2095－6835（2020）13－0040－03

陈丹凤（1999—），女，本科在读，通信工程专业。

〔编辑：张思楠〕