基于混合现实的远程协同式装配维修引导

柳有权，王愿超，徐 琨，刘正雄，黄攀峰

基于混合现实的远程协同式装配维修引导

柳有权1，王愿超1，徐 琨1，刘正雄2，黄攀峰2

(1. 长安大学信息工程学院，陕西 西安 710064；2.西北工业大学航天学院，陕西 西安 710072)

提出一种基于混合现实设备HoloLens头盔的一种远程协同装配维修系统。利用HoloLens的深度摄像头和摄像头对空间的感知能力，通过改进手势识别算法将专家端的二维手势操作转换为用户端的三维动画标识。这种简洁生动的三维动画标识通过空间锚点固定在相应的空间位置上，为操作人员开展下一步操作提供清晰的指引，且无需放下手头工作与计算机进行手势交互，实现了专家-用户模式的远程协同工作。相对于传统的协同式系统，实验验证了该文开发的协同式装配维修引导系统的友好性和实用性。

远程协同；混合现实；人机交互；装配维修；HoloLens

近10年来混合现实(mixed reality，MR)和增强现实(augment reality，AR)技术得到迅猛发展，其在工业制造和装配方面的应用价值逐渐得到体现，可以减少培训时间、提速制造周期。MR/AR通过为现实世界叠加数字信息为现场人员提供文字、语音、3D模型、视频等多种辅助信息，指导拿取不同的工具，安放组装部件到各自位置，解决了阅读繁琐冗长的纸质装配指令的问题。

然而目前MR/AR应用多基于平板电脑、手机等设备，但现实中许多操作并不允许用户解放双手，该方式限制了用户的移动范围和与物理世界交互的能力，迫使用户在装配任务和阅读指令之间来回切换。……