基于虚拟现实交互的机械臂协同控制

龙勇 朱留存 朱宇

【摘要】    虚拟现实（Virtual Reality）是一种利用计算机硬件和软件集成的技术，对计算机图形学、人机交互、多媒体、网络通信等多种技术进行综合应用，从而为用户提供虚拟三维世界体验的一种技术。传统机械臂远程控制普遍采用的是手柄和键盘控制方式，而且今后方式普遍是摄像头图像显示在监控器上，和现场操作差别很大。协同控制机械臂将人的主观能动性与机械臂精确作业结合起来，可以实现在人类不能到达的特定环境下，利用远端机器人进行作业，同时通过VR系统模拟真实环境为用户提供身临其境的体验。

本文主要以Unity3d引擎为支撑，头戴式显示设备HTC VIVE作为虚拟现实硬件设备，通过Steam VR设计与实现一个具备通用交互行为功能的VR交互场景，利用Socket通信将VR系统与机械臂进行连接，从而实现与机械臂的交互协同控制。

【关键词】    虚拟现实    人机交互    机械臂    协同控制

Abstract：Virtual Reality is a technology that uses computer hardware and software integration to comprehensively apply multiple technologies such as computer graphics， human-computer interaction， multimedia， and network communications， so as to provide users with a virtual three-dimensional world experience. The traditional remote control of the mechanical arm generally uses the handle and keyboard control method， and in the future， the camera image is generally displayed on the monitor， which is very different from the on-site operation. The cooperative control mechanical arm combines the subjective activity of human beings with the precise operation of the mechanical arm， which can realize the use of remote robots to perform operations in a specific environment where human beings cannot reach. At the same time， the VR system simulates the real environment to provide users with immersive experience.

引言：

虛拟现实技术的发展，为人机交互和远程控制技术注入了新的技术元素，提供了一种面向虚拟环境的三维交互方式。基于传统技术的人机交互和远程控制已经不能满足当下人们的需求。人们需要构建一个具有逼真可视化效果，能够与虚拟场景进行自然交互，在虚拟现实环境中对设备进行远程操控的系统。基于虚拟现实交互的机械臂协同控制将虚拟现实技术与机器人系统有机结合起来，利用虚拟现实技术的良好交互性与沉浸感，协同机械臂高精度、高速点、操作灵活等特性，从而建立一种更符合人类日常习惯的远程控制方式，更能充分发挥人类固有的技能。……