基于深度学习的无人机人机交互系统

闫洪猛

（德州职业技术学院，山东德州 253034）

0 引言

人机交互系统是人工智能技术下的重要分支，近年来无人机技术的不断进步使得人机交互系统受到了广泛关注，越来越多的人机交互方案相继提出。传统的无人机操控模式包含遥控器或摇杆以及地面站设备仪器等，对操作者的技术要求较高，在无人机的交互与控制方面具有较高的门槛，对无人机技术的推广有不利影响。近年来新型无人机控制模式被提出，只需要穿戴特殊的辅助设备便能实现便利的无人机控制，如基于视觉的无人机控制方法便获得了广阔的发展空间。但因为传感器传输距离限制，系统需要领航员RGB-D 传感器保持一定距离之内，室外运行受到此机制约束。为了进一步拓展人机交互的功能性，克服现有的系统缺陷，通过深度学习分析手势动作，实现在室外进行应用，并且在响应效率上有了进一步提高。

1 基于双目视觉与深度学习的动作识别方法

本文所述的无人机人机交互系统，在动作识别功能方面具有3 个结构：①视觉中对于操作人员的辨识和跟踪，在图像获取方面，跟踪的结果提取将操作者作为中心，对包含操作者的所在位置进行立体匹配，并生成深度图；②结合深度视频序列，形成包括操作者人物动作特点和时间特点的彩色纹理图；③通过卷积神经网络，在嵌入式开发板中实现人物动作的识别。

1.1 操作者跟踪及深度图生成

为了实现无人机手势控制系统在户外的应用，在系统启用设计方面，结合回传视频明确操作者的位置信息，结合位置信息利用快速视觉跟踪算法来持续跟踪操作者。……