基于视觉的电动轮椅自动跟随控制系统

包加桐, 缪 露, 唐鸿儒, 宋爱国

(1. 东南大学仪器科学与工程学院, 南京 210096; 2. 扬州大学水利与能源动力工程学院, 江苏 扬州 225127)

全球人口老龄化问题愈演愈烈,专为行动不便人士设计的智能轮椅越来越受关注．近年来,智能轮椅在工艺性、功能性、舒适性和操作性上都有了显著提高,特别是在轮椅的控制方式上呈现出多样化的发展趋势,如基于肢体动作[1]、面部表情[2]、脑电波[3]、语音[4]等的轮椅控制方式．轮椅用户在大型室内场所或室外环境中常常需要他人引导或陪伴,如何有效解放轮椅用户和陪护人员的双手,实现电动轮椅的自动跟随控制具有现实意义．

自动跟随电动轮椅的控制问题, 可由领导-跟随者控制策略实现[5]．该策略多用于机器人编队[6]和人机队形控制[7-8]等方面: 如尤剑等[7]研究了一种为盲人导航的人机队形控制方法,引导盲人安全行进;Scheggi等[8]研究基于视觉与振动触觉反馈的人机队形控制机制,机器人编队利用深度彩色相机检测人的行动轨迹并保持与人的队形,当人的轨迹违反队形控制约束条件时便发出振动提醒．然而,采用传统的领导-跟随者控制策略往往要对领导者和跟随者进行准确的运动建模,对传感器配置、位姿检测、运动估计等环节的技术要求较高．受跟随旅行箱、跟随购物车等新兴产品启发,本文提出一种自动跟随目标人物的电动轮椅系统及其控制方法,将视觉跟踪与基于深度图像的三维位置计算引入自动轮椅控制系统的设计．与经典的领导-跟随者控制策略相比,本文方法无须对领导者的运动进行建模,仅利用深度彩色相机跟踪和定位目标,以相机坐标系下目标的三维位置为反馈,控制电动轮椅保持预期的人机队形,简化了传统的人机队形控制模型,另一方面,视觉跟踪功能可以排除他人干扰,实现对目标人物的全程跟踪．

1 模型与控制方法

图1为本文的自动跟随轮椅模型．电动轮椅(跟随者)利用深度彩色相机跟踪目标人物(领导者)的行动轨迹并计算其三维坐标, 得到两者之间的垂直距离d及偏航角φ．通过控制车体两侧的差动驱动轮实现电动轮椅的前进、后退、转弯、旋转等运动, 使轮椅与目标人物保持设定的距离dw与偏航角φw．

图1 自动跟随轮椅模型Fig.1 Auto-following wheelchair model

1.1 视觉跟踪

利用Xtion RGB-D相机实时采集分辨率为640×480的彩色和深度图像．深度图像中的像素点位置与实际物体相对相机的空间位置具有一一配对关系．目标的视觉跟踪过程分为彩色图像中目标人物图像区域跟踪与深度图像中目标人物的三维坐标计算两部分．

首先, 利用tracking-learning-detection(TLD)算法[9]跟踪目标人物在彩色图像中的区域．TLD算法由跟踪、检测与学习三大模块构成．跟踪与检测模块并行执行: 前者假定相邻视频帧中的目标可见且运动连续;后者假定视频帧相互独立,利用学习得到的检测模型进行全图像搜索．学习模块根据跟踪模块的输出,对检测模块产生错误的正负样本进行判定和纠正后,作为训练样本对检测模型进行更新,同时更新跟踪模块中的关键特征点．

图2 目标人物的三维坐标计算示意图Fig.2 Diagram for illustrating 3D coordinate calculation of the target person

1.2 跟随控制

图3 自动跟随轮椅的控制流程Fig.3 Control diagram of the auto-following wheelchair

2 试验结果

图4是跟随轮椅的硬件平台及其在嵌入式计算机上运行的程序界面．轮椅左右轮分别由2个额定功率为250 W的直流无刷电机差速驱动,扶手处装有深度彩色相机．轮椅控制系统由嵌入式计算机和Arduino UNO核心板构成: 嵌入式计算机采集和处理实时视频流,完成视觉跟踪、三维坐标计算以及跟随控制; Arduino UNO核心板接收跟随控制器的输出(即轮椅的线速度与角速度),计算产生驱动电机的PWM控制量,通过直流电机驱动控制器完成驱动．

图4 自动跟随轮椅的硬件平台(a)与运行程序界面(b)Fig.4 Hardware platform (a) and program interface (b) of auto-following wheelchair

为初步试验轮椅在小范围无障碍环境下的自动跟随效果, 设定目标人物始终处于轮椅右前方某处不动, 并引入全局平面坐标系Omxmym, 用于描述轮椅的跟随运动轨迹．初始时刻,全局平面坐标系与相机坐标系重合,目标人物在相机坐标系中的坐标为(1.5, 0, 4), 单位m．设定跟随控制器的相关参数dw=1 m,φw=0 rad,vmax=0.5 m·s-1,dmax=4 m,amax=0.2 m·s-1,φmax=0.46 rad, 轮椅宽度W=0.4 m．由于试验在平地上进行, 不考虑目标人物在相机坐标系yC方向的位置变化．选取人脸为跟随目标, 启动自动跟随功能, 并记录试验过程中轮椅的运动轨迹、目标在相机坐标系中的位置以及跟随控制器输出的线速度与角速度．在相同环境下重复试验8次,每次试验中目标人物与轮椅的初始位置略有偏差．

图5(a)显示了轮椅在8次试验中运动轨迹构成的包络线, 重复试验中轮椅轨迹变化趋势基本一致, 轮椅最终均能保持与目标人物设定的距离．图5(b)显示了8次试验中目标人物在相机坐标系下的位置变化轨迹, 目标人物从初始位置(1.5, 0, 4)逐步变化至(0, 0, 1)位置,反应了轮椅与目标人物的位置和航向变化关系,除受测量噪声干扰外,目标人物在相机坐标系中的轨迹连续,表明本设计的视觉跟踪效果稳定．图6是试验过程中轮椅跟随控制器输出的线速度与角速度变化曲线．由图6可见,初始阶段,由于轮椅距离目标人物较远且与目标人物之间有较大的偏航角,跟随控制器输出的线速度和角速度较大, 当轮椅逐步接近目标人物时,线速度逐渐减为0, 角速度则趋于0, 但是角速度控制量在运动过程中出现了超调,这是由于目标人物距离相机较远时深度图像的测量精度相对较低[10], 此外测量与控制输出之间的时间延迟等因素也会导致角速度控制量变化曲线具有小的波动．然而，受试者的体验反馈结果表明, 微小的波动并没有造成轮椅使用者的不适．

图7为自动跟随电动轮椅在真实环境中的使用场景,轮椅能够执行预期动作,准确跟随目标人物,且当目标人物受遮挡时,轮椅将自动停止以确保安全,待目标人物重新捕获后继续跟随．

图5 全局坐标系下轮椅轨迹包络线(a)与相机坐标系下目标位置轨迹(b)Fig.5 Wheelchair trajectory envelope in global coordinate frame (a) and target position trajectory in camera coordinate frame (b)

图6 跟随控制器输出的线速度和角速度变化曲线Fig.6 Curve of varied linear and angular velocities generated by following controller

图7 自动跟随电动轮椅在真实环境中的使用场景Fig.7 Scenario of auto-following wheelchair in use

3 结论

本文提出一种自动跟随目标人物的电动轮椅控制方法,在普通电动轮椅的基础上,加载视觉跟踪、目标定位与跟随控制系统,构建了自动跟随轮椅模型,取得较好的初步测试效果．存在的待改进之处有: 可将目标人物的视觉跟踪算法由传统的基于特征的检测和级联分类器与手动初始化选取目标方式,改为基于大数据的端到端的学习与检测算法来自动初始化与跟踪;可将深度彩色相机改为双目视觉相机,以解决在室外环境下受光照影响而无法获得有效深度数据的问题等．