消防机器人作业环境智能感知与识别关键技术

张慧贤,杨海军,马利民,张莉洁,布占伟,郭兆锋,钟卫

(1.洛阳理工学院 机械工程学院，河南 洛阳 471023；2.上海倍伺特自动控制设备有限公司，上海 201818；3.上海羿歌信息技术有限公司，上海 200052)

0 引言

近年来，我国工业生产、储运过程中涉及的易燃易爆和剧毒化学制品迅速增加，由于设备及管理等方面的原因，化学危险品和放射性物质泄漏以及燃烧、爆炸的事故频发，伤亡惨重。据统计我国每年发生火灾约10万起，死亡2 000多人，伤3 000～4 000人，造成直接损失10亿多元，给国家和人民群众的生命财产造成巨大损失[1-2]。1993年深圳清水河大爆炸、1997年北京东方化工厂罐区火灾、2015年天津滨海新区物流仓库爆炸、2019年河南三门峡义马市气化厂爆炸等特大事故发生后，全国各地要求配备消防机器人的呼声愈来愈高，尤其是在明确公安消防部队作为处置各类化学危险品泄漏事故的主力军之后，在我国消防部门配备消防机器人的问题就显得更为迫切了。以消防员与常规装备救援灭火为主的传统模式正面临严峻挑战，发展巡检侦查、应急处置、灭火排烟等系列消防机器人迫在眉睫。

1 研究现状

消防机器人作为特种机器人的一种，能够代替消防员进入有毒、浓烟、高温、缺氧、坍塌、狭小空间等事故现场，承担侦查检验、排烟降温、搜索救人、灭火等任务，能保护消防员安全，提高部队灭火救援能力和效率，对人身安全和社会进步具有重大意义。世界主要发达国家均投入大量人力、物力开展机器人的研究。1986年日本东京消防厅在灭火中首次采用了“彩虹5号”机器人，目前日本是消防机器人应用最多的国家；美国主要是以救援、灭火等智能多功能型机器人为主；欧洲消防机器人主要是非仿人型机器人，在森林火源侦察、破拆等方面都实现了智能化应用。相对于国外，我国消防机器人研究起步较晚，研发及生产落后美、日、欧较多。国内消防机器人的研发在20世纪90年代逐渐被重视。2002年，由公安部上海消防研究所、上海交通大学、上海消防局三方共同承担的国家863项目“履带式、轮式消防灭火机器人”成功研制并顺利通过国家验收。完成验收后该型号消防机器人被全国多个省市陆续配备。之后国内各企业逐渐加入消防机器人的研发队伍，整体研发速度不断加快。近几年，我国消防机器人产业发展迅速。2016年由工信部、发改委、财政部等三部委联合印发的《机器人产业发展规划(2016-2020)》中，提出了机器人产业发展的五项主要任务，其中消防救援机器人被列为10种重大标志性率先突破产品之一。在国家政策强力支持以及行业多年的技术积累下，我国消防机器人生产企业能否把握机遇，突破共性技术难题，是我国消防特种机器人产业发展的关键。

总体而言，在国际上对于消防机器人的研发历经了大致三个阶段，同时也形成了三代不同的消防机器人。第一个阶段主要依靠远程操作控制系统，在此基础上形成的消防机器人叫做程序控制型消防机器人，这是世界上第一代消防机器人；第二个阶段主要通过传感器来开发其性能，这一阶段的消防机器人被称为功能型消防机器人，也是世界上第二代消防机器人；第三个阶段，消防机器人研究方向开始向智能化靠近，消防机器人不再单单局限于某种功能，而是对环境具有一定的智能感知与互动的智能化功能，这一阶段形成的消防机器人被称为智能型消防机器人，这也是世界上第三代消防机器人。

2 发展趋势

目前，国内消防机器人处于从一代向二代更新换代的过程中，对于国内的第二代消防机器人来说，主要以履带式为主，大都由履带载体、消防炮和遥控器三部分构成，有些还配置了红外热像仪、超声波传感器、无线气体探测器、全景摄像机等，有效地提高了复杂环境营救的安全性，较好地保障了消防人员的安全。纵观各个国家，每个国家对于消防机器人研究所处的阶段不同。随着科技的发展以及复杂作业环境对消防机器人的更高要求，其中大多数发达国家如美国、日本、欧盟等国家所处的阶段都集中在从第二阶段的功能型消防机器人向第三阶段的智能型消防机器人过渡，力求通过科技创新向高级智能型消防机器人迈进。

综观消防机器人发展现状及趋势，美、日、欧等发达国家已着手第三代具有智能感知与自主规划的智能消防机器人研制[3-6]。而目前国内的消防机器人系统主要集中在第二代的应用上，如图1所示，大都采用视频采集设备及传感器等，将前线作业环境图像等信息无线传输到火场后端，由消防人员根据现场视频图像进行遥控操作，机器人无法在动态变化的环境中自主工作，无法发挥机器人在灾情预警、判断处置及协同作战方面的优越性[7-10]。开发能够对作业环境进行智能感知并对环境进行分类与辨识的具有自主路径规划的消防机器人，是未来消防机器人智能化发展的重要方向。

图1 消防机器人工作现状

图2为某公司开发的消防灭火侦察机器人、防爆消防侦察机器人及矿用隔爆兼本安型轮式巡检机器人。图2(a)所示的消防灭火侦察机器人由机器人本体、大流量水炮、防爆红外双视云台、手持遥控终端组成。主要应用于公(铁)路隧道火灾、地铁车站与隧道火灾、地下设施与货场火灾、大跨度和大空间场所火灾、石化油库与炼制厂火灾、大面积毒气与烟雾事故，危险火灾目标的侦察、进攻与掩护，人员不易接近的火灾扑救等。该种机器人采用防爆、防水双重设计和大功率动力系统，可同时拖拽6条80 m长水带；采用鸭嘴式水炮设计，可变换多种喷水形式，喷射流量可调节；200 L/s大流量水炮，射程高，满足大空间场所火灾扑救工作；采用360°可见光巡视及红外热成像系统，能够满足黑暗和恶劣环境下的作业需要；采用适应多种路况的全新独立悬挂减震系统，地面适应能力强；采用大功率散热设计，能够进行自主散热降温；采用高压大容量电源系统，动力输出较强；采用无线通信技术及网络通信功能，可接入互联网，实现数据和视频双信道传输，保证了爆炸危险环境灭火时消防人员的安全距离；同时可与无人机配合，将数据传输到指挥中心，为救援决策者提供可靠的决策依据；同时具有远程诊断功能、环境探测功能，搭载环境探测传感器，实现对现场有毒、可燃气体的检测分析；具有热眼检测功能，通过红外热成像实现对热源的检测与跟踪；具有声音采集功能，可实时采集现场声音，便于了解受困人员情况；具有图像采集功能，采集现场图像并实时上传。具有自主避障功能，避障系统自动识别障碍物距离，灵敏度高，检测距离远。

图2(b)所示的防爆消防侦察机器人由机器人本体和手持遥控终端组成。主要用于各领域火灾事故侦察，尤其适用于石化、燃气等易爆环境，对提高救援安全性、减少人员伤亡具有重要意义。该产品采用履带式行走机构，越障能力强，适应复杂地形；采用防爆、防水设计，能适应复杂环境；采用高清无线图传系统，可实现远程实时视频监控；网络通信可接入互联网，可将数据传输到指挥中心，为救援决策者提供可靠的决策依据；同时可与无人机配合，实现“三位一体”的消防指挥控制。通过互联网功能，可实现对机器人的远程诊断及故障分析；搭载环境探测传感器，可实现对现场有毒、可燃气体的检测分析；可实时采集现场声音、现场图像并实时上传。

图2(c)所示的矿用隔爆兼本安型轮式巡检机器人，由机器人本体、无线基站、远程工作站等组成。主要应用于煤矿井下等场所，可代替巡检工人对设备及环境进行巡检，提高了煤矿行业的安全管理及智能化水平。该种机器人具有如下功能：1)视频分析功能，可根据用户要求对现场仪表、阀门等设备进行识别分析；2)音频分析功能，可通过对现场声音采集，智能分析异常声音，故障自动语音提示；3)环境检测功能，机器人搭载多种气体探测传感器，实时检测现场环境中甲烷、一氧化碳及氧气等多种气体浓度；4)热成像检测功能，机器人搭载热成像仪对现场电机、轴承等设备表面温度检测高温预警；5)语音提示功能，针对机器人巡查出的故障、自身的异常进行语音播报，同时支持双向对讲功能；6)云台升降功能，机器人防爆云台可实现自动升降，提高了机器人巡检适应性和巡检质量；7)数据查询功能，机器人巡检实时状态、历史记录、异常记录等信息，通过上位机可以进行查询。

图2 消防灭火、侦察、巡检机器人

由此可见，该机器人产品已经基本实现了结合机器视觉、视频监控、图像识别、无线传输等方面的最新技术，融入了一些人工智能技术，在遥控型消防机器人技术的基础上进行了很大提升。但要真正实现人工智能技术在消防机器人上应用的实用化，还须解决一些关键技术。

3 关键技术

对于消防机器人而言，首要解决的关键问题是对采集到的现场作业环境视频信息进行特征提取、图像分割和图像辨识，完成环境信息的分类、识别并进行感知，以便为下一步路径规划及自主决策提供基础。国内目前研制的智能消防机器人只处于智能化的初级阶段，由于智能机器人涉及到许多关键技术，要在消防机器人中实现真正的“智能化”，需要多学科交叉的协同努力与研究。

3.1 作业环境信息采集与三维重构

对消防机器人而言，对作业环境的信息进行采集，并将平面信息转化为三维信息被机器人识别是实现“智能化”的基础。首先通过信息采集技术获取消防机器人作业环境的原始信息，再通过三维重构技术实现对环境信息的复原与重建。同时，通过模式识别对数据内容进行分析与预测，实现对环境数据的描述、辨认、分类和解释，完成机器人对环境信息的感知与辨识，使机器人能根据环境信息和自身状态，更新调整自身动作。

针对消防机器人作业现场环境复杂性和高危险性特点，可开发温度、有毒气体、可燃气体和氧气浓度等作业环境检测参数的多通道传感器数据采集硬件，并构建由超声波传感器、热成像仪、CCD摄像头、红外传感器、超声波传感器等组成的多源、多信息数据采集系统。同时，可采用基于双目视觉成像技术，完成对现场环境图像信息的采集，通过图像的合成与匹配，实现消防机器人作业环境的三维场景可视表面重构，得到具有一定深度感的环境立体视觉及其高维特征，为消防机器人实现对作业环境中的三维景物和物体进行形态和运动识别提供数据。技术流程如图3所示。

图3 机器人作业环境信息采集与三维重构

3.2 环境数据的模式识别与路径规划

在作业环境信息采集与三维重构的基础上，通过数据滤波对环境特征的噪声信息进行滤除。为辨识环境中的物体属性与形态，可通过图像边缘检测算法提取环境物体的轮廓信息。常采用基于神经网络与SIFT算法的图像特征提取方法，减少数据运算量并快速获取环境图像重要的结构属性，优化物体形状特征的提取，提高模式匹配的速度与精度。为实现消防机器人一定程度的自主路径规划，可通过构建的场景模式匹配模型以及基于特征聚类和主成分分析的神经网络预测模型，建立消防机器人基本的深度学习结构。基于深度学习的图像特征提取算法，可通过视觉特征的自主学习，得到能够较好适应现场作业环境、具有一定深度的学习模型，实现消防机器人具有一定的自主训练与路径规划能力。技术流程如图4所示。

图4 环境数据的模式识别与路径规划

3.3 环境感知算法及自主学习模型

在传统模式识别和路径规划的基础上，对环境感知算法和自主学习模型进行优化；通过图像采集优化、特征提取优化及模式匹配优化，提高消防机器人对环境图像采集及特征提取的速度与精度，改善对物体进行形态匹配和运动识别的准确度。为提高消防机器人自主路径规划的实时性与准确性，可开发能够适应现场作业环境的较为鲁棒的深度学习模型，采用卷积神经网络、优化的SIFT算法等人工智能领域最新的算法，或探索研究迭代寻优的优化算法，通过环境辨识优化、控制策略优化及路径预测优化，研究对作业现场环境识别具有稳定性、快速性和准确性的且具有根据作业现场环境完成一定的自主训练与路径规划的消防机器人。技术流程如图5所示。

图5 机器人环境感知算法及自主学习模型

3.4 人工智能与深度学习

如图6所示，在软硬件联合设计的基础上，可对消防机器人的硬件与软件进行性能测试与验证，完成硬件测试、软件测试与综合测试，同时完成信息采集、环境感知与路径预测的实验验证；根据测试与验证结果，修正并迭代优化软硬件系统，研究提高图像采集速度、精度与可靠性的方法，增强重构的三维环境与现实环境的匹配度；对环境物体进行形态和运动的识别验证，根据结果修正硬件配置与软件算法，协调软硬件配置架构，提高对环境物体识别及分类的可靠性；通过模拟环境与现实环境相结合的方法，验证基于深度学习模型的消防机器人路径自主规划能力，优化软硬件模型，提升消防机器人在作业现场未知环境中的环境辨识、智能感知、路径规划与轨迹预测能力。

图6 人工智能与深度学习

4 结语

1)针对目前易燃易爆环境对消防机器人的新要求，阐述了消防机器人的研究现状。以产品实例展示了目前市场上较先进的消防机器人所能达到的技术参数及其功能，并对第三代具有智能感知与自主规划的智能型消防机器人的关键技术进行了论述。研究表明能够对作业现场未知环境进行信息辨识、智能感知以及具有一定路径规划与轨迹预测能力的消防机器人，是消防机器人智能化发展的方向；

2)阐述了第三代具有智能感知与自主规划的智能型消防机器人的关键技术，包括作业环境信息采集与三维重构、环境数据的模式识别与路径规划、环境感知算法及自主学习模型及其人工智能与深度学习。开发出对作业环境具有智能感知与识别、具有一定的自主训练与路径规划的消防机器人，是消防机器人“智能化”的标志。消防机器人的智能化是社会发展对消防提出的新要求，对消防机器人作业环境智能感知与识别的关键技术进行研究，这对提升消防机器人的智能化，提高消防灭火救援能力及效率以及对社会进步和环境保护具有重大意义。