煤矿人工智能视频分析系统架构体系及关键技术

陈 杰

（1.中煤科工集团沈阳研究院有限公司，辽宁 抚顺 113122；2.煤矿安全技术国家重点实验室，辽宁 抚顺 113122）

随着人工智能、视觉识别技术不断发展，以及国家相关政策及标准的相继出台[1-7]，基于视频感知的监控系统应用到了各个领域，其中煤矿的自动化、智能化一直是国家建设智慧矿山的需求。因此, 基于视频识别在煤矿领域的应用研究，在煤矿智能化建设的大背景下，通过视频+AI 的技术手段，并运用“AI 智能监控、智能识别、智能分析、智能安防”等前沿技术为煤炭等能源行业提供一站式智能解决方案，对煤矿企业的安全生产至关重要的作用。

图像识别的发展经历了文字信息识别、数字图像信息识别、三维物体信息识别3 个阶段:①文字信息识别的研究从1950 年开始，一般包括字母、数字和符号的信息识别，落地应用非常广泛；②数字图像信息识别的研究从1970 年开始，数字图像信息与模拟图像信息相比具有存储快捷，传输方便。数据在压缩、传输过程中不易失真等优势，这些为图像信息识别技术的发展奠定了坚实基础；③三维物体信息的识别主要是对三维世界的物体对象、环境的感知、认识，属于高级计算机视觉识别范畴，它以数字图像信息识别为基础，结合人工智能、统计学等，被广泛应用于工业智能机器人上。

在煤矿工业领域，工业视频监控已普遍使用，用来实时监测煤矿井上、井下不同场景，直观呈现不同地点的不同人员、设备的工作状态。工业视频监控系统已成为煤矿企业必备的一套系统，同时要根据国家煤矿安全监察局的联网数据传输标准实现视频数据的联网上传。

煤矿工业经历了从煤矿机械化、单系统自动化、综合自动化到智慧矿山的发展阶段。煤矿智慧化又经历了数字化建设、单系统智慧化、综合系统智慧化、矿区全系统智慧化的智慧矿山发展历程。其中重要的一个智慧化驱动即基于视频感知技术、人工智能AI 技术，来达到安全生产、减人增效的目标。基于此，结合煤矿的实际情况，构建了煤矿人工智能视频分析系统。

1 煤矿人工智能视频分析系统总体架构

煤矿人工智能视频分析系统总体架构如图1。

图1 煤矿人工智能视频分析系统总体架构Fig.1 Overall system architecture

煤矿人工智能视频分析系统以实现对人员、设备、环境的智能监控与分析，达到智能报警、智能控制为主要目标。从层次上分为：①设备层：实现不同场景的智能感知；②网络层：借助于工业视频环网实现视频数据的传输；③应用层：即平台层，包括AI 训练平台、视觉识别分析平台、AI 监控平台等，来实现视频的智能分析、模型的AI 训练及视频、报警数据的实时管控等[8-10]。

1.1 设备感知层

视频感知层设备分为普通摄像仪和智慧摄像仪等，普通摄像仪只能对视频进行感知，并不能对捕获的视频数据在感知层加以分析。智慧摄像仪则除了能对视频进行感知外，还具备人工智能，能在感知层对捕获的视频进行实时分析，实现边缘计算。

目前大多数煤矿都已具备工业视频监控系统，可对已有的视频设备加以利用，取现有视频流加以分析，但视频分辨率需满足足够清晰，尽量满足400万像素以上要求。

当然对于新投入的视频感知设备，建议采用矿用隔爆型智慧摄像仪，支持TCP/IP、ICMP、HTTP、HTTPS、FTP、UDP、DHCP、DNS、DDNS、RTP、RTSP、RTCP、PPPoE、NTP、UPnP、SMTP、SNMP、QoS、IPv6、IGMP、Bonjour、802.1X 等标准（协议）。集成双核RISC-V CPU 和频率高达800 MHz 的数字信号处理器（DSP），并支持浮点单元（FPU），集成最新一代ISP，支持2D 降噪、3D 降噪、宽动态范围、鱼眼校正、镜头阴影校正等功能，采用KPU 进行深度学习，通过DSP 与KPU 协同运算，支持原生TensorFlow。

1.2 平台应用层

结合煤矿生产实际需求，利用AI 技术，构建统一的训练、分析、监控平台，实现煤矿人员的不安全行为、设备的不安全状态、环境的不安全因素等隐患智能分析、报警，构建业务应用平台，实现隐患报警处理、分析、上报，形成业务闭环，辅助监管人员，提升监管效率，减少煤矿井下事故的发生。主要包括AI 训练平台、视觉识别分析平台、AI 监控平台。

1.2.1 AI 训练平台

AI 训练平台用于实现AI 场景模型的迭代训练，训练的素材需取自现场的真实图片，并达到一定的数量级，方可训练出精确度较高的AI 模型，其中包括数据集管理和模型训练管理。

1）数据集管理。①数据版本管理：统一管理各个数据版本数据，在新建数据集基础上可以上传不同的数据版本，做到数据版本控制，在数据集基础上新增数据版本[11-13]；②标注版本数据描述：导入数据类型（分为有标注和无标注），标注数据类型，导入方式提供数据集原有数据，方便数据组合利用，可上传压缩文件；③在线标注：对上传完成的数据进行在线标注预览，选择需要标注的数据版本，在已标注栏预览标注信息，在未标注栏对原始数据进行在线标注。

2）模型训练管理。①训练模型：用户根据系统提供的模型中选择1 个模型，并根据提示选择数据集，手动设定模型所需要的训练参数，如图像增强方式、输入图片大小、设定训练/验证/测试集比例、训练轮数、批处理数量、学习率、训练模式、提前结束训练条件等参数，或选择全部或者部分自动智能设置；②模型验证：用户通过选择其他数据进行测试，测试结果提供给用户查看，根据测试结果得出模型评估指标（召回率、精确率、MAP 等）供用户查看，用以评估AI模型的准确度。

1.2.2 视觉识别分析平台

对于采用普通摄像头作为感知设备，需建立后台集中算力中心，对各场景视频流进行集中分析、计算。根据实际情形，需选择适配的硬件配置，包括GPU 卡、CPU、内存、SSD SATA 数据中心、企业级SATA 硬盘等，用以支撑视频的AI 识别与计算。

智能视频分析是智能监测预警的核心，综合各种高效、稳定和精确的算法技术实现对煤矿安全生产视频进行实时计算分析和实时监测，找出视频中的违规行为，对可能带来的灾害进行预警，同时实现煤矿安全监管工作的智能化、实时化和异地化。

1）算法模型管理。如在带式输送机智能视频监测方面，在算法服务器内按胶带异物识别分析、落煤口堵塞状况分析以及人员的违规行为算法场景建立算法模型库，能根据业务需要迅速查找并加载对应算法模型，使算法切换和参数修改智能化、自动化，无需重启算法服务器，也无需人工干预就能实现算法服务器内的业务逻辑调整，使系统操作更简单，便于使用和维护[14]。

2）算法模型实时分析。若采用与系统适配的智能摄像头，算法服务器能在应用层获取在线摄像头的实时视频地址后，直接获取摄像头实时监控画面，无需经过物理NVR 或其他录像设备，减少获取视频的延迟，提升分析的实时性。同时能根据摄像头配置的参数，直接将参数用于视频的分析中，在接通摄像头画面的同时就加载算法模型和识别参数，实现在线实时分析摄像头视频内容。算法模型实时分析流程如图2。

图2 算法分析流程图Fig.2 Algorithm analysis flow chart

2 关键技术

1）人工智能。人工智能的概念最早来自于1956年的计算机达特茅斯会议，其本质是希望机器能够像人类的大脑一样思考，并作出反应。由于极具难度与吸引力，人工智能从诞生至今，吸引了无数的科学家与爱好者投入研究。搭载人工智能的载体可以是近年来火热的机器人、自动驾驶车辆，甚至是1 个部署在云端的智能大脑。根据人工智能实现的水平，可以进一步分为3 种人工智能：①弱人工智能：擅长某个特定领域的智能，如语言处理领域的百度翻译，但让该系统去判断一张图片中是狗还是猫，就无能无力了，此外还包括手机上的人脸识别等，当前的人工智能大多是弱人工智能；②强人工智能：在人工智能概念刚被提出的时候，人们期望通过打造复杂的计算机系统，实现与人一样的复杂智能，这被定义为强人工智能，这种智能要求机器像人一样，听、说、读、写样样精通，目前的发展技术尚未达到通用人工智能的水平，但已经有众多研究机构展开了研究；③超人工智能：位于强人工智能之上，定义为超人工智能，是在几乎所有领域都比人类大脑聪明的智能，包括创新、社交、思维等，现在的弱人工智能就好比生命的早期形态，可能突然之间就会产生智慧生命，超人工智能也不会永远停留在想象之中。

2）机器学习。机器学习是实现人工智能的重要途径，也是最早发展起来的人工智能算法。与传统的基于规则设计的算法不同，机器学习的关键在于从大量的数据中找出规律，自动地学习出算法所需的参数[15-16]。机器学习算法中最重要的就是数据，根据使用的数据形式，可以分为3 大类：监督学习（Supervised Learning）、无监督学习（Unsupervised Learning）与强化学习（Reinforcement Learning）。

3）深度学习。深度学习是机器学习的技术分支之一，主要是通过搭建深层的人工神经网络（Artificial Neural Network）来进行知识的学习，输入数据通常较为复杂、规模大、维度高。深度学习可以说是机器学习问世以来最大的突破之一。图像识别多使用卷积神经网络。理论上，可以使用传统神经网络对图像进行分析，但从计算角度来看代价很高。神经网络的广适性是他们的优点之一，但是在处理图像时，这个优点就变成了负担。卷积神经网络对此专门进行了折衷：如果1 个网络专为处理图像而设计，有些广适性需要为更可行的解决方案做出让步。换言之，卷积神经网络（Convolutional Neural Networks）是一种深度学习模型或类似于人工神经网络的多层感知器，非常适合用来分析视觉图像。研究卷积神经网络的图像识别技术、人的身份及附加属性识别技术，采集目标设备图片做为标准图像，归纳出不同种类图像的特征数据作为基础模板，采集大量的现场的影像资料，与基础模板对比，找出相似特征并输出结果，通过这种反复训练，最终实现研制具有图形识别、行为分析功能的智能视频分析系统的目的[17]。

3 系统设计

结合煤矿现场的实际需求，对煤矿现场设备状态、人员行为等场景进行需求分析、AI 识别。

在煤流监测报警方面：①针对堆煤、胶带跑偏、胶带出现异等情况进行识别，并及时发出报警；②煤流调速：通过视频分析对带式输送机运输过程的空载情况进行识别，当连续检测到空重载达到一定时长时触发报警并与带式输送机控制系统实现联动，实现带式输送机自动调速。

在人员行为分析方面：针对人员跨越电子围栏、人员未按安全防护规范穿戴、操作工离岗、行车行人（人走车道，或者车走人道）、唯一性检测（人脸识别）、乘车人员异常等人员违规场景进行识别、分析并发出报警。

1）模型训练。收集不同场景的海量原始素材图片，并标注图片特征数据。完成模型训练与迭代优化训练。抽象AI 识别数学模型，针对煤矿应用场景进行分析，并找出不同场景监测、识别特征点，再通过AI 训练平台对大量现场特征图片素材展开训练，形成初步数学模型，并不断进行模型的应用识别，识别结果的人工验证，模型优化迭代，最终生成最优AI识别数学分析模型。模型迭代训练如图3。

图3 模型迭代训练Fig.3 Model iterative training

2）数据分析与传输。设计AI 识别结果报警数据的传输方式、协议格式、数据形式标准接口。并设计开发集文字、图像、视频等多维度信息数据采集与处理模块，根据已生成的最优AI 分析模型，进行视频流的实时智能分析。并建立结构化数据库，对分析结果进行分布式存储。同时采用数据库的负载均衡技术，建立高可用的数据服务中心。

3）智能控制。当AI 场景识别出现异常报警时，往往需要与其他控制类子系统进行智能联动控制，如：发现带式输送机空载一段时间以后发出报警的同时，应向煤流控制系统发出调速控制指令；发现人员有违章行为时，应与广播系统形成联动，发出广播提醒。此处应就第三方控制系统制定指令数据交互接口，通常采用WEB API 的方式来进行控制指令的驱动。数据格式采用JSON 数据包来进行指令数据的传输与执行反馈。

4）AI 监控平台。人工智能AI 分析结果的可视化，确定智能AI 分析结果的可视化展示方式、提醒方式。选择适合的可视化技术，进行整体UI 设计、前后台交互式设计、后台设计等。最终，搭建集成测试环境，对整套系统进行AI 智能分析测试、验证。并进行煤矿现场工业试验。

4 结 语

随着煤矿智能化建设的逐步落地，AI 视觉识别作为智能化建设的一个重要组成部分，越来越被煤矿企业重视，其模拟人的神经网络映射特征和信息传递特点进行AI 视觉识别，能够完全实现人员行为、设备状态的各种场景识别，及时发现违规行为，设备事故等，帮助煤矿企业发现问题、消除隐患，保障煤矿安全生产，是创建智慧煤矿重要的重要技术手段。