基于AI的多场景实物监测平台*

黄 娜 ， 徐 阳 ， 刘德锬 ， 谭 可 ， 汪 涛 ， 尉 俊

（重庆移通学院，重庆 401520）

1 研究背景

在生产过程中，安全是首位的。据不完全统计，2019年全国各类生产安全事故共死亡29 519人。工矿商贸企业就业人员每10万人生产安全事故死亡人数1.474人，煤矿每百万吨死亡人数0.083人。其中佩戴安全帽和未戴安全帽占比分别约为60%和40%。传统的安防方式是安排专人坐在监控室，这种方式虽然能减少安全事故的发生，但造成的人力资源浪费又成了一大新问题，并且人工监测存在一定的视觉盲区，监控人员也容易视力疲倦。虽然目前一些施工现场已经有了智能监控识别的应用，但在应用场景的类型上仍然具有一定的局限性，缺少异常事件的报警功能，并且模型的预训练相对比较复杂，更新迭代的周期比较长。例如，一些深度学习开发工程师想到了使用卷积网络进行物体的识别检测[1]，以此来达到监控的目的，但此方式需要大量数据做支撑，且具有模型迭代时间长、成本高等问题。因此，课题组提出一个最优的物体检测方式，来对施工现场、维修现场、一线医疗现场等的安全环境进行实时监控，并产生信息反馈，最终达到实时监控与报警系统的实时通信，从而达到更好地保证施工人员人身安全的目的。在整个系统设计中更加注重预训练模型优化设计的方便性和准确性，在现场部署的过程中注重平台的兼容性和平稳性[2-3]。

2 总体方案及工作原理

从整体上来讲，本产品分成三大部分，一是视频监控系统，二是物体检测系统，三是信息反馈系统。各个系统功能如下。

视频监控系统：主要负责接入现有施工现场的视频监控系统进行施工现场的实时监控。视频监控系统可以实现对门禁处全时间上的监控，并且可以对视频进行调取，查看现场的状况。

物体检测系统：创建基于物体检测技术建立的各类事件检测模型，并对施工工地的人员安全进行实时的监测。物体检测系统能够准确识别进入施工现场的人员佩戴安全帽的情况，佩戴安全帽的人员准以放行，没有佩戴安全帽的人员隔离在外，并且语音通报具体存在的问题，以保障施工人员安全[4-6]。

信息反馈系统：一是对监测到的人员信息进行数据存储，可以回调事件监测模型进行异常事件的记录，当监测到不安全行为时可以对管理人员进行异常事件报警提示；二是对未识别的数据进行检测反馈，便于新模型的建立和完善。

整体功能拓扑图如图1所示。

图1 整体功能拓扑图

首先，视频监控系统通过互联网以固定IP方式或者离线的SDK部署，将现有视频监控系统中的网络硬盘录像机（Network Video Recorder，简称NVR）接入视频监控系统，然后通过接入的NVR直接调用终端摄像头对物体进行实时的识别，将用于检测的物体检测数据进行存储，同时数据进入信息反馈系统，将未识别的检测数据反馈到物体检测系统当中去[7]。可以回调事件监测模型进行数据存储的记录，并对管理人员进行异常事件报警提醒。

3 工作流程

模型的预训练是根据现场进行采集的大量图片数据，然后通过EasyDL平台进行数据集创建、数据集标注、模型训练、模型校验和现场验证五个环节。根据现场验证的结果，分析模型目前存在的问题，并进行有针对性的调整，以达到现场的使用标准。当模型训练好之后，将预训练模型封装到现场的小型设备当中进行离线部署。

基于AI的多场景实物监测平台主要由实物监测模块、信息存储模块、报警系统三部分组成。施工现场设置有门禁，当施工人员靠近门禁时，通过传感器和摄像头的捕捉与实时识别，对施工人员是否符合现场安全要求标准进行对比分析。当检测的结果符合规定的现场安全标准时，门禁自动开启，正常放行；当检测结果不符合规定的现场安全标准，门禁不会开启，并且语音提示该施工人员当前存在的问题，同时将该信息反馈给现场管理人员；同时，对于未识别的实物模型信息进行存储与反馈，便于后面对模型的优化调整。在小型设备上部署可以实现拍照识别和实时识别两种模式，拍照识别是对实物进行手动拍照，然后将采集到的图片数据跟预训练模型进行比对；实时识别是以视频的方式实时对实物进行信息采集，并与预训练模型进行实时比对。

系统工作流程图如图2所示。

图2 系统工作流程图

4 主要设备选型

4.1 视频监控设备

主要采用的设备：选用Intel（英特尔）Real Sense系列的深度摄像头D455。Intel Real Sense D455摄像头具有可以轻松设置、便于携带、容易校准等优点。Intel Real Sense D455 摄像头可捕获室内或室外环境，具有远距离抓拍功能以及高达1 280×720的深度分辨率[30帧每秒（fps）]。并且将深度传感器之间的距离延长到了95 mm，从而将深度误差提高到4 m时不到2%。除此之外，D455摄像头还支持Windows、Linux、Android系统和Python、C++、C#等语言。

4.2 物体检测设备

主要采用Jetson Nano。Jetson Nano是一个小巧却功能强大的计算机，硬件为四核Cortex-A57 CPU，GPU则是规模最小的Maxwell架构显卡，只有128个CUDA单元，配备了4 GB LPDDR4内存以及16 GB存储空间，它可以并行运行多个神经网络、对象检测、分割和语音处理等应用程序，有足够的AI计算能力[8-10]。同时，具有小体积、低功耗的特点，可以同时处理多个高分辨率传感器，有多种硬件接口，可以保障物体检测的实时性，并且具有40PIN GPIO扩展接口，可以连接报警装置和AI离线计算，保障了数据的安全性。

5 主要技术

5.1 视频监控技术

视频监控系统包括前端摄像机、传输线缆、视频监控平台。摄像机可分为网络数字摄像机和模拟摄像机两种，二者都可以作为前端视频图像信号的采集工具，是一种防范能力较强的综合监控系统。视频监控技术以其直观、准确、及时和信息内容丰富而广泛应用于许多场合。视频数据通过4G/5G/WIFI传回控制主机（也可以是智能手机），主机可对图像进行实时观看、录入、回放、调出及储存等多种操作，从而实现移动互联的视频监控。

5.2 物体检测技术

物体检测技术通常是指在一张图像中检测出物体出现的位置及对应的类别，主要包括的物体类别有Xmin、Ymin、Xmax和Ymax，它是一项非常基础的任务，图像分割、物体追踪、关键点检测等通常都要依赖于物体检测。本产品结合自动搜索模型技术、Transfer learning、Early stopping、物体检测预置算法等技术，保证模型效果领先训练物体检测模型，可以满足不同场景对性能、效果的不同需求。

5.3 传感器技术

传感器（Sensor）是一种常见的却又很重要的器件，它是感受规定的被测量的各种量并按一定规律将其转换为有用信号的器件或装置。平台采用的是距离传感器，对传感器的检测距离进行设置后，当外来人员接近现场门闸一定范围内，传感器检测到外来人员后核心控制器会发出一个实时检测的指令；当外来人员检测正常通过闸机后，传感器会检测到人员进入后的信号，核心控制器会发送一个关闭闸机的指令。

6 平台优势

1）模型优化迭代周期短。传统的模型训练优化迭代长，对模型无法识别的物体不能进行反馈、快速训练和更新。而基于AI的多场景实物监测平台的数据集模型是在云端上进行训练的，当某些实物不能识别时，可以在云端当中快速训练并进行模型的更新，并且预训练模型能够较好地适应各种复杂的应用场景。

2）部署简单，可快速查看模型识别效果。可以在云端进行部署，去除了在线下烦琐的部署过程，加快了工程化和应用于场景的进度。可以把训练好的模型直接封装到手机上进行模型的校验，对预训练模型在校验的过程中出现的问题可以快速做出调整，在实景当中查看模型识别效果。并且训练好的模型可以选择通用小型设备，进行离线部署。

3）模型封装支持多系统和定制化。支持模型封装到本地服务器上，将模型封装成适配本地服务器（支持Linux和Windows）的SDK和专项适配硬件，可集成在其他程序中运行。通用小型设备SDK-纯离线服务和API-端云协同服务支持Android、iOS、Windows、Linux操作系统。专项适配硬件支持方案Edgeboard（FZ）、Edgeboard（VMX）、Jetson（Nano/TX2/Xavier）。不仅如此，还支持模型的定制化，节约了企业建立模型的成本，企业可以直接进行安装和使用。

7 总结

基于AI的多场景实物监测平台是智能化施工现场监管的有效手段，该平台可以实现模型数据集的快速训练、封装、快速优化，并且具有可以离线部署、设备小型化等优势，极大地减轻了现场施工监管人员的工作量，节省了人力成本，避免出现传统施工现场人员监管时，因为人员疲惫等原因造成漏查漏检的现象。该平台预训练模型训练好之后可以应用到不同的施工环境当中，对不戴安全帽、抽烟等不良行为的监控具有较高的检测精度，并且预训练模型训练简单，在云端上就可以进行模型的训练、升级和效果查验，极大程度地提高了开发者的工作效率。同时，其现场部署简单、成本低，加快了施工现场工程化和可以快速应用于场景的效率，在现场施工安全运维上具有极强的适应性，极大地保障了施工现场的人员安全，减少安全事故发生的概率，提高了施工现场安全运维的智能化水平。