煤矿用智能视频侦测图像传感器的研究

蒋泽

【摘要】针对现有煤矿部分堆煤、纵撕等传感器检测不可靠及视频图像数据处理应用相对较少的实际情况，提出了视频侦测图像传感器的概念，以高性能视频采集处理单元为平台，分析了视频图像处理的不同算法的特点，并得出解决煤矿的实际问题最佳算法，并指出现有煤矿在视频侦测图像传感器的研究方向。

【关键词】煤矿;图像处理;传感器

引言

目前，在矿井生产运输过程中经常因堆煤、纵撕[1]等传感器监测不到位而造成皮带冒烟、皮带撕裂等问题时有发生。主要原因是现有堆煤传感器[2][3]都是基于碰触检测方式来实现对皮带堆煤检测，当有大的煤块经过，或是有工人误碰触时容易发生误报警现象。

而井下作业人员或车辆非法闯入、滞留井下某些禁止区域如：井下变电所、炸药库、废弃巷道、井下轨道等，而酿成重大事故的现象时有发生。由于煤矿井下环境的特殊性，采用现有的传感器实现对人员或车辆闯入、滞留的检测识别的难度较大。

目前工业电视系统[4][5]为煤矿安全生产、调度指挥提供了直观、方便、可靠的手段，也在各大煤矿安装到位。但现有的视频监控系统通常需要调度人员对作业现场进行实时监视，对调度人员要求较高，并且实际操作具有很大难度。而通过录像录制的视频图像所提供的信息是没有经过分析的原始视频图像，只能用作事后取证，没有充分发挥图像监控的实时性和主动性[6]。

综上所述，煤矿现有的视频图像处理等功能单一，不具备完整的图像分析功能，其实际的数据利用率较低，而利用类似的图像数据开发相应的视频侦测图像传感器是有着实际的应用，并能解决煤矿现场的实际问题。

1.解决思路

本文引入了图像侦测图像传感器的概念，每一个视频监测点就类似一个监测传感器，通过分析视频画面中的有效信息：煤流的异常状态、煤块高度、人员或车辆在监控画面的位置，进而作出判断，则可以较好的解决上述存在的问题。

1.1 智能视频分析介绍及相关行业的应用

智能视频分析技术源自计算机视觉（CV，Computer Vision）与人工智能（AI，Artificial Intelligent）的研究[7] [8]，其发展目标在于将图像与事件描述之间建立一种映射关系， 使计算机从复杂的视频图像中分辩、识别出关键目标物体。近年来，智能監控技术在各个行业中得到了迅速发展，带有智能监控技术的产品已在机场、监狱、军事基地和其他大型基础设施的监控中得到应用。特别是在重要基础设施场所中，人员的 “入侵探测”应用较为典型，例如：机场，它的周界太过分散，一个人或者多个人都无法完全监控到所有周界。利用视频分析技术能够自动探测在某些特定场所或特定时间内进入或离开某一区域的可疑物体。

1.2 煤矿井下图像分析现状及可应用的场所

虽然地面其它行业智能图像识别算法比较成熟[9]，但由于煤矿井下环境比较恶劣，照度低、粉尘多、湿度大、矿工矿灯对摄像机易造成致盲现象，现有的图像识别算法无法直接应用到煤矿井下智能视频识别装备。需要针对煤矿特殊的环境研究能够应用于煤矿环境的视频图像分析算法。通过分析视频中的有效信息如皮带煤块高度、人员车辆位置，判断生产现场是否存在异常，如堆煤、区域入侵等现象，并根据不同异常直接进行报警或采取控制措施，弥补部分传感器的不足[10][11]。

为解决上述问题，提高对井下设备故障的准确检测和杜绝井下作业人员误闯禁止区域，需要研究智能视频侦测图像传感器，通过图像侦测识别及时对设备故障和人员非法入侵行为及时报警并采取相应控制措施，协助作业人员处理危机，并最大限度地降低误报和漏报现象，避免事故发生。

2.主要研究内容与方向

2.1 高性能视频采集处理平台的搭建

智能视频侦测平台（如图1所示）拟基于TI公司的高性能TMS320DM6437进行开发，TMS320DM6437处理器（简称DM6437）以64X+为内核，最高600MHz工作主频，处理性能5600MIPS，高度的灵活性和可编程性，同时外围集成了非常完整的视频和网络通信等接口，通过MPEG4对视频流进行压缩实现数据的快速传输。此外，针对特定视频数据的预处理方法以及边缘检测、目标跟踪的高效算法保证了系统处理的实时性与准确性。

平台接口及图像处理性能述如下：

●编码形式：MPEG4的视频编码功能

●接口类：1个视频输入接口、1个视频输出接口、网络接口、1组RS485接口

●实现待检测目标的检测、跟踪以及异常情况报警

●最大帧率25fps，智能报警延时<2s

图1 平台架构图

2.2 视频图像滤波增强算法的研究

煤矿井下图像清晰度较低，且光斑、粉尘较多。对图像进行分析处理之前，必须对图像进行改善，例如增强图像中的有用信息，改善图像的视觉效果，强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，加强图像判读和识别效果，满足某些特殊分析的需要。 因此可采用光斑去除和图像增强对其进行预处理。

光斑去除最重要的是提取光斑区域，检测光斑采用阈值分割法，目前已有很多经典的算法，例如基于最大类间方差（Otsu法）、最大熵、迭代法等多种类型阈值选取方法。我们拟采用最大类间方差法来检测光斑，最后根据处理后的图像效果对此方法进行优化。

图像增强可分成两大类：频率域法和空间域法。根据计算复杂度和资源的利用率，我们打算采用空间域法。空间域算法中具有代表性的有局部求平均值法和中值滤波（取局部邻域中的中间像素值）法等，它们可用于去除或减弱噪声。

2.3 目标提取跟踪识别算法研究及实现

2.3.1 目标检测

基于预处理得到辨识度较高的图像后，接下来进行目标检测。为了检测是否有人员越界，首先要从序列图像中将变化区域从背景图像中提取出来，运动前景对象的有效检测对于对象跟踪、目标分类、行为理解等后期处理至关重要。

目前，运动检测常用的方法有帧间差分法、背景剪除法、光流法等。基于摄像机固定，井下光线变化不大等实际情况，拟采用背景剪除的方法进行目标检测。

背景剪除法是一種有效的运动对象检测算法，基本思想是利用背景的参数模型来近似背景图像的像素值，将当前帧与背景图像进行差分比较实现对运动区域的检测，其中区别较大的像素区域被认为是运动区域，而区别较小的像素区域被认为是背景区域。背景剪除法必须要有背景图像，并且背景图像必须是随着光照或外部环境的变化而实时更新的，因此背景剪除法的关键是背景建模及其更新。

2.3.2 目标跟踪

在前面的步骤中系统已检测出感兴趣的目标，然后进行目标跟踪。目标跟踪就是在一个连续视频序列中，在每一帧监控画面中找到感兴趣的运动目标（例如，行人，车辆等）。跟踪可以大致分为以下几个步骤：

（1）目标的有效描述，即提取出这些感兴趣目标的特征，以作为这些目标的描述，为之后的跟踪和后续处理提供数据支持。

（2）相似性度量计算。常用的方法有：欧式距离、马氏距离、棋盘距离、加权距离、相似系数、相关系数等;

（3）目标区域搜索匹配。如果对场景中出现的所有目标都进行特征提取、相似性计算，那么，系统运行所耗费的计算量是很大的。所以，通常采用预测算法对运动目标可能出现的区域进行估计，从而减少冗余，加快目标跟踪的速度;常见的预测算法有：Kalman滤波、粒子滤波、均值漂移。

在此，可采用均值漂移算法进行目标的跟踪，因为均值漂移算法迭代次数少，计算量小，所以实时性高的特点。

2.4 井下作业场所异常检测的算法研究

2.4.1 煤块堆积检测算法

根据煤矿井下皮带式输送机卸载煤仓或煤仓的检测和保护的要求，为防止物料堆积，造成堵塞事故，系统将通过图像处理的方法对井下皮带头落煤处有煤块堆积的现象进行检测。根据所采集的视频，系统拟采用光斑去除和图像增强的方法对采集的图像进行预处理。

光斑去除和图像增强的方法与上文越界检测算法中图像预处理的方法一致。在得到较为清晰的图像后，本系统拟采用光流法判断煤块是否运动，因为当煤块堆积造成传送带静止时，基于运动信息方法可以有效且快速的做出判断，以便进行后续的堆煤处理。光流法概念源自光流场，当运动物体的影象在表面上的模式运动就是所谓的光流场，是一个二维速度场。而光流法根据连续多帧图像序列，计算各象素点运动的大小和方向，它反映了图像上每一像点灰度的变化趋势。它具有不需要背景建模，在无法预先获得场景的任何信息的情况下，也能够检测出独立的运动对象的优点。

检测到煤块停止运动后，再通过边缘算子对皮带头的煤块进行边缘检测。目前能够检测出边缘的算子有：Roberts Cross算子，Prewitt算子，Sobel算子，Canny算子， Kirsch算子，罗盘算子等。其中，Canny算子（或者这个算子的变体）是最常用的边缘检测方法，它适用于不同的场合。它的参数允许根据不同实现的特定要求进行调整以识别不同的边缘特性。

获取到煤块的边缘信息后，将其投影到二维坐标中，通过y轴坐标得到煤块的高度信息，通过选取阈值判断是否发生煤块堆积的情况，并进行报警处理。

2.4.2 皮带煤块传输检测算法

判断皮带上有无煤块传输也是保证井下工作正常有序的关键。同上述方法类似，仍采用类似的图像预处理和运动检测的方法，判断皮带是否处于运动模式，如果处于运动模式，则根据运动区域的纹理特征来识别是否有煤块。

当发现皮带上有煤块传输或无煤块传输时，其运动区域的纹理可以作为一个有效的特征来进行判别。目前常用的纹理特征提取方法有：LBP算子，共生矩阵等。根据提取的运动区域的纹理特征和模板进行匹配，即可用于检测有无煤块传输。

3.视频侦测图像传感器研究方向

通过以上的研究分析其应用是可以满足煤矿的实际使用要求，所以研究一类基于图像识别的煤矿用传感器，即在嵌入式平台上移植煤矿井下视频分析算法是有必要的。通过研究，实现同一平台多种算法的移植：根据不同监控场所的监控需求，移植不同的图像分析算法，如：在井下危险场所，移植入侵检测算法，人员滞留算法;在皮带头落煤处移植皮带堆煤检测算法;在皮带下方通过视频分析实现皮带纵撕检测;煤仓处移植煤位检测算法等。

采用这种方式有以下优点：

（1）由于井下视频传输有一定的延时，采用前端智能的方式，实现现场报警，缩短报警时间;

（2）充分利用煤矿井下已安装的摄像机和工业电视系统：嵌入式视频分析软件能够完成包括目标检测、跟踪、分类及规则定义等所有功能，并且选择嵌入式视频分析架构能将现有的传统视频监控系统升级为智能视频监控系统，是一种成本低且易于改造的方案，只需在前端摄像机增加视频图像处理设备便能实现视频图像分析功能。

4.结语

本文针对煤矿井下一些特殊场合视频图像传感器的实际应用做了一些算法研究，目前煤矿在此方面的应用相对较少，而现有大部分煤矿都有视频图像监测，随着高清视频在煤矿应用逐步推广，视频智能视频侦测图像传感器其发挥的作用会越来越大，能有效的提高煤矿安全生产和特殊场合的实际问题。

参考文献

[1]张安宁，孙宇坤，尹中会.带式输送机防纵撕保护研究现状及趋势[J].煤炭科学技术，2007（12）.

[2]蒋志龙，张大女.基于ADXL335的堆煤传感器的设计[J].工矿自动化，2012（08）：87-89.

[3]孙君，崔凯.基于水银开关的矿用本安型堆煤传感器的设计[J].工矿自动化，2011（05）：74-75.

[4]王政霏.工业电视监控系统在煤矿工业的应用[J].科技资讯，2006（09）：17.

[5]孙立峰，卜仁斌.工业电视监控系统研究及其在矿井中的应用[J].中国高新技术企业，2011（04）：130-132.

[6]袁小平，于洪珍，钱建生，陈伟信.图像处理技术在煤矿工业电视系统中的应用[J].电视技术，2001（8）.

[7]李子青.国内智能视频监控技术的发展[J].智能建筑， 2008（01）.

[8]江拥辉.浅谈智能视频分析系统[J].科技信息，2010（4）.

[9]张家怡.图像识别的技术现状和发展趋势[J].电脑知识与技术，2010（7）.

[10]梁玉伟，杨起，王忠平.智能视频监控在煤矿主井装卸载系统中的应用[J].中小企业管理与科技（下旬刊），2011（07）.

[11]张圣强，王建军，丁蕾.选煤厂智能视频监控中的运动人体目标检测方法[J].工矿自动化，2011（11）.