不同混合度下液体介入难辨别煤矸红外图像识别准确率

张锦旺，何 庚，王家臣

(1.中国矿业大学 (北京)能源与矿业学院，北京 100083；2.放顶煤开采煤炭行业工程研究中心，北京 100083)

高准确率的煤矸自动识别对综放开采智能放煤至关重要。综放开采的放煤过程可分为纯煤放出、煤矸混合放出、纯矸放出3个阶段。现场实际放煤中可通过放出部分矸石来换取更高的顶煤回收率，因此综放开采煤矸识别主要在煤矸混合放出阶段进行。该阶段矸石的放出量会逐步增加，故综放开采放煤过程中煤矸识别的对象是动态变化的，大大增加了识别的复杂性和难度，也是其与综采工作面煤岩界面识别的最大区别。因此需要深入研究煤矸混合度变化对识别准确率的影响，探索适用于综采放顶煤场景的高准确率煤矸识别技术。

国内外学者针对综放开采中煤矸混合度识别进行了一系列的研究。王增才等提出了利用煤与矸石中的自然γ射线差异来检测放顶煤过程中煤、矸混合度的方法，并推导了煤矸混合体中的矸石含量与检测仪器自然γ射线计数率的数学关系。张宁波等提出了采用双能γ射线技术对煤矸混合体中的矸石含量进行测定的方法，并建立了煤矸混合体灰分与含矸量间的量化关系。王家臣等研究了不同照度下煤矸图像灰度及纹理特征，采用面积模型计算获得了混矸率，并分析了照度因素对煤矸识别正确率的影响。张锦旺等提出了液体介入提升煤矸识别效率的思路，并通过实验研究了不同液体种类、液体温度、红外仪发射率等因素对识别效果的影响。以上研究大都基于固定的混煤矸混合度，但实际放煤过程中变化的煤矸混合度会对识别准确率产生重要影响。

红外探测技术在穿过煤尘和水雾时衰减较小，能很好适应粉尘大、能见度低的煤矿井下环境。笔者基于“液体介入+红外检测”的煤矸识别新思路，针对难辨别煤矸种类进行了不同混合度条件下液体介入煤矸混合试样后不同时刻的红外图像采集，借助ImageJ图像处理软件定量计算了煤矸图像的混合度，深入分析了煤矸混合度、介入时间、图像处理方法对识别准确率的影响，并从红外温变速率场的角度探讨了提高液体介入煤矸识别准确率的技术路径，研究结果对提高液体介入难辨别煤矸红外图像识别准确率、完善“液体介入+红外检测”煤矸识别方法具有重要意义。

1 “液体介入+红外检测”识别思路

图像识别是目前智能放煤领域广泛应用的一种技术手段，其主要是基于灰度原理，图1(a)为韩城矿区煤矸(瘦煤和页岩)的灰度均值，图1(b)为焦作矿区煤矸(无烟煤和砂质泥岩)的灰度均值。

由图1可以看出不同区域的煤矸岩性差异会引起煤矸石灰度差异的变化。对于大部分煤层条件，其煤、矸石的灰度差异较大，采用可见光图像进行煤矸识别效果很好；但对于少部分灰度差异较小的难辨别煤矸种类，可采用“液体介入+红外检测”的方法以提高煤矸识别准确率，如图2所示。

图1 不同矿区煤矸灰度均值分布曲线Fig.1 Distribution curves of coal/gangue average gray value

图2 “液体介入+红外检测”煤矸识别及混合度计算示意Fig.2 Schematic diagram of “liquid intervention + infrared detection” coal/gangue recognition and mixture calculation

采用液体介入方法进行煤矸识别的核心思想是难辨别煤矸虽然表面颜色相近，但其微观结构和化学成分并不相同，通过在煤矸混合体表面喷洒特定液体，使其与煤、矸石发生不同程度的反应，主动增大煤、矸间的温度差，从而显著提高红外图像煤矸识别准确率。以清水为例，液体介入后煤和矸石的温度，及煤与矸石间的温差数据变化如图3所示，图3中温变是指液体介入后某一时刻煤/矸试样的温度与介入前温度的差值，温变为负意味着出现了温降现象；温差是指某一时刻矸石温度与煤温度的差值，温差为正意味着矸石温度高于煤的温度。

由图3可知，液体介入后煤和矸石均会出现明显的温降现象。笔者前期研究表明温降现象主要是由液体挥发作用引起的；而由于煤相较矸石具有更好的疏水性，液体介入后，煤样表面会存在水滴的汇聚现象，水珠的滞留导致挥发带走的热量更多，因此煤样表面温度低于矸石，最终出现液体介入后煤、矸间温差增大的现象。

图3 液体介入后煤/矸温变及煤-矸温差随时间变化曲线[13]Fig.3 Temperature vibration of coal/gangue and temperature difference between coal and gangue after liquid intervention [13]

2 不同混合度液体介入煤矸识别试验

2.1 试验系统

为了获取不同混合度、不同介入时间煤矸混合体在液体介入下条件下的红外图像，搭建了“不同混合度液体介入煤矸识别试验系统”，如图4所示。

图4 液体介入下不同混合度的煤矸识别试验系统Fig.4 Coal/gangue recognition test system with different mixing degree under liquid intervention

试验系统中红外热像仪型号为UTi260B，该红外仪具有红外光和可见光2种镜头，可实现物体表面温度测量和实时热图像相结合监测，其红外光谱带宽8～14 μm，测温范围为-15～550 ℃，热灵敏度0.05 K，视场角56.0°×42.2°。实验过程中在PC终端通过UTi-Live Screen软件对红外图像变化进行实时采集。此外，所有试验组均在密闭且较恒温环境下进行，可减少周围空气流动对试验过程的影响。

2.2 试验材料

2.2.1 煤矸试样材料

试验所采用的煤矸试样为焦作矿区的煤(无烟煤)与直接顶矸石(砂质泥岩)，如图5所示。

图5 试验所用煤矸材料Fig.5 Coal and gangue samples used in the test

由图5可知，由于煤与矸石样品的颜色较为接近，其可见光图像差别不大，很难通过肉眼将2者进行有效区分，属于典型的难辨别煤矸。

2.2.2 介入液体选取

根据前期的研究结果，发现在酸液、碱液、清水3种代表性液体中，清水介入后的煤矸识别的效果最为显著，同时考虑酸、碱等液体在现场应用的环境影响及安全性，选取清水作为介入液体来开展相关的研究，故下文中液体均指清水。液体介入前后煤矸红外图像如图6所示。可以看出无液体介入时，从煤矸混合体的红外图像中无法区分出煤、矸样品，如图6(a)所示；液体介入后煤、矸石所在区域在红外图像上能形成显著差异，如图6(b)所示，这种差异为基于红外图像的煤矸混合度定量计算奠定了基础。

图6 液体介入前后煤矸混合体红外图像差异Fig.6 Comparison of infrared images of coal gangue mixture before and after liquid intervention

2.3 试验方案设计

由于综放开采中矸石的混入是逐步增加的，为了研究不同的混合度对液体介入煤矸识别准确率的影响，本次试验进行了9组不同煤矸混合度条件下的煤矸识别试验，不同方案的试样布置方式，如图7所示。

图7 不同混合度的煤矸试样布置 (蓝色代表煤样，红色代表矸石样)Fig.7 Layout of coal and gangue samples with different mixing degrees (blue ones are coal and red ones are gangue)

图7中各方案煤、矸试样面积数据值以及对应的煤矸混合度见表1。由于每组试验所选用煤矸试样块度大小不一，故表1中方案1～9的煤矸总面积并不完全相同，但矸石占比是逐渐增加的。煤矸混合物中的煤矸比例即为煤矸混合度，为了便于计算，采用混矸率(Gangue Mixed Ratio，)来定量表征煤矸混合度，其具体含义为

(1)

式中，为煤矸混合图像中的混矸率(为实测结果，为识别结果)，%；为图像范围内的矸石面积，cm；为煤样面积，cm。

表1 不同煤矸混合度试验方案

2.4 液体介入方式

考虑到放煤时的喷雾降尘是必需的工序，“液体介入+红外检测”技术可采用放顶煤工作面已有的降尘喷雾系统来实现液体介入。因此为了模拟降尘喷雾的介入效果，试验时9组方案采用量筒量取相同体积的液体、通过喷瓶将其以喷雾形式喷洒在煤矸表面的方式来进行液体介入，介入液体的温度为25.9 ℃。在介入前后的不同时刻均采用红外热像仪来采集煤矸试样的红外图像变化。

3 试验结果与分析

3.1 不同混合度煤矸红外图像特征

试验结束后，分别对9组试验进行液体介入前和液体介入后不同时刻的红外图像进行提取(提取时间段为0<<20 s，间隔1 s)，以方案1，3，6，9为例，其红外图像随时间变化如图8所示。由图8可知：

(1)不同的煤矸混合度，液体介入后红外图像中矸石样品所在区域与周围环境色彩接近，无法有效区分；而煤样所在区域则发生了明显的温降现象，其红外色彩与矸石及周边环境产生了明显且稳定的差异，因此可以将煤矸红外图像中的煤样作为识别对象，通过图像处理软件对其面积进行分割和计算，从而作为煤矸自动识别与混合度计算的基础。

图8 不同混合度条件下液体介入煤矸红外图像Fig.8 Variation of thermal image of different coal/gangue mixing degrees after liquid intervention

(2)当混矸率较低时，煤样温度在煤矸混合体的红外图像变化中起控制作用，液体介入后煤矸混合体整体温降明显，如图8(a)，(b)所示；随着放煤的继续进行，混矸率会逐步增大，红外图像中直接识别对象(煤样)的面积占比逐渐减少，因此识别的准确率可能会有一定程度的降低。

(3)液体介入后，随着时间的推移，红外图像中煤样与环境间的差异有一定程度减弱，意味着液体介入引起的煤、矸间温差逐渐减小，特别是在混矸率比较高的情况下，这种减弱特征尤为显著，如图8(c)，(d)所示。

3.2 不同混合度煤矸自动识别

3.2.1 基于ImageJ的煤矸混合度自动识别

ImageJ软件是医学中常用的图像处理软件，是一种基于Java语言开发并能够运行于多平台的开放数据源软件。该软件具有强大的智能计算功能，可提取指定区域的面积(规则及不规则面积)、标准偏差、灰度值、质心、直径、峰度、中值、偏斜等。该软件占用空间小，但图像处理快捷简便，处理方法多元，如锐化滤波、边缘探测、二值化、明场图像分割以及快速傅里叶变换等，且支持多种格式图像。目前该软件在医学、材料科学、农业科学等领域的图像处理与分析方面有广泛的应用，但在综放煤矸图像识别领域的应用较少，因此，将ImageJ软件引入采矿领域进行煤矸图像的处理及煤矸混合度定量计算，是一种有意义的尝试。

对试验中采集到的煤矸混合体红外图像，在ImageJ图像处理软件中选择灰度图像转换、边缘探测、二值化、去除背景、形态学运算等不同功能，以获取红外图像中的煤样面积，从而实现对煤矸混合度的自动计算，具体计算流程如图9所示。

图9 基于ImageJ的煤矸混合度自动识别流程示意Fig.9 Automatic recognition process of coal/gangue mixing degrees based on ImageJ software

采用ImageJ软件进行煤、矸石识别的过程中，在对红外图像进行灰度转换之后，可以直接进行二值化处理，也可以通过增加边缘探测、去除背景等处理步骤，来增强处理效果。以二值化处理法为例，通过3个步骤可以获得红外图像中所有煤样颗粒的面积：① 灰度图像转换。通过软件命令：Image→Type→8 bit，将图像转变为灰度图；② 二值化处理。打开Process→Binary→Make Binary，将灰度图像二值化；③ 形态学运算给出煤样面积结果。打开Analyze→Analyze Particles(Show:Outline)，点击OK得到形态学运算结果，获得的图像及数据结果如图10及表2所示。图中3种方法的原始红外图像相同。

由图10可知，不同路径的最终分割结果差异较大，对红外像进行灰度处理后，直接二值化及形态学运算，虽然对图像边界处煤、矸的分割出现一定的黏连，如图10(a)所示，但识别出的煤颗粒数量较少，有利于识别效率的提高，见表2；在二值化之前通过

图10 3种不同方法的处理流程Fig.10 Process flow of three different methods

表2 不同方法处理煤颗粒面积识别结果

增加去除背景处理，有利于削弱背景环境及矸石区域的影响，但也减弱煤中部分对比度较弱的区域，导致在后期形态学运算时会导致煤样区域的面积出现一定的空洞和缺失现象，如图10(b)所示；在二值化之前增加边缘探测处理步骤，可增加对试样边缘的识别与提取，但可能会导致有相当部分矸石区域在形态学运算时被误判为煤，如图10(c)所示，还会增加计算时间、降低识别效率；因此3种处理方法各有利弊，接下来将从煤矸混合度识别结果及准确率的角度，对不同方法进行定量比较和深入分析。

3.2.2 混矸率识别结果

为了定量分析不同处理路径对煤矸混合度识别结果的差异，采用以上3种方法对9个方案的红外图像进行处理，计算得到不同时刻(0<<20 s)混矸率值，如图11所示。混矸率采用式(1)计算方法。由图11可以看出：

(1)随着矸石混入量的增大，当煤矸混合度小于50%时，3种方法的逐渐向实测值靠近，如图11(a)～(f)所示；但当混矸率为大于50%时，3种方法值波动较大，尤其是边缘探测+二值化法，如图11(g)～ (i)所示。

(2)在放煤初始混矸阶段(方案1～3)，二值化法的自动识别结果在不同时刻均比边缘探测及去除背景更接近实测结果；随着混矸率继续增大，边缘探测及去除背景的自动识别值会接近混矸率实测值，但相比之下，采用二值化法获得的混矸率自动识别结果随着介入时间的增加更为稳定。

(3)在煤矸混合放出阶段的后期(方案7～9)，矸石大量混入，煤矸混合体中煤占比减小，导致与差异较大，这是由于煤矸红外图像识别主要利用液体介入后引起煤的快速温降来提取红外图像中的煤体面积，因此煤样减小意味着可检测对象减少，从而导致自动识别出的误差相对较大。

为了更系统地表达3种方法与的差异，分别绘制了不同煤矸混合度下的波动范围图，并与进行对比，如图12所示。

由图12(a)可知，采用单纯二值化法时，随着混矸率的增大，其各个阶段与的趋势大致相似，特别当20.27%<<65.41%时与基本重合且波动范围较小，尤其当混矸率为54.81%时，在监测阶段任一时刻的与几乎完全重合。而在混矸初期、煤矸混合阶段后期，与会产生一定差异；而当采用去除背景+二值化法时，在煤矸混合初期及中期，其识别结果与实测结果差异较大，仅在煤矸混合放出阶段的后期(54.81%<<73.47%)时，与两者出现局部重合，如图12(b)所示；采用边缘探测+二值化法时，随着混矸率的增大，与呈负相关，如图12(c)所示，且相较单纯二值化法和去除背景+二值化法，其自动识别的混矸率数值的波动范围较大。

3.2.3 识别准确率

将混合度识别结果与实测结果进行比较分析，计算不同煤矸混合度条件下3种处理方法的识别准确率。准确率的算法有很多，不同算法代表的含义不同。本研究中采用分类准确率算法，该算法将实例分成正类(Positive)或负类(Negative)。对一个二分问题来说，会出现4种情况：如果一个实例是正类并且也被预测成正类，即为真正类(True Positive,)，如果实例是负类被预测成正类，称之为假正类(False Positive,)。类似地，如果实例是负类被预测成负类，称之为真负类(True Negative,)，正类被预测成负类则为假负类(False Negative,)，见表3，其中1代表正类(本研究中为煤)，0代表负类(本研究中为矸石)。

图11 不同煤矸混合度条件下混矸率的识别结果Fig.11 GMR_R values under different coal/gangue mixing degree conditions

图12 不同方法混矸率的识别结果与实测结果比较Fig.12 Comparison of GMR_R and GMR_M values with different methods

表3 识别结果与实测结果关系

分类准确率算法中，准确率(Accuracy，)定义为正确分类的样本数与总样本数之比，其计算公式为

(2)

由式(2)可以看出，分类准确率算法与常规准确率算法的区在于，不管属于哪个类别，只要识别正确，其样本数都计入正确分类的样本数。根据式(2)计算3种方法煤矸识别准确率(Recognition Accuracy，)，并绘制准确率随煤矸混合度及介入时间的关系云图，如图13所示。

图13 煤矸混合度与介入时间对识别准确率的影响Fig.13 Influence of coal gangue mixing degree and intervention time on AR

由图13可知，不同的图像处理方法会显著影响煤矸识别准确率的高低，采用单纯二值化法时，识别准确率随混矸率的增大呈现先增大后减小的规律，如图13(a)所示，且高准确率区间的位置存在一定的介入时间效应：当混矸率小于20%，煤矸识别准确率随着混矸率增大而增大，液体介入后10 s内的平均准确率约85.78%；当混矸率在20%～60%时，识别准确率较高且较为稳定，平均准确率约94.38%，且液体介入时间长短对其影响很小；而当混矸率大于60%时，液体介入后需要较长的时间才能达到较高的识别准确率，因此图13(a)中高准确率区域呈现“倾斜条带状”分布特征，倾角约为78°。

采用去除背景+二值化法，混矸率较低时(0%～20%)识别准确率整体偏低，如图13(b)所示，高准确率区域出现在混矸率50%～70%内，其平均识别准确率为90.53%，且高准确率区域的分布仍呈现“倾斜条带状”特征，倾角约为85°，说明该方法较单纯二值化法受介入时间效应有所减弱。故采用该方法时，高准确率区域主要集中在煤矸混合阶段的后期且较为稳定。

与单纯二值化法及去除背景+二值化法相比，边缘探测+二值化法识别准确率整体较低，整个实验过程中识别准确率在19.48%～99.64%内波动，低准确率区域主要出现在混矸率大于75%的阶段；而高准确率区域出现在混矸率30%～55%内，如图13(c)所示，其平均准确率为90.84%。该种方法的高准确率区域呈现“近直立条带状”分布特征，虽然整个区域宽度收窄趋势，但其近直立的特征有利于高准确率在不同介入时间下的稳定性。

综上，3种不同的图像处理方法获得的高准确率识别区域特征不同，考虑到现场放煤过程中煤矸识别的时效性，计算液体介入后10 s内识别准确率数据的均值及标准差，定量分析3种处理方法下混合度对识别准确率的影响，如图14所示。

由图14可以看出，在煤矸混合放出阶段的初期及中期(<60%)，不同处理方法在液体介入前10 s内的平均识别准确率均随混矸率的增大先增大后稳定，其中单纯二值化法在不同混矸率条件下的准确率均值均相对较高，而离散性相对较低；当混矸率大于60%后，识别准确率均值呈下降趋势，同时离散性急剧增加，但考虑到现场综放煤矸识别往往是在煤矸混合放出阶段的初期及中期，因此识别准确率在后期的降低对实际应用的影响不大。

3.3 煤矸混合体红外温变场

通过液体介入方法实现煤矸红外图像识别的主要原理，是液体介入后煤、矸间温差增大，导致煤矸混合体的红外温度场发生显著变化。红外温度场(Infrared Temperature Field,)是指某一时刻红外温度(Infrared Temperature,)的空间分布，理论上，为红外温度()关于时间和空间的连续函数。

图14 识别准确率均值及标准差σ(0

文献[21]将某时刻红外温度变化速率的空间分布定义为红外温变场(Infrared Temperature Variation Field,)，红外温度变化速率是红外温度对时间求导的结果，即：

(3)

式中，为红外温度的变化速率；(，，，)为空间某一点某一时刻的红外温度；为时间。

由于红外温变场的解析式难以从理论上推导出，而是通过提取被测物体表面若干采样点的某些时刻的红外温度，构成离散的红外温度矩阵；再由红外温度矩阵的时间序列求差分得到红外温度差分矩阵序列，来近似地定量描述这些时刻的红外温变场。红外温差矩阵中的各元素分别代表对应采样点的红外温变速率，计算公式为

(4)

式中，TVR_为时刻采样点(，)的红外温变速率；(，，+Δ)，(，，)分别为+Δ，(0<Δ≤1 s)时刻采样点(，)的红外温度。

根据红外温变速率的概念，可以将红外温变划分为温升、温降两类。由于煤、矸亲疏水性的差异，液体介入后煤样会出现快速的温降现象，而矸石试样温降速率相对较慢，因此红外图像中低温区域一般为煤样所在区域，而图像中的相对高温区域一般为矸石及周围环境，故煤矸识别准确率与液体介入后煤矸表面红外温度场变化幅度密切相关。为了定量分析煤矸混合体表面红外温度场的变化，对液体介入后红外温度、温差Δ的变化范围进行统计。红外温差Δ定义为某一时刻红外图像范围内最高温与最低温间的差值，可由下式求出：

Δ=-

(5)

式中，Δ为某一时刻红外温度场中的最大温差，℃；为该时刻红外温度场中的最高温，℃；为该时刻红外温度场中的最低温，℃。

根据上式，绘制红外温度、温差Δ与煤矸混合度之间关系，如图15所示。

图15 红外温度场变化与煤矸混合度的关系Fig.15 Relation between ITVF and GMR

由图15可知，随着混矸率的增大，红外图像中温度变化范围逐渐收窄(图15(a))，温差变化呈现较为平缓的下降趋势(图15(b))，故液体介入引起的温度场变化在混矸率较低时较为明显，这有利于在煤矸混合放出阶段的初期达到较高的识别准确率。

液体介入煤矸识别准确率一方面与不同的图像处理方法有关，另一方面也与液体介入后煤矸间温差大小及煤矸混合体温度场的变化程度密切相关。图16为平均识别准确率、煤矸图像平均红外温差与混矸率之间的关系。

图16 平均温差和平均准确率与混矸率之间的关系Fig.16 Relation between average temperature difference,average accuracy and GMR

4 结 论

(1)对于灰度差异较小的难辨别煤矸种类，可采用“液体介入+红外检测”的方法提高煤矸识别准确率。不同的煤矸混合度下，液体介入后红外图像中煤样所在区域均出现显著温降现象，可作为煤矸混合度自动识别的基础。

(2)混矸率较低时，煤样温度在煤矸混合体的红外图像特征变化中起控制作用；当混矸率小于20%时，煤矸识别准确率随混矸率增大而增大，液体介入后10 s内平均识别准确率约85.78%；当混矸率在20%～60%时，识别准确率较高且较为稳定，平均准确率约为94.38%，且液体介入时间长短对其影响很小。

(3)混矸率大于60%后，不同处理方法的识别准确率均值随混矸率增大呈下降趋势，同时离散性急剧增加；煤矸图像平均红外温差的减小是煤矸混合放出后期识别准确率降低的根本原因，可通过选取合理的液体介入参数以增大红外温度场的变化程度，从而提高识别准确率。