基于深度相机的矿斗载矿量的测量方法

杨文龙 ，马保亮 ，陈 辰

（1.赣州有色冶金研究所，江西 赣州 341000；2.江西理工大学 电气工程与自动化学院，江西 赣州 341000；3.赣州有色冶金研究所有色金属矿冶装备工作设计中心，江西 赣州 341000）

矿石生产是地下矿山企业生产经营的重要组成部分，出矿量是矿山生产效益和绩效考核的重要指标。关于矿石开采后的运输计量问题，现行的主要解决方法是较为粗放的人工计量方法，主要是通过派遣专员在现场数运矿机车的载矿矿斗数，并根据矿斗的核载量估算出矿量。这种方法虽然简单方便，但是每个矿斗无法确保每次满载，偏差太大，同时受人的因素影响太大，现场人员十分辛苦，也不够经济。

关于矿石出矿的计量包括两个内容：一是根据矿斗是否空载，清点运矿机车的矿斗数量；二是根据矿斗的核载量，估算每个矿斗的载矿量。从传统的人工计量的角度来看，载矿矿斗的数量可以通过人工计数方法实现准确的统计，但是估算每个矿斗的实际载矿量，即使是拥有丰富经验的工人来算，依然无法达到准确的计量。对于矿山企业而言，无法掌握准确的矿石生产数据，严重影响矿山的生产平衡和成本控制。

基于以上现状，有相关研究人员提出了一些改进方案，用基于车牌识别的方式代替人工点算矿斗[1]，用动态轨道衡去称量矿斗的载矿量[2]。虽然这种方案取代了人工操作，但是动态轨道衡成本昂贵，而且矿山井下环境复杂恶劣，容易损坏不易维护。近年来，随着红外测距技术的发展，基于红外测距技术开发的深度相机设备也得到了相关研究人员的关注。深度相机可以同时获取目标物体的标准格式的色彩图像（以下简称“RGB图像”）和深度信息图像，目前已经有一些将深度相机用于物体体积测量的研究[3-7]。前人研究表明借助深度相机可以获取目标物体深度信息的特性去计算物体体积的方案是切实可行的。那么，再结合物体密度计算物体的重量也是可以实现的。

1 测量方法的设计原理

经过以上研究调查，本文提出了基于深度相机的矿斗载矿量的测量方案。根据密度计算公式，可知：重量=体积×密度。深度相机可以获取目标矿斗的两种图像：一个是深度图像，一个是RGB图像。其中，深度图像反映目标物体的深度信息，RGB图像则反映目标物体上表面的纹理特征。

1.1 体积

体积的获取方法流程如图1所示，先对深度图像进行数据预处理，然后提取深度信息，利用矿斗固定体积模型结合微分法计算出目标矿斗的体积。

图1 体积计算流程Fig.1 Volume calculation process

1.2 密度

由于矿斗内物质组成成分复杂，利用传统的平均密度计算方法是不合适的。研究表明，矿斗载矿物的平均密度与矿斗上表面的矿石空间分布有一定的关系[8]。因此本研究提出利用基于深度学习的思想寻找矿斗上表面的矿石空间分布特征与矿石平均密度之间的对应关系，深度学习是一种可以根据特征数据去寻找事物潜在的变化规律的算法，而且目前这种方法的理论发展得非常成熟，其训练模型的准确度在一些应用场景下也接近于完美，通过这种方法可以较为准确地找到与矿斗相匹配的密度，抛开其成熟的理论算法之后，其结果的影响主要来源就是训练样本的质量和数量[9]。如图2所示，首先用轨道衡测出矿斗的质量，结合体积计算出矿斗的平均密度，并用深度相机拍下矿斗的上表面RGB图像记录分布特征，这样可以形成一个平均密度-图像特征的对应关系。最后，经过大量的数据训练，可以得出一个稳定的平均密度与图像特征的训练模型。

图2 密度-图像特征库形成过程Fig.2 Formation process of density-image feature library

1.3 重量

在应用阶段可以撤掉轨道衡，如图3所示，当深度相机采集到目标矿斗的RGB图像和深度图像后，先根据深度图像计算矿斗体积，并用RGB图像与密度特征库进行匹配，计算出一个最佳的平均密度，最后用体积乘以密度即可获得矿斗的载矿量。

图3 系统应用流程Fig.3 System application process

2 数据采集与处理

数据采集阶段是十分重要的，因为原始数据的质量直接影响着算法训练模型结果的好坏，所以在数据采集阶段应尽量避免环境光照、遮挡物等不良因素的影响。而针对物体表面的缺陷、空洞等因素的影响，则需要在数据预处理阶段，借助图像增强算法进行弥补加强。

2.1 数据采集

深度相机（如Kinect）通常是包含一个RGB镜头、一个红外发射器、一个红外接收器这三个镜头去测量，每秒可以拍摄十几帧图像。但是在工业场景下为了提升测量的准确性，会使用类似人眼双目性质的深度相机，这种相机是在已有的三个镜头的基础上又增加了一个红外接收器，可以更加准确地确定目标位置信息。这些信息便是深度信息，它们反映着目标物体到深度相机的距离，存储在深度图像中。另外，深度相机在使用红外接收器拍摄目标的深度信息的同时，还会使用RGB镜头拍摄目标物体表面的RGB图像。因此，可以利用深度图像提取目标矿斗的深度信息，进而计算出目标矿斗的载矿体积；通过RGB图像则可以提取目标矿斗上表面的物质分布特征。

本研究使用的是一款工业级的深度相机，这款相机的测量高度是在0.5～8 m之间，并且随着高度每增加1 m测量误差便会增加1 mm。即深度相机的测量误差会随着相机安装高度的增加而增加，而实际上矿井下行车巷道的高度一般在2～3 m之间，而且运矿机车一般是有轨低速电车，因此为了不干涉电车运行，将相机安装在矿道顶部是合适的，矿斗与深度相机位置示意图见图4。另外，机车的运行速度一般在1～2 m/s之间，相机的拍摄速度是25帧/s左右。因此，在机车运行期间相机可以满足实时拍摄的要求，不会出现漏拍现象。

图4 矿斗与深度相机位置示意图Fig.4 Location diagram of ore hopper and depth camera

相机在拍摄过程中，如果周围环境过暗会使得所采集的RGB图像曝光不足，而如果给目标表面直接补光，可能会使得RGB图像过度曝光。曝光不足和过度曝光都会影响RGB图像的质量，因此考虑在相机周围铺设LED灯，提升环境的亮度，进而提升RGB图像的曝光度。如图4所示，当矿斗在轨道上运行至深度相机下方时，相机开始采集矿斗上表面的深度图像和RGB图像。

2.2 数据处理

深度相机主要是依靠红外光线的衍射原理来进行测距。当照射在某些非粗糙表面、物体的轮廓边缘处以及阴影处，又或者光线被遮挡时，红外光线不会发生衍射，设备会出现无匹配的情形，返回测量深度值为0或者错误值，就会出现“黑洞噪声”。另外，相机匹配深度数据时很容易将目标相邻物体的深度值匹配到深度图像中，这些深度值会对后续的体积模型计算产生干扰，需要给予剔除。综上，数据预处理就是对原始数据进行筛选或者补偿。数据预处理包括两个内容：一是针对深度图像中缺失的深度数据进行补偿处理；二是排除深度图像中目标相邻物体深度信息的干扰[10]。

2.2.1 补偿处理

本方案是采用多帧数据融合的方法改善深度数据，既可以补全缺失数据，又可以对数据进行简单的平滑处理达到消减噪声的效果。在深度图像中，取n张连续帧的图像Ii（x，y），对这些图像的相同像素点的深度值取均值再取整，处理后的图像I（x，y）可以用于减少噪声和空洞，获得平滑的效果[11]，其表达式如式1所示。

式中：n表示在连续帧图像中取n张图像；Ii（x，y）表示第i张图像。

2.2.2 排除干扰

设定深度相机获取的RGB图像和深度图像已经完成了校准，即RGB图像的像素点与深度图像的像素点已实现一一对应。可以通过对RGB图像进行图像分割处理，标记出目标矿斗区域，然后据此标记提取深度图像中对应区域的深度信息，这样就可以减少目标相邻信息的干扰。

常用的图像分割方法有如下几种，如基于阈值、基于区域、基于边缘以及基于特定理论的分割方法。研究发现本研究处理的对象图片是由深度相机在固定的角度拍摄，对于图像内容而言除了目标物体外，其余的背景特征一致。因此可以使用基于背景差分的方法将背景物体去除，进而保留目标图像[12]。

背景差分法是先获取一个参考背景图像B（x，y），将当前图像I（x，y）与参考背景图像做差分，然后利用阈值分割的方法将前景目标提取出来。用公式描述如式（2）所示。

式中：I（x，y）为当前图像的灰度图像；B（x，y）为参考背景图像；T 为阈值；D（x，y）为二值图像。

二值图像是指图像矩阵中只有两个值0和1，0代表黑色，1代表白色。经过背景差分法处理后的二值图像中白色区域为目标矿斗区域，黑色区域为背景区域。如公式（3）所描述的，以经过背景差分法处理的二值图像 D（x，y）作为模板与深度图像 G（x，y）进行对应相乘，与1相乘则保留原值，与0相乘则为0，这样在深度图像中即可保留目标矿斗对应的深度值，过滤掉背景深度值的干扰。

式中：G（x，y）为当前图像的深度图像；D（x，y）为经过背景差分法处理后的二值图像。

3 计算体积

目前矿山所用矿斗外观基本如图5（a）所示。空间结构如图5（b）所示，上底面ABCD和下底面EFGH均为长方形，前面CDEF和后面ABGH均为等腰梯形，与上下底面均垂直；左面ADEH和右面BCFG均为矩形，与底面EFGH的夹角为锐角。因此，在计算矿斗内所载矿物体积时，可以将矿斗算为一个完整的长方体，体积为V，如图5（b）所示，再减去左右两边两个看似规则的类横三棱柱，从而计算出矿斗的体积，计算公式如式（4）所示。

但是，很多情况下所载矿物表面为不规则表面，而且矿斗一般也不会装满。这就产生了一个问题，左右两边要减去的横三棱柱的高会出现不一致的情况，从而也会导致两边的竖截面不同，但是两边的斜面夹角一致，这样也就可以求出截面积，进而得出棱柱体积[8，10]。可以用公式（5）表示为：

图5 矿斗及其镂空模型Fig.5 Model of hopper and its hollowed out

式中：l为矿斗的内长，mm；h1为左棱柱的高，mm；h2为右棱柱的高，mm；α为矿斗斜面与底的夹角，（°）。

矿斗整体的体积可以采用微元法的思想进行计算[13]。设矿斗DC为x方向，DA为y方向，测量时可分别在x方向和y方向取步距为Δx、Δy，分别取m和n步。对于一个大小为Δx×Δy的子区域含有像素点Δx×Δy个。深度相机的深度信息反映的是相机到物体表面的距离，而非物体自身的高度，需要结合实际情况进行校准。设相机到被测物体底部的距离为H，由深度相机测得的每一个点的深度信息为hi，j（i=1，2，…m；j=1，2，…n），则被测物体表面每个子区域的高度值为：

那么，子区域对应的体积为：

总体积为：

对于左右横三棱柱的高，可以通过提取深度图像双边的深度值计算出。沿着y方向微分，每一个微元可以看成一个三角片，其体积为：

对于左、右横三棱柱其高在深度图像上对应在Z（1，j）和 Z（m，j）处，那么左右两个横三棱柱的体积为：

综合以上，则所载矿物体积为：

式中：Zi，j为矿石表面某点到矿斗底部的垂直高度，mm；i为某点在x方向的坐标；j为某点在y方向的坐标；α为矿斗左右斜面与水平底面所成的夹角，（°）。

4 计算密度

矿斗内装载的矿物既有形状较大的矿石，又有因破碎而产生的沙状微小矿石，这些又在矿斗内层叠堆积，随机分布。而且各个矿斗内的矿物含量情况也不一，有的形状较大的矿石占多数，也有形状较小的矿石占多数，还有二者分布较为均匀的情形。如果单纯考虑根据实际情况或者经验确定一个平均密度值的话，虽然可以满足大多矿物粒度分布均匀的矿斗，但是对于一些矿物分布极不均匀的矿斗来说，这个平均密度值还是有失偏颇。所以这里采用试验的方法，借助深度学习的算法通过研究分析矿斗表面的粒度分布，然后判定其对应的密度值，相较于根据经验设定一个密度值而言，结果更加准确可信。关于粒度分布与密度之间的具体关系受篇幅限制，将在新的研究中展开叙述。

这里所述的密度并不是严格意义上的密度，而是一种比重，指的是物体重量和物体体积之间的比值，反映物体在单位体积下的重量。矿斗内矿物单位体积的重量则与单位体积空间下矿物的大小、矿物的装载高度相关。这些直接影响着矿斗内矿物的粒度分布。深度相机的RGB图像恰好可以记录下这些特征。

4.1 训练样本的质量

训练样本的质量影响因素主要有两个方面：一是在数据采集阶段，如前文所述给较暗的环境补光，提升样本原始图像的质量，尽量减少不必要的环境因素对数据产生的影响；二是在数据预处理阶段使用一些图像增强算法弥补物体表面的反光和缺陷等问题。

4.2 训练样本的数量

关于训练样本的数量比较难判断，既要防止数据的欠拟合也要预防过拟合，而且采集现场也不能中断生产以专供试验，所以比较好的方法是先采集一组小样本数据，训练得到一个简单的模型后，再让这个模型在现场进行不断的自我完善更新。

每一组样本数据的生成过程如下：

（1）使用轨道衡在现场测出矿斗的载重重量m。

（2）结合体积，计算目标矿斗的平均密度ρ。

（3）提取目标矿斗的 RGB 图像特征 g（x，y）。

（4）建立平均密度与RGB特征之间一对一的映射关系。

（5）重复前4步，持续采集数据。

样本数据生成完毕后，便可将这些数据批量输入算法中，进行模型训练。模型训练的本质就是寻求一个平均密度与RGB图像特征之间的函数关系ρ=Y（g（x，y））。

最后，当对模型输入一个矿斗的RGB图像特征g（x，y）后，经过模型计算可得该矿斗的平均密度，然后结合矿斗体积可计算该矿斗的载重。计算公式如式（12）所示。

5 结 语

根据地下矿山企业出矿量的计量现状，提出了在运矿环节利用深度相机获取矿斗表面的深度图像和RGB图像，经过数据去噪、补偿和筛选后，再利用数值积分的方法计算矿斗的载矿体积，然后结合密度-图像库匹配出与目标矿斗的表面RGB图像拟合程度最高的密度值，最后根据密度公式计算矿斗的实际载重这一解决方案。并且每一个矿斗的载重数据都会存储在后台数据库中，生成台账信息。因此，即使算法在速度上有一些滞后，也不会影响到具体的应用。根据本方案可以很好地解决长期困扰矿山企业计量矿石出矿量的问题，同时提升地下矿山企业运矿流程的自动化程度，降低地下矿山企业的经营风险。