基于彩色和深度信息结合K-means聚类算法快速拼接植株图像

沈 跃，朱嘉慧，刘 慧，崔业民，张炳南



基于彩色和深度信息结合-means聚类算法快速拼接植株图像

沈 跃1，朱嘉慧1，刘 慧1※，崔业民2，张炳南1

（1. 江苏大学电气信息工程学院，镇江 212013；2. 南通广益机电有限责任公司，南通 226631）

图像拼接可以建立宽视角的高分辨率图像，对实现农业智能化有重要作用。基于Kinect传感器的图像拼接方法利用彩色和深度双源信息，能够有效避免图像缺失、亮暗差异、重影等拼接错误，但是存在拼接时间较长和目标植株不明显等情况。针对这一问题，该文提出一种基于Kinect传感器彩色和深度信息的目标植株图像快速拼接方法。首先用-means聚类算法和植株深度信息提取彩色图像中有效植株区域，再采用SURF（speeded up robust features）算法进行特征点提取，利用相似性度量进行特征点匹配并根据植株深度数据去除误匹配，由RANSAC（random sample consensus）算法寻找投影变换矩阵，最后采用基于缝合线算法的多分辨率图像融合方法进行拼接。室内外试验结果表明：该文图像拼接方法更能突显出目标植株且极大缩短了拼接时间，该方法图像拼接时间只需3.52 s（室内）和7.11 s（室外），较基于深度和彩色双信息特征源的Kinect植物图像拼接方法时间缩短了8.62 s（室内）和38.56 s（室外），且平均匹配准确率达96.8%。该文拼接后图像信息熵、清晰度、互信息、空间频率平均分别为6.34、50.36、11.70、11.28，图像质量较传统方法均有提高。该研究可为监测农业植株生长状态、精确喷洒药物提供参考。

图像处理；算法；机器视觉；-means聚类；SURF算法；图像融合；彩色和深度信息

0 引 言

农业智能化是近年来农业信息技术研究的主要方向和发展趋势。对农业果实植株进行检测、田间管理、农用机器人导航等田间工作，需要获取整块农田作物的生长情况，因此图像拼接技术具有较高的实用价值[1-4]。曹楠等[5]等提出的基于SIFT（scale-invariant feature transform）特征匹配的图像无缝拼接算法是一种较为传统的图像拼接方法，虽然继承了SIFT算法的鲁棒性，且消除拼接缝，但是拼接后图像可能存在重影、缺失等情况，拼接精度和时间也有待提高。赫更新等[6]提出SURF（speeded up robust features）与RANSAC（random sample consensus）组合图像拼接算法可实现图像快速拼接，是一种加快图像拼接速度的图像拼接方法，但其匹配精度不能满足作业需求。沈跃等[7]提出基于深度和彩色双信息特征源的Kinect植物图像拼接方法，能够有效改善图像缺失、重影等拼接错误，且拼接精度高，但是其拼接时间较长，在农田作业时无法满足实时性需求。因此，本研究针对文献[7]的图像拼接方法进行改进以提高图像拼接的效率。

本文在文献[7]研究的基础上，提出基于Kinect传感器彩色和深度信息的目标植株图像快速拼接方法，通过Kinect V2.0获取彩色图像和植株三维数据[8]，根据植株深度数据和K-means聚类算法得到彩色图像中有效植株区域，采用SURF算法对有效区域进行特征点提取，再利用相似性度量的方法对特征点进行匹配，在进行特征点匹配对筛选的过程中，提出采用左右位置深度距离不变的方法去除误匹配，通过RANSAC算法寻找图像间的最佳投影变换矩阵，再利用基于最佳缝合线的多分辨率融合的方法对待拼接图像进行融合，从而获取整体目标图像。

1 材料与方法

1.1 彩色图像和深度数据采集

为了采集植株彩色图像和深度信息，搭建了数据采集平台，平台包括Kinect 2.0传感器、PC机、相机支架、滑台以及待测植株[7]。Kinect传感器固定于相机支架或滑台上，通过USB延长线接口连至PC机，待测植株距Kinect传感器大约1 500 mm～1 800 mm。利用运动滑块携带Kinect传感器以0.5 m/s速度匀速前进，运动方向与植株所在平面平行，由于滑台是水平的，所以Kinect进行水平直线运动，通过MATLAB调用Kinect每隔0.6 s获取1次植株彩色图像和深度距离信息并保存，对不同的植株图像共进行50次试验，每次试验共采集图像20幅，图像大小均为1 920×1 080像素。

1.2 彩色图像目标植株区域提取

1.2.1 深度数据预处理

由于Kinect拍摄的植株图像包含复杂背景，在进行特征点提取时会提取到很多不在目标植株上的特征点，导致特征点提取时间增长，因此，去除植株背景是十分有必要的。在自然环境中，目标植株图像的背景中常常含有大量干扰植物，本研究采用深度信息与彩色图像相结合的方法提取出目标植株区域。

Kinect传感器深度数据记录的是待拍摄物体与传感器之间的距离，经常被应用到人机交互领域，即能够将图像中的人从背景中提取出进行开发应用[9-10]。本试验充分利用传感器的这一特性，通过深度图像的检测范围的限制，对待检测的植株树木的深度特征进行初步识别[11]。由于Kinect识别的最佳距离是1 500～1 800 mm，所以将目标植株放置于传感器前方1 500～1 800 mm范围内，在实际应用可将kinect固定于行驶的小车上，小车距植株1 500～1 800 mm即可。从而通过距离的限制初步将目标植株与背景分离，程序设置距离内的区域像素值为1，将距离外的区域像素值为0。

1.2.2-means聚类算法

聚类分析算法[12-14]是数据挖掘的一个重要算法，其中，-means聚类算法在进行数据集处理的效率非常高，特别是针对大数据集，且相对简单，-means聚类算法工作过程为：首先从个数据对象任意选择个对象作为初始聚类中心；而对于所剩下其他对象，则根据它们与这些聚类中心的相似度，分别将它们分配给与其最相似的（聚类中心所代表的）聚类；然后再计算每个所获新聚类的聚类中心（该聚类中所有对象的均值）；不断重复这一过程直到标准测度函数开始收敛为止[15-16]。根据本文预处理后获取的效果图，只需要获取目标植株所在的图像区域，因此试验中选取其聚类数2就能够得到最好的分割效果。

此时得到的分割后图像会存在很大误差，尤其是在室外试验中，而图像分割误差越大，拼接后图像误差越大。所以为了保证后续图像拼接准确率，本文保留了植株所在的矩形区域。在得到的二值图像的基础上，至上往下对每一行进行求和，直至找到第一个非空白行为止，记为第行，至下往上对每一行进行求和，直至找到第一个非空白行为止，记为第行；至左往右对每一列进行求和，直至找到第一个非空白列为止，记为第列，至右往左对每一列进行求和，直至找到第一个非空白列为止，记为第列；在原彩色图像上截取出第行到第行，第列到第列的图形区域，此时得到的即是提取出的植株所在的矩形区域。处理后图像如图1所示。

a. 初始图像 a. Original imageb. 去除背景后图像 b. Image without complex background

图1a是Kinect拍摄到的初始图像，图1b是去除复杂背景后的彩色图像，其中黑色部分是被去除的无目标植株的部分，保留了植株所在的矩形区域。

1.3 植株彩色图像初步匹配

1.3.1 SURF特征点提取

对于图像的匹配算法而言，能够找到具有高鲁棒性的特征点是其关键，SURF[17-18]（speeded up robust features）算法的速度是SIFT（scale-invariant feature transform）算法的3倍左右，并且在多幅图片下具有更好的稳定性[19]。

SURF算法主要分为4部分：生成尺度空间、检测关键点、分配关键点方向、特征点描述子生成[20-21]。比起SIFT算法，SURF算法通过使用Hessian矩阵[22]和降维的特征描述子来增加执行效率。SURF算法提取到的特征点如图2所示。

注：图中圆圈代表特征点的尺度，圆圈内十字交叉点即为特征点。

1.3.2 相似性度量特征点匹配

相似性度量，即综合评定2个事物之间相近程度的一种度量，可利用相似性度量进行特征点匹配。本文采用算法简单实现效率高的欧氏距离作为2幅图中的相似度量。将1幅图像中的某个关键点和另1幅图像中与其距离最近的前2个关键点相比，若比值ratio小于某个阈值，则接受这1对匹配点。经多次试验发现，当取阈值为0.6时，存在的误匹配较少。图3是特征点匹配图。

注：图中直线为2幅图中特征点匹配对的连线。

1.4 图像融合

1.4.1 Kinect深度信息误匹配消除

从图3中可以看出通过相似性度量得到潜在匹配对中不可避免会产生一些错误匹配，这会使拼接后图像发生缺失、错位等情况。因此需要对错误匹配进行处理。

本文采用文献[7]中利用深度信息去除误匹配的方法。Kinect传感器仅进行水平平移，所以同一点在不同位置的深度距离相同。若匹配到的2个特征点深度距离相同，则保留此匹配，否则去除该匹配。由此得到的匹配对正确率较高。

1.4.2 RANSAC算法寻找最佳单应性矩阵

单应性矩阵描述的是针对同一事物，在不同的视角下拍摄的图像之间的关系。本文采用文献[7]中RANSAC算法寻找最佳单应性矩阵[23-24]，RANSAC[25]算法目的是找到最优的参数矩阵，使得满足该矩阵的数据点个数最多，矩阵大小为3×3，通常令33=1，其变换形式如下

式中(,)表示目标图像角点位置，()为场景图像角点位置，为尺度参数。

1.4.3 基于最佳缝合线的多分辨率图像融合

图像融合以图像配准为基础，实现图像自然平滑过渡。本文使用基于最佳缝合线的多分辨率算法进行图像拼接。

在2幅图像重叠区域的差值图像上，颜色、结构强度差值最小的一条线被称为理想的缝合线[26-27]。

由投影变换矩阵可以得到2幅图像水平平移的像素量，2个位置的坐标系归一化到同一个坐标系中，将2幅图像重叠的部分作差运算生成一幅差值图像；对差值图像从重叠区域的第一行出发，向下扩展，对每行计算缝合线强度值到最后一行为止，然后将所有选中的点连接起来作为最佳缝合线。

在求得最佳缝合线之后进行多分辨率融合拼接[28-29]，步骤如下：

1）根据拼接后图像的大小，生成一幅模板图像，将缝合线左侧填充0，右侧填充255，形成一副黑白模板图像。

2）将原始2幅图像、扩展到拼接后图像的大小，扩展部分填充0。

3）生成模板的高斯图像G，以及经扩展的、的拉普拉斯图像L、L。

4）在每一层上分别进行融合，求得融合后的拉普拉斯图像fusion，像素值计算公式为

式中代表第几层；(,)代表像素点坐标。

5）对于融合后的拉普拉斯图像fusion，从最高层开始差值扩展，并与其下一层图像相加，重复此过程直至与最后一层图像相加完为止，得到最终需要的基于最佳缝合线的多分辨率融合图像。

1.5 改进的基于Kinect传感器彩色和深度信息的目标植株图像快速拼接

本研究基于Kinect传感器彩色和深度信息的目标植株图像快速拼接流程图如图4所示。

图4 基于彩色和深度信息结合K-means聚类算法快速拼植株图像接流程图

第1步，Kinect获取不同角度的彩色图像和深度信息，对获取到的深度信息进行范围限制，然后利用-means算法提取出彩色图像中有效植株矩形区域。

第2步，用SURF算法进行关键点搜索，再采用相似性度量的方法进行特征点匹配。

第3步，用多幅图像的深度距离不变性消除误匹配，对得到的匹配对采用RANSAC算法寻求2幅图之间的最佳投影变换矩阵。

第4步，采用基于最佳缝合线的多分辨率图像融合算法对图像进行融合，最终实现了图像的精确拼接。

文献[7]所提出的图像拼接方法没有分割出有效植株区域，彩色图像复杂的背景给图像拼接造成很大干扰，并且本文采用的SURF特征点提取方法比文献[7]中采用的SIFT特征点提取速度更快，最后本文采用基于最佳缝合线的多分辨率图像融合，相比文献[7]中最佳缝合线算法，本文融合算法使图像融合更为平滑，尽可能地解决了因为亮暗差异导致的拼接线较为明显的问题。因此本文图像拼接方法更能突显出目标植株，且极大缩短了拼接时间。

2 试验设计与结果分析

2.1 试验设计

为了验证本文方法的精确性和实时性，设计了室内与室外试验，试验所用计算机主机配置CPU为Intel Core i7，主频为2.60 GHz，内存为8GB，操作系统为Windows 10，程序编写运行环境为MATLAB R2016a。试验场景如图 5所示。

图5 室内外试验场景图

图5a是室内试验场景图，将Kinect传感器固定在一个6 m长的滑台上进行试验，滑台距离地面高度1 500 mm，绿色植株与试验滑台的垂直距离为1 500～1 800 mm，当运动滑块以0.5 m/s速度匀速前进时，携带Kinect传感器以同样速度移动，每隔0.6 s用MATLAB获取1次植株彩色图像和深度距离信息并保存。图采集图形共耗时12 s，共采集图像20幅，图像大小均为1 920×1 080像素。图5b室外试验场景图，室外试验在植株培育基地进行，由于室外试验条件的限制，没有在滑台上进行试验，而是将Kinect固定在相机支架上，水平移动相机支架，用MATLAB获取植株彩色图像和深度距离信息并保存。

2.2 评价指标

采用一些客观评价指标对图像融合质量进行评价，由于不存在理想的标准参考图像，因而采用基于融合图像自身统计特性以及反映融合图像与源图像之间关系的性能指标客观地评价图像的融合效果。

1）信息熵（information entropy，IE）

信息熵[30]是用来衡量一个随机变量出现的期望值的一种指标。当一个变量的信息熵越大时，这个变量出现的情况也就越多，也就是包含的信息量越大。说明融合效果越好。计算公式如下

2）清晰度（clarity）

又称平均梯度，其通过相邻2像素灰度差的平方反映图像细节反差程度和纹理变化特征，计算公式如下

式中()表示图像对应像素（）的灰度值，为图像清晰度计算结果。清晰度值越大，表明图像越清晰，融合效果越好。

3）互信息（mutual information，MI）

互信息是用于衡量2个域变量之间的依赖性的一个指标。表示待融合图像、与融合图像之间的互信息，互信息越大，说明融合图像从源图像中提取的信息越多,融合的效果也越好。互信息的计算公式如下

式中p(,,)、p(,)分别为融合图像与原图像之间、2幅原图像之间的联合灰度分布。表示融合后图像，表示融合后图像像素数，表示原始图像像素数，p表示灰度值为的所有像素在整体图像中所占的比例。

4）空间频率（spatial frequency，SF）

空间频率测量的是像素值的变化速度，反映了图像整体活跃程度，而与像素本身值的大小没有关系，可以评价图像灰度的变化情况。

式中RF为空间行频率；CF为空间列频率，且

式中表示像素大小，（）表示图像对应像素()的灰度值。

SF值越大表明拼接图像融合并非是重叠区简单的叠加，而是2幅图像的过渡融合。

2.3 结果与分析

2.3.1 室内试验

顺序抽取3个连续时间点获取的3张彩色图像作为待拼接图像，如图6a所示。用限制深度距离的范围，程序设置距离为1 500～1 800 mm内的区域像素值为1，距离外的区域像素值为0。再对处理后的彩色图像采用-means聚类算法分割出目标植株，将彩色图像转换成二值图像进行展现，减小数据量，突显出感兴趣目标的轮廓。最后根据得到的二值图像分割出目标植株所在的最小矩形区域。处理后图像如图6b所示。

a. 原始图像 a. Original image b. 提取的目标植株区域 b. Target plant area extracted

图6b是提取出的植株所在矩形区域，图中黑色部分即是采用上述方法去除掉的目标植株外的背景区域。在进行试验时，这部分平均共耗时2.30 s。

SURF算法提取到特征点分别为143、158、153个，根据相似性度量的方法得到特征点匹配对117和94对，此时得到的特征点匹配对存在一些误匹配，利用深度信息共消除误匹配对23和18对（见表1），通过RANSAC算法寻求投影变换矩阵，2种方法的投影变换矩阵分别为

最后分别采用文献[7]中最佳缝合线算法和本文中基于最佳缝合线的多分辨率图像融合算法对3幅待融合图像进行处理，结果如图7所示。

表1 3种不同拼接方法对比

Table 1 Comparison of 3 different mosaic method methods

试验组 Test groups算法 Algorithm试验次数 Times of test特征点匹配 Feature points matching时间 Time/s 匹配数 Matching number消除的误匹配对数 Mismatching eliminated正确匹配对 Correct matching匹配准确率 Accuracy of matching/% 文献[5]50140－12488.614.04 室内Indoor文献[7]1172311396.612.14 本文94189196.83.52 文献[5] 502 178－1 98891.356.32 室外Outdoor文献[7]1 2399391 18095.245.67 本文98032893395.27.11

a. 文献[7]方法的图像拼接 a. Image mosaic result by method in literature[7] b. 本文方法图像拼接 b. Image mosaic result by proposal method

图7 室内试验图像拼接对比

Fig.7 Image mosaic comparison of indoor test

图7b中黑色区域为去除掉的部分背景。从图中可以看出采用2种方法得到的拼接后图像均没有产生重影、缺失等明显拼接错误，这是因为室内试验中光照较为均匀，2种图像拼接方法均适用。试验数据表明：同样3幅待拼接图像下，文献[5]图像拼接方法平均耗时14.04 s，平均匹配准确率为88.6%（见表1）；文献[7]拼接方法平均耗时12.14 s，平均匹配准确率为96.6%；本文图像拼接方法平均耗时1.32 s，平均匹配准确率为96.8%，试验总耗时平均为3.52 s，由此得出与文献[5]图像拼接方法相比，文献[7]和本文方法匹配准确率平均提高8个百分点左右，和文献[7]相比，本文图像拼接方法极大减少了图像拼接时间（减少8.62 s），提高了图像拼接效率，在进行室内图像拼接时能更满足作业需求。

2.3.2 室外试验

顺序抽取3个连续时间点获取的3张彩色图像作为待拼接图像，如图8a所示，限制深度距离，采用-means聚类算法和植株深度信息提取出有效植株矩形区域，处理后图像如图8b所示。

a. 原始图像 a. Original image b. 提取的目标植株区域 b. Target plant area extracted

图8b是提取出的植株所在矩形区域，图中黑色部分即是采用上述方法去除掉的目标植株外的背景区域。在进行试验时，这部分平均共耗时2.81 s。

对处理后的彩色图像和三维数据分别用文献[7]的图像拼接方法和本文改进后拼接方法进行处理，SURF算法提取到特征点分别为1 445、1 718、1 680个，根据相似性度量的方法得到特征点匹配对1 223和984对，利用深度信息共消除误匹配对931和327对，通过RANSAC算法寻求投影变换矩阵，2种方法的投影变换矩阵分别为

图9是分别采用本文方法和文献[7]方法的试验效果对比图。

从图9a中可以看出，在对亮暗差异较大的图像进行融合时，出现了分割线明显的情况，且缝合线两侧图像的曝光差异很大，而图9b中图像平滑过渡，不会出现曝光差异。试验数据表明：文献[5]图像拼接方法耗时56.32 s，匹配准确率为91.3%（见表1）；文献[7]拼接方法耗时45.67 s，匹配准确率为95.2%；本文图像拼接方法耗时4.3 s，试验总耗时7.11 s，匹配准确率为95.2%。由此得出文献[7]和本文方法匹配准确率提高3.9个百分点左右，并且与文献[7]相比本文图像拼接方法极大减少了图像拼接时间38.56 s。

图9 室外试验图像拼接对比

基于SIFT特征匹配的图像无缝拼接方法（即文献[5]）图像拼接方法、基于深度和彩色双信息特征源的Kinect植物图像拼接方法（即文献[7]）和本文拼接方法的拼接后图像质量对比分析如表2所示。

表2 不同拼接方法图像质量对比

从表2中可以看出，室内试验中，文献[5]、文献[7]和本文图像拼接方法得到的融合图像的信息熵平均为6.24、6.35和6.38，本文的信息熵最大，包含的信息量越大；融合图像的清晰度平均为47.56、49.32和50.15，本文方法的清晰度最大，图像最清晰；融合图像的互信息平均为10.03、10.52和11.56，本文方法的互信息最大，融合图像从源图像中提取的信息越多；融合图像的空间频率平均为9.21、9.89和11.32，本文方法的空间频率最大，说明拼接图像融合并非是重叠区简单的叠加；室外试验中，本文方法信息熵、清晰度、互信息和清晰度均最大，因此，其图像融合效果最好。

3 结 论

本文针对复杂背景的精确图像拼接，提出一种基于Kinect传感器彩色和深度信息的目标植株图像快速拼接方法。先利用深度信息去除部分背景，再采用-means聚类算法提取有效植株区域，对有效植株区域采用SURF算法进行特征点提取，利用相似性度量的方法进行特征点匹配，根据深度距离信息筛除误匹配对，再引入RANSAC算法得到投影变换矩阵，最后采用基于最佳缝合线的多分辨率图像融合算法进行图像融合。试验结果表明：

1）本文基于Kinect传感器彩色和深度信息的目标植株图像快速拼接方法耗时较短。室内试验中，沈跃等（2018）方法（基于深度和彩色双信息特征源的Kinect植物图像拼接方法拼）耗时12.14 s，本文方法耗时3.52 s；室外试验中，沈跃等（2018）方法接耗时45.67 s，本文方法耗时7.11 s。因此本文方法更能满足实时作业的需求。

2）基于Kinect采集到的彩色图像和三维数据对植株进行图像拼接，室内试验中，沈跃等（2018）方法图像匹配准确率为96.6%，本文方法图像匹配准确率为96.8%；室外试验中，沈跃等（2018）方法图像匹配准确率为95.2%，本文方法图像匹配准确率为95.2%。因此本文方法依然保持了很高的拼接精确率。

3）室内外试验中，沈跃等（2018）方法在对亮暗差异较大的图像进行拼接时缝合线较为明显，且缝合线两侧图像的曝光差异很大，但是本文方法拼接后图像过渡平滑，无明显亮暗差异。

综上所述，本文基于Kinect传感器彩色和深度信息的目标植株图像快速拼接方法耗时较短，能有效解决光照亮暗差异带来的问题，且更能突显出目标植株，图像匹配率准确率高，更能满足室内外作业要求。该方法也可用于农业植株生长状态的监测、药物肥料的精确喷洒以及病虫害的及时防治等农田作业中。

[1] Zhang W, Guo B, Li M, et al. Improved seam-line searching algorithm for UAV image mosaic with optical flow[J]. Sensors, 2018, 18(4): 1210－1219.

[2] Guo S, Sun S, Guo J. The application of image mosaic in information collecting for an amphibious spherical robot system[C]//IEEE International Conference on Mechatronics and Automation. IEEE, 2016: 1547－1552.

[3] 姚立健，周高峰，倪忠进，等. 基于尺度不变特征转换算子的水果表面图像拼接方法[J]. 农业工程学报，2015，31(9)：161－166. Yao Lijian, Zhou Gaofeng, Ni Zhongjin, et al. Matching method for fruit surface image based on scale invariant feature transform algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE),2015, 31(9): 161－166. (in Chinese with English abstract)

[4] 周志艳，闫梦璐，陈盛德，等. Harris角点自适应检测的水稻低空遥感图像配准与拼接算法[J]. 农业工程学报，2015，31(14)：186－193. Zhou Zhiyan, Yan Menglu, Chen Shengde, et al. Image registration and stitching algorithm of rice low-altitude remote sensing based on harris corner self-adaptive detection[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(14): 186－193. (in Chinese with English abstract)

[5] 曹楠，王萍. 基于SIFT特征匹配的图像无缝拼接方法[J]. 计算机与应用化学，2011，28(2)：242－244. Cao Nan，Wang Ping. Seamless image stitching based on SIFT feature matching[J]. Computer and Applied Chemistry, 2011, 28(2): 242－244. (in Chinese with English abstract)

[6] 赫更新，马嘉文，张西克，等. SURF与RANSAC 组合图像拼接算法[J]. 应用科技，2017，44(10)：198－205.He Gengxin, Ma Jiawen, Zhang Xike, et al. An improved image mosaic algorithm based on SURF and RANSAC[J]. Applied Science and Technology, 2017, 44(10): 198－205. (in Chinese with English abstract)

[7] 沈跃，朱嘉慧，刘慧，等. 基于深度和彩色双信息特征源的Kinect植物图像拼接[J]. 农业工程学报，2018，34(5)：176－182.Shen Yue, Zhu Jiahui, Liu Hui, et al. Plant image mosaic based on depth and color dual information feature source from Kinect[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(5): 176－182.(in Chinese with English abstract)

[8] Khoshelham K, Elberink S O. Accuracy and resolution of Kinect depth data for indoor mapping application[J]. Sensors, 2012, 12(2): 1437－1454.

[9] 何东健，邵小宁，王丹，等. Kinect获取植物三维点云数据的去噪方法[J]. 农业机械学报，2016，47(1)：331－336. He Dongjian, Shao Xiaoning, Wang Dan, et al. Denoising method of 3D point cloud data of plants obtained by kinect[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(1): 331－336. (in Chinese with English abstract)

[10] Smisek J, Jancosek M, Pajdla T. 3D with Kinect[C]//IEEE International Conference on Computer Vision Workshops. IEEE Computer Society, 2011: 1154－1160.

[11] 沈跃，潘成凯，刘慧，等. 基于改进SIFT-ICP算法的Kinect植株点云配准方法[J]. 农业机械学报，2017，48(12)： 183－189.Shen Yue, Pan Chengkai, Liu Hui, et al. A method of improved SIFT-ICP plant point cloud registration based on Kinect[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(12): 183－189. (in Chinese with English abstract)

[12] 沈跃，徐慧，刘慧，等. 基于-means 和近邻回归算法的 Kinect 植株深度图像修复[J]. 农业工程学报，2016，32(19)：188－194. Shen Yue, Xu Hui, Liu Hui, et al. Kinect scanning plant depth image restoration based K-means and K-nearest neighbor algorithms[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(19): 188－194. (in Chinese with English abstract)

[13] Chao G. Discriminative-means laplacian clustering[J]. Neural Processing Letters, 2018(8): 1－13.

[14] Ulaş Yurtsever, Hayrettin Evirgen, Mustafa Cihat Avunduk. A new augmented-means algorithm for seed segmentation in microscopic images of the colon cancer[J]. Tehnicki Vjesnik, 2018, 25(2): 34－40.

[15] El-Shorbagy M A, Ayoub A Y, El-Desoky I M, et al. A novel genetic algorithm based-means algorithm for cluster analysis[C]//International Conference on Advanced Machine Learning Technologies and Applications. Springer, Cham, 2018: 92－101.

[16] Malinen M I, Mariescu-Istodor R, Franti P.-means*: Clustering by gradual data transformation[J]. Pattern Recognition, 2014, 47(10): 3376－3386.

[17] Watada J, Zhang H, Melo H, et al. SURF algorithm-based panoramic image mosaic application[C]//International Conference on Intelligent Information Hiding and Multimedia Signal Processing. Springer Cham, 2017: 349－358.

[18] Dong Q, Liu J H, Zhou Q F. Improved SURF algorithm used in image mosaic[J]. Journal of Jilin University, 2017, 47(5): 1644－1652.

[19] 赵晓华. 基于SURF特征点的图像拼接技术研究[J]. 舰船电子工程，2018，38(4)：78－83. Zhao Xiaohua. Research on image mosaic technology based on SURF feature points[J]. Ship Electronic Engineering, 2018, 38(4): 78－83. (in Chinese with English abstract)

[20] Fan P, Cheng W U, Yang R, et al. An improved SURF infrared image mosaic method based on BRISK[J]. Infrared Technology, 2018, 31(17): 168－174.

[21] Nam S H, Kim W H, Mun S M, et al. A SIFT features based blind watermarking for DIBR 3D images[J]. Multimedia Tools & Applications, 2018: 1－40.

[22] 陈敏, 汤晓安. SIFT与SURF特征提取算法在图像匹配中的应用对比研究[J]. 现代电子技术，2018，41(7)：41－45. Chen Min, Tang Xiaoan. Comparison study on application of SIFT and SURF feature extraction algorithms in image matching[J]. Modern Electronics Technique, 2018, 41(7): 41－45. (in Chinese with English abstract)

[23] Dai X L, Deng S. Image mosaic technology based on improved SIFT and RANSAC[J]. Information. & Communications, 2017, 83(6): 142－150.

[24] Du H, Xu Z, Ding Y. The fast lane detection of road using RANSAC algorithm[J]. International Conference on Applications and Techniques in Cyber Security and Intelligence. 2018(7): 1－7.

[25] Ge Y, Gao C, Liu G D. An improved RANSAC image stitching algorithm based similarity degree[C]//International Conference on Multimedia Modeling. Springer International Publishing, 2016, Duke University, Durham, America: ASME, c2016: 185－196.

[26] Li Aiguo, Zhou Shuai, Wang Rui. An improved method for eliminating ghosting in image stitching[C]//Intelligent Human-Machine Systems and Cybernetic, Zhe Jiang University , Zhe Jiang, China: IHMSC, 2017: 415－418.

[27] 秦绪佳，王琪，王慧玲，等. 基于最佳缝合线的序列遥感图像拼接融合方法[J]. 计算机科学，2015，42(10)：306－310.

Qin Xujia, Wang Qi, Wang Huiling, et al. Image fusion method based on best seam-line for serial remote sensing images mosaic[J]. Computer Science, 2015, 42(10): 306－310. (in Chinese with English abstract)

[28] 谷雨，周阳，任刚，等. 结合最佳缝合线和多分辨率融合的图像拼接[J]. 中国图象图形学报，2017，22(6)：842－851. Gu Yu, Zhou Yang, Ren Gang, et al. Image stitching by combining optimal seam and multi-resolution fusion[J]. Journal of Image and Graphics, 2017, 22(6): 842－851. (in Chinese with English abstract)

[29] 李伟. 像素级图像融合方法及应用研究[D]. 广州：华南理工大学，2006.

Li Wei. A Dissertation Submitted for the Degree of Doctor of Philosophy[D]. Guangzhou: South China University of Technology, 2006. (in Chinese with English abstract)

[30] 万国挺. 图像拼接技术与质量评价方法研究[D]. 西安：西安电子科技大学，2012.

Wan Guoting. Study on Image and Quality Assessment[D]. Xi’an, Xidian University, 2012. (in Chinese with English abstract)

Rapid target plant image mosaic based on depth and color information from Kinect combining-means algorithm

Shen Yue1, Zhu Jiahui1, Liu Hui1※, Cui Yemin2, Zhang Bingnan1

(1.212013,; 2.226631,)

Image mosaic can establish high resolution images with wide viewing angle, which is very important for realizing agricultural intelligence. Because of the light or wind and some other factors, traditional image mosaic methods have some disadvantages, such as dislocation, missing and long mosaic time. The method of plant image mosaic based on depth and color dual information feature source from Kinect has high accuracy, but it cannot meet the real-time requirement. It is difficult to meet the requirements of the reliability of agricultural vehicle applications by using image feature element method for image mosaic.Aiming at this problem, in this paper, we proposed a method of feature plant image mosaic based on color and depth information of Kinect sensor. First of all, the effective plant parts of color image were obtained by-means algorithm and plant depth information. SURF (speeded-up robust features) algorithm was used to extract the effective parts, because the speed of SURF algorithm is three times of SIFT (scale-invariant feature transform) algorithm. It is helpful to reduce the number of feature points matching and improve the speed and accuracy of feature point matching.Thirdly, feature points matches were gotten by similarity measure. But some wrong matches existed with this method. Too many mismatches may result in mosaic errors. Therefore, a solution was needed to remove mismatches to improve the accuracy of the matches.From the nature of Kinect, if Kinect moves horizontally, the depth data of a fixed point is the same. Based on this characteristic, some mismatches would be removed. Then the RANSAC (random sample consensus) algorithm was used to find the projection transformation matrix. The RANSAC algorithm uses the least possible points to estimate the model and then as far as possible to expand scope of the influence of the model. The projection transformation matrix is more accurate than image mosaic method reported in literature of Shen et al (2018) on account of the removing of mismatches. Finally, the multi-resolution image fusion method based on the suture line algorithm was used. The method was used for image fusion. From indoor and outdoor test, the mosaic method based on color and depth dual information feature source had obvious advantages, it can effectively overcome the light, wind and other environmental factors and avoid mosaic errors such as the loss of image and the difference of brightness. In the indoor test, the mosaic method of this article took 3.52 s, the accuracy of matches was 96.8%, in comparison with traditional method of 14.04 s with the accuracy of matches of 88.6%, and with image mosaic method reported in literature hat uses 12.14 s with the accuracy of matches of 96.6%. In the outdoor test, the mosaic method of this article took 7.11 s, the accuracy of matches was 95.2%, compared with the traditional method which takes 56.32 s, with the accuracy of matches of 91.3%, and with image mosaic method reported in literature that takes 45.67 s with the accuracy of matches of 95.2%. So, the mosaic method in this article used less time than the traditional method and method in literature. The data of mosaic accuracy showed that the average matching accuracy of the method in this article was 96.8%, and the average accuracy was higher than traditional image mosaic. So, this method can be further applied in other occasions of image mosaic. It can realize precise spraying of drug fertilizers and the control of pests and diseases based on information collected by Kinect.

image processing; algorithms; machine vision;-means clustering; SURF algorithm; image fusion; color and depth information

沈 跃，朱嘉慧，刘 慧，崔业民，张炳南.基于彩色和深度信息结合-means聚类算法快速拼接植株图像[J]. 农业工程学报，2018，34(23)：134－141. doi：10.11975/j.issn.1002-6819.2018.23.016 http://www.tcsae.org

Shen Yue, Zhu Jiahui, Liu Hui, Cui Yemin, Zhang Bingnan. Rapid target plant image mosaic based on depth and color information from Kinect combining-means algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(23): 134－141. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2018.23.016 http://www.tcsae.org

10.11975/j.issn.1002-6819.2018.23.016

TP391；S24

A

1002-6819(2018)-23-0134-08

2018-08-04

2018-09-04

江苏省国际科技合作项目（BZ2017067）；江苏省重点研发计划（BE2018372）；江苏省自然科学基金（BK20181443）；镇江市重点研发计划（NY2018001）；江苏高校青蓝工程资助

沈 跃，博士，教授，主要从事农业电气化与自动化、嵌入式系统与控制等研究。Email：shen@ujs.edu.cn

刘 慧，博士，副教授，主要从事农业电气化与自动化、智能控制与信号处理等研究。Email：amity@ujs.edu.cn

中国农业工程学会高级会员：刘 慧（E041200772S）、沈 跃（E041200771S）。