基于图像技术的小麦籽粒三维信息测量

仲晓春，陈 雯，刘 涛，郝心宁，李哲敏，孙成明

（1. 中国农业科学院农业信息研究所，北京 100081；2. 扬州大学江苏省作物遗传生理重点实验室/小麦研究所，江苏 扬州 225009）



基于图像技术的小麦籽粒三维信息测量

仲晓春1，陈 雯2，刘 涛2，郝心宁1，李哲敏1，孙成明2

（1. 中国农业科学院农业信息研究所，北京 100081；
2. 扬州大学江苏省作物遗传生理重点实验室/小麦研究所，江苏 扬州 225009）

摘 要：为了实现小麦籽粒三维信息的快速测定，设计了一种利用图像分析技术测量小麦籽粒长、宽、厚信息的方法。利用麦粒最稳定极值区域（MSER）的长和宽，借助一定角度的光源使麦粒产生影子，根据不同厚度麦粒产生影子的宽度不同来测定籽粒的厚度，从而获得麦粒的三维信息。通过对4个不同小麦品种共256颗麦粒进行图像处理测量和游标卡尺测量实验，在比较两种方法的试验结果发现，两者测量麦粒长、宽、厚的相关性均较高，R2值均高于0.9，RMSE分别为0.0988、0.08413、0.0917。结果表明借助光源通过单幅二维图像可快速准确测量小麦籽粒三维信息，可为小麦籽粒三维信息智能化测量提供参考。

关键词：小麦；籽粒三维；影子；图像处理；最稳定极值区域

籽长、粒宽和粒厚是评价小麦籽粒质量的重要指标，也是影响小麦产量的重要因素［1］。目前小麦籽粒长、宽、厚的测量主要通过游标卡尺来实现，这种方法主观性较强，测量部位的选择较难把握，效率低下且可重演性差。

长期以来机器视觉在农业中的应用一直是智能农业研究的重点［2］，其在作物籽粒信息的识别与分析中发挥了举足轻重的作用［3-5］。机器视觉或图像处理技术在小麦籽粒上的应用一方面可以实现籽粒种类的识别，其中包括对大麦、小麦、燕麦等的区分以及不同小麦品种的识别［3，6-7］；另一方面，机器视觉技术可应用于小麦籽粒的综合评价，其中包括对籽粒的病害、损伤的评价以及籽粒形态特征的测算［8-11］。在研究技术上，一般通过图像处理算法提取小麦籽粒的形态特征参数、颜色特征参数和纹理特征参数，再通过这些参数建立评价和分析体系［12］。

在前人的研究中，大多利用二维空间信息对小麦籽粒进行分析和测定，虽然对小麦籽粒的智能评价起到积极作用，然而仅通过二维信息来评价小麦籽粒这种三维事物有一定的局限性。本研究利用图像处理技术结合一定的外部光源测定小麦籽粒的长、宽、厚信息，在单幅二维图像中提取小麦籽粒的三维信息，为小麦籽粒三维信息的快速准确测定提供一定的技术支持。

1 材料与方法

1.1 试验材料

试验材料选用宁糯1号、扬麦20、扬麦9号、扬辐麦4号4个小麦品种，每个品种64颗籽粒。通过Sony nex-5r相机，在日光灯源下获得利用籽粒排列板（图1）排列后的小麦籽粒图像（图2），原始图像由麦粒、麦粒在光源下产生的影子和背景3部分组成。籽粒排列板由64个长9 mm、宽4 mm、深3 mm的孔洞组成，每个孔洞的横向间距为8 mm，可较方便地将麦粒排列整齐，以供后期处理。

图1 麦粒排列板构造

图2 小麦籽粒原始图像

1.2 图像分割

设RGB彩色图像中的红、绿、蓝3个颜色分量为r、g、b，记d1（x，y）= b（x，y） - r（x，y），d2（x，y）= b（x，y）- g（x，y），则图像中黄色部分可表示为［13］：

式中，k1、k2∈［0，1］，提取图像效果如图3A所示。通过阈值法［14］对图3A进行二值化处理，得到的麦粒二值图像会不同程度的存在孔洞，利用孔洞填充算法［15］处理后可以得到如图3B的麦粒二值图像。

图3 麦粒部分提取效果

利用阈值分割方法［14，16］处理图2得到麦粒及其影子的二值图像（图4A），将图4A与图3B进行差值运算，得到麦粒影子的二值图像（图4B）。

图4 籽粒影子提取效果

1.3 特征值提取

麦粒的长、宽、厚分别为籽粒最长、最宽、最厚区域的值。通过提取籽粒图像中最大稳定极值区域（MSER）并采用构造放射不变量的方法把MSER拟合成如图5所示的椭圆，该椭圆的长轴即为麦粒的长，短轴即为麦粒的宽［17-19］，拟合公式为：

式中，X代表区域中任意点的空间坐标（x，y），R代表小麦籽粒区域，|R|为小麦籽粒区域像素点的个数。图5中a、b分别为拟合椭圆的长轴和短轴，θ代表长轴的方向，点Q（x，y）为影子边缘上距长轴最远的点，在一定角度的光照条件下，点Q与长轴的距离近似于影子宽度且该距离与籽粒厚度有着密切关系，故研究中将该距离作为影子宽度间接计算籽粒厚度。

图5 小麦籽粒椭圆拟合

如图6所示，籽粒厚度d与影子长度c的比值为β角的正切值，β角的正切值同时等于光源高度b与点Q与光源水平距离的比值，因此可得籽粒厚度的计算公式为：

图6 籽粒、光源和影子的几何结构

为了实现籽粒信息的批量获取和处理，本研究利用联通区域标记算法［20］为二值图像各个籽粒和影子进行编号，利用该算法可以获得籽粒标号（图7）。然而，由于该算法的局限性使得麦粒的标号较混乱，不利于后期处理。为使籽粒编号整齐，通过下式计算各区域的质心（xc，yc）［21］，根据质心的位置进行编号。

式中，I为二值图像，（i，j）为图像的像素坐标，m、n为图像的行、列数。图6中椭圆为MSER拟合椭圆，十字为区域质心。

图7 籽粒MSER椭圆与编号

1.4 籽粒信息真实值测量

为验证图像处理方法测量的效果，通过游标卡尺测量麦粒的长、宽、厚。测量人员分为5组，分别利用电子游标卡尺测量同一批麦粒最长、最宽和最厚区域的值，去掉测量结果的最大值与最小值，取余下3个数据的平均值作测量值。

2 结果与分析

从图8可以看出，图像处理方法能较好地测量小麦籽粒的长、宽、厚，测量结果与1∶1直线之间的R2值均高于0.9，RMSE分别为0.0988、0.08413、0.0917。

试验分别采用外接矩形法和MESR法测量麦粒的长、宽、厚，从表1可以看出，MSER法对4个小麦品种麦粒长、宽、厚的测量准确度明显高于外接矩形法。

图8 麦粒长、宽、厚测量结果

3 讨论

小麦籽粒的长、宽、厚能反映籽粒的形态特征和饱满程度［22］，快速准确测量麦粒的长、宽、厚对研究小麦籽粒充实和产量形成具有积极的意义。利用图像处理技术测定作物籽粒形态信息已有大量的研究，其中包括籽粒的长、宽、投影面积、周长等的测量［5，11，23］，但鲜有研究涉及到籽粒三维信息的测量。Sun等［22］利用立体视觉测量小麦籽粒厚度，该方法可较准确地测量小麦籽粒的长、宽、厚，而通过二维图像只能获得小麦籽粒的长和宽，不能得到籽粒厚度信息。本研究借助不同厚度小麦籽粒在一定角度光照条件下产生影子的宽度不同来计算籽粒的厚度，结果表明通过处理二维图像可测得小麦籽粒的长、宽、厚，比立体视觉法容易实现，且本研究所提出的方法能对籽粒三维信息进行批量测量，提高了小麦籽粒三维信息的测量效率，该方法同样适合用于水稻、大麦等作物籽粒三维信息的测量。

表1 外接矩形法与MSER法测量结果与1∶1直线之间的R2值

本研究分别采用外接矩形法和MSER法作为籽粒长、宽、厚的测量算法，发现相关文献中提出的外接矩形法在测量小麦粒长和粒宽时存在一定偏差［23-24］，外接矩形的长、宽与籽粒的长短轴不能较好地吻合，而MSER拟合椭圆的长短轴和籽粒的长短轴能较好地吻合。通过外接矩形测量影子宽度也会因影子的形态差异产生误差，而通过影子边缘距籽粒长轴的最远距离可较准确的反映影子宽度，从而降低厚度计算过程中的误差。

本研究基本实现了利用单幅图像测量小麦籽粒三维信息。然而，研究虽然通过图1所示籽粒排列板可以较方便的将小麦籽粒整齐排布，从而便于图像的处理，但方法仍然不能达到完全的智能化，更智能的籽粒排列方法或适用于随机散布的籽粒测量算法有待进一步研究。

参考文献：

［1］ 朱新开，刘晓成，孙陶芳，等. FACE条件下O3浓度增高对小麦产量和籽粒充实的影响［J］. 中国农业科学，2011，44（6）：1100-1108.

［2］ Bai X D，Gao Z G，Wang Y，et al. Crop segmentation from images by morphology modeling in the CIE Lab color space［J］. Computers and Electronics in Agriculture，2013，99：21-34.

［3］ Mebatsion H K，Paliwal J，Jayas D S. Automatic classification of non-touching cereal grains in digital images using limited morphological and color features ［J］. Computers and Electronics in Agriculture，2013，90：99-105.

［4］ Mebatsion H K，Paliwal J，Jayas D S. A novel，invariant elliptic Fourier coefficient based classification of cereal grains［J］. Biosystems Engineering，2012，111（4）：422-428.

［5］ Mebatsion H K，Paliwal J，Jayas D S. Evaluation of variations in the shape of grain types using principal components analysis of the elliptic Fourier descriptors ［J］. Computers and Electronics In Agriculture，2013，80：63-70.

［6］ 何胜美，李仲来，何中虎. 基于图像识别的小麦品种分类研究［J］. 中国农业科学，2005，38（9）：1869-1875.

［7］ Alireza P，Hamidreza P，Mohammad A，et al. Identification of nine Iranian wheat seed varieties by textural analysis with image processing［J］. Computers and Electronics In Agriculture，2012，83：102-108.

［8］ Zapotoczny P. Discrimination of wheat grain varieties using image analysis and neural networks［J］. Journal of Cereal Science，2011，54（1）：60-68.

［9］ 王志军，丛培盛，周佳璐，等. 基于图像处理与人工神经网络的小麦颗粒外观品质评价方法［J］. 农业工程学报，2007，23（1）：158-161.

［10］ 陈丰农，成芳. 基于自适应双阈值的彩色线阵CCD小麦黑胚分割［J］. 农业工程学报，2011，27（3）：341-344.

［11］ 张浩，李和平，叶娟. 小麦籽粒外观形态特征测定技术研究［J］. 粮食与饲料工业，2013（3）：7-9.

［12］ 陈丰农. 基于机器视觉的小麦并肩杂与不完善粒动态实时检测研究［D］. 杭州：浙江大学，2012.

［13］ 郑成勇. 一种RGB颜色空间中的车牌定位新方法［J］. 中国图象图形学报，2010，15（11）：1623-1628.

［14］ 张铮，王艳萍，薛桂香. 数字图像处理与机器视觉Visual C++与Matlab实现［M］. 北京：人民邮电出版社，2012.

［15］ 张德才，周春光，周强，等. 基于轮廓的孔洞填充算法［J］. 吉林大学学报（理学版），2011，49（1）：82-86.

［16］ 吴露露，马旭，齐龙，等. 基于叶片形态的田间植物检测方法［J］. 农业机械学报，2013，44（11）：241-246.

［17］ Obdržálek D，Basovník S，Mach L，et al. Detecting scene elements using maximally stable colour regions ［M］. Research and Education in Robotics -EUROBOT 2009，Gottscheber A，Obdržálek D，Schmidt C，Springer Berlin Heidelberg，2010：82，107-115.

［18］ Mikolajczyk K，Tuytelaars T，Schmid C，et al. A comparison of affine region detectors［J］. International Journal of Computer Vision，2005，65（1-2）：43-72.

［19］ 柳涛. 多通道图像MSER局部不变特征提取算法研究［D］. 长沙：国防科学技术大学，2010.

［20］ 张云哲，赵海，宋纯贺，等. 一种新的连通区域标记算法［J］. 计算机应用研究，2010，27（11）：4335-4340.

［21］ 宋克欧，黄凤岗，兰晓婷. 二值图像目标质心快速搜索跟踪算法［J］. 模式识别与人工智能，1998，11 （2）：161-168.

［22］ Sun C M，Mark B，David C，et al. Thickness measurement and crease detection of wheat grains using stereo vision［J］. Pattern Recognition Letters，2007，28（12）：1501-1508.

［23］ 王传宇，郭新宇，温维亮，等. 基于计算机视觉的玉米籽粒形态测量［J］. 农机化研究，2011（6）：144-147.

［24］ 周竹，黄懿，李小昱，等. 基于机器视觉的马铃薯自动分级方法［J］. 农业工程学报，2012，28（7）：178-183.

（责任编辑 邹移光）

Three-dimensional information measurement of wheat grain based on image technology

ZHONG Xiao-chun1，CHEN Wen2，LIU Tao2，HAO Xin-ning1，LI Zhe-min1，SUN Cheng-ming2
（1. Agriculture Information Institute of CAAS，Beijing 10081；2.Jiangsu Key Laboratory of Crop Genetics and Physiology/ Co-Innovation Center for Modern Production Technology of Grain Crops，Yangzhou University，Yangzhou 225009，China）

Abstract：In order to get the three-dimensional information of wheat grains rapidly，a method based on image analysis technology was designed to calculate the length，width and thickness of wheat grains. Minimal outer rectangle of grain was used to calculate the grain's length and width. The striplight at specific angles was used to generate shadows of wheat grains，and those shadows could describe the thickness of grains one-to-one. We measured the 256 grains of 4 varieties with image analysis technology and vernier caliper. Then we compared the results and got a high correlation coefficient （R2＞0.9），respectively. The root mean square error of the length was 0.0988，and the width and thickness were 0.08413 and 0.0917. All the results demonstrated that the three-dimensional information of wheat grains could be obtained by a two-dimensional picture depending on the light source，and the method discussed in this paper is promising and encouraging to obtain the three-dimensional information of wheat grains.

Key words：wheat；grain three-dimensional；shadow；image analysis；MSER

中图分类号：S512；TP391.41

文献标识码：A

文章编号：1004-874X（2016）02-0150-06

收稿日期：2015-11-02

基金项目：中国农业科学院科技创新工程项目

作者简介：仲晓春（1984-），男，博士，助理研究员，E-mail：tytommy520@163.com

通讯作者：孙成明（1973-），男，博士，副教授，E-mail：cmsun@yzu.edu.cn