高光谱成像技术检测玉米种子成熟度

杨小玲、由昭红、成 芳

浙江大学生物系统工程与食品科学学院、浙江 杭州 310058

高光谱成像技术检测玉米种子成熟度

杨小玲、由昭红、成 芳*

浙江大学生物系统工程与食品科学学院、浙江 杭州 310058

成熟度是影响种子活力的重要因素之一、是种子质量的重要指标。种子分级时将成熟种子和未成熟种子区分开来可提高种子批活力、使种子批活力具有一致性。采用400～1 000 nm波段范围的高光谱成像技术研究成熟和未成熟玉米种子、找出二者区分度最高的特征波段图像、通过图像处理方法进行种子分类。选用主成分分析(PCA)法分析高光谱图像、分析差异最明显的PC2主成分图像的各波段权重系数并提取出特征波段(501 nm)。从70粒成熟度较低玉米种子样本高光谱图像上选取成熟和未成熟两类感兴趣区域、采用偏最小二乘回归(PLSR)法分析两类感兴趣区域的平均光谱、选取与成熟度相关的敏感波段(518 nm)。采用波段比运算并结合KW检验、分析两类感兴趣区域的平均光谱、找出差异最大的最优波段比(640 nm/525 nm)。以864粒玉米种子为研究对象、提取特征波段对应的单波段图像和最优波段比对应的波段比图像、采用图像处理技术分析图像并判别。结果表明：采用单波段灰度图像分割容易将玉米种子冠部的浅色部分误识别为种子成熟度较低的区域、识别准确率低； 而采用640 nm/525 nm的波段比图像可以减轻这种不利影响、平均正确识别率为93.9%。该方法可以有效识别未成熟的玉米种子、为进一步开发在线分级装备提供了依据。

玉米种子； 单粒播种； 高光谱成像； 成熟度； 波段比； KW检验

引 言

玉米单粒播种技术省时、省工、省种、有利于推进玉米种植的机械化进程、是国内玉米生产的发展趋势。单粒播种对种子的质量要求更高、不仅要求种子具有高发芽率同时要求高活力[1]。种子活力影响到种子在田间出苗和幼苗生长的速度和整齐度、种子在不适宜的环境条件下的出苗能力、种子耐贮藏性等[2]。因此、研究基于活力的玉米种子分级技术对提高单播种子质量有重要意义。玉米种子成熟度是种子的重要质量指标、对种子千粒重、田间出苗率、幼苗形状和种子活力等方面都存在一定的影响[3-4]。Knittle等[5]的研究发现: 玉米种子的活力与收获时间密切相关、虽然不同收获时间下玉米种子的发芽率相差不大、但幼苗和根的干重随着种子成熟度的增加而增大。TeKrony等[6-7]研究了自交种、单交种和杂交种玉米种子的成熟度与活力之间的关系、发现玉米种子在乳线接近种子基部或消失之后达到生理成熟、此发育阶段与基因型和种植环境无关、且此时收获的种子活力最大。石海春等[8]研究了不同成熟度玉米种子之间活力的差异性、样品品种在授粉后第35～50天采收、虽然不同成熟度的种子发芽率差异不大、但对种子活力有显著影响。

玉米种子的成熟需要经历乳熟期、蜡熟期以及完熟期3个阶段。在成熟过程中、玉米种子的外观及形态也会发生变化。在玉米授粉后、随着籽粒不断发育成熟、籽粒内的淀粉含量逐渐增加、并在籽粒冠部逐渐沉积硬化成为固体淀粉层、在固、乳交界处形成“乳线”。随着籽粒的成熟、乳线从籽粒冠部向籽粒基部不断移动、籽粒成熟后乳线消失、籽粒基部的黑色层形成、因此玉米种子的乳线和黑色层是种子成熟的重要标志[6,9-10]。

杨锦忠等利用ImageJ软件分析了玉米种子由扫描仪获得的图像、初步确定了用图像分析玉米籽粒成熟度的可行性[11]。但该方法需人工选择测量部位、不能自动获得成熟度数据。高光谱图像技术可以同时获得样本的图像信息和光谱信息、在种子分级和质量检测方面得到了广泛研究[12-13]。我们基于高光谱图像对成熟度不同的玉米种子进行识别研究。并用主成分分析(principal component analysis,PCA)法分析、选择种子成熟区域和未成熟区域差异最明显主成分图像、分析各波段权重系数并提取出特征波段。选取玉米种子感兴趣区域(region of interest,ROI)计算平均光谱并用偏最小二乘回归法(partial least square regression,PLSR)选取特征波段、计算各波段波段比并用KW(kruskal and wallis)检验选取最优波段比。提取样本在特征波段下的单波段灰度图像及最优波段比图像、结合图像处理和分析方法、选择最适合的图像实现玉米种子成熟度的检测。

1 实验部分

1.1 玉米种子样本

玉米种子样本品种为安玉13、选取成熟度高(乳线位置靠近种子基部、共432粒)和成熟度低(共502粒、乳线位置位于种子中部到冠部之间)玉米种子作为2类样本、如图1所示。

图1 成熟度高(左侧两粒)和成熟度低(右侧两粒)玉米种子RGB图

Fig.1 RGB picture of mature (the two on the left side) and immature corn seeds (the two on the right side)

1.2 玉米种子高光谱图像采集及预处理

利用如图2所示的高光谱图像采集系统采集玉米种子的原始高光谱数据。该系统由成像光谱仪(Imspector V10E-QE,Spectral Imaging Ltd.,Oulu,Finland)CCD相机(C8484-05G,Hamamatsu Photonics,Japan)、镜头(V23-f/2.4 030603,Specim Ltd,Oulu,Finland)、线光源(P/N 9130,Illumination Technologies,Inc.,USA)及其控制器(2900ER,Illumination Technologies,Inc.,USA)、可升降样品台(GZ02DS20,Guangzheng Instruments Co.,Ltd.,Bejing,China)和电控位移台(PSA200-11-X,Zolix Instruments Co.,Ltd.,Beijing,China)构成。成像光谱仪的波长范围为400～1 000 nm、采用 2×2 binning的压缩方式。为了获得清晰的样品图像、在镜头和相机之间加入长度为2 mm的近摄接圈。采集时、玉米种子胚面朝下置于黑色样品台上、物距13.5 cm、曝光时间3 ms、位移台移动速度为1.62 mm·s-1。采集的高光谱图像共477个波段、由于光谱仪在光谱区间边缘的响应低、噪声大、剔除了1～20和457～477波段、选取第21～457波段光谱进行分析。

为了克服光源强度在各波段下的不均匀性和采集传感器暗电流的影响、采集到的高光谱图像须按照式(1)进行黑白校正。高光谱图像采集和黑白校正均由高光谱采集软件Spectracube 2.75b (Spectral Imaging Ltd.,Oulu,Finland)完成。

(1)

式中：I0为校正前高光谱图像；W为标准白板(Spectralon,Labsphere Inc.、USA)的全白标定图像；B为盖上镜头盖并关闭光源之后获取的全黑标定图像。高光谱图像采集和黑白校正均由高光谱采集软件Spectracube 2.75b (Spectral Imaging Ltd.,Oulu,Finland)完成。

图2 高光谱成像系统

Fig.2 The hyperspectral imaging system

1：CCD相机； 2：成像光谱仪； 3：镜头； 4：暗室； 5：光源； 6：样品台； 7：电动位移平台； 8：位移平台控制器； 9：电脑

1：CCD camera; 2：Imaging spectrograph; 3：Lens; 4：Dark room; 5：Light source; 6：Sample stage; 7：Electrical moving stage; 8：Moving stage controller; 9：Computer

1.3 特征波段选择方法

为了正确识别成熟度低的玉米种子、随机选取70粒成熟度较低的种子、采用如下方法确定特征波段图像：(1)高光谱图像做主成分分析、取玉米种子成熟部分和不成熟部分对比最明显的主成分图分析权重系数、并按局部最大或最小值的原则选出特征波段； (2)对选出ROI区域的平均光谱进行偏最小二乘回归分析、取局部最大权重系数所在波段作为特征波段； (3)对选出的ROI区域的光谱进行波段比运算并用KW检验求出最优波段比、用选出的最优波段比图像做后续的图像分割和识别处理。KW检验由Kruskal和Wallis于1952年提出[14]、是一种常用的非参数检验法。其变量选择原理如下[15]

(1) 设N个样品共分为M类、第k类样品数量为Nk、特征为Xj。

(2) 对所有样本的第j个特征值按从小到大排序编号、如果有几个样本的某个特征值相同、这几个样本则可按顺序随机排号； 如果所有样本在某个特征下的值全部相等、则KWj直接置为0。

(4) 按如下公式计算第j个特征的统计量KWj

(2)

KWj越大、说明该特征下的类间离差越大、该特征的分类能力越强。

数据处理过程中ROI区域选取和平均光谱计算由ENVI4.6 (Research System Inc.,Boulder、Colo．、USA.)完成,特征波段选取和图像处理采用Matlab (Version R2012a,The Mathworks Inc.,MA,USA)软件。

2 结果与讨论

2.1 玉米种子不同成熟度区域的光谱分析

如图3所示、在成熟度较低的玉米种子上选取感兴趣区域(10×10像素)并计算平均光谱。每粒种子上取两个感兴趣区域、如图3左图所示。虚线所示区域为在种子成熟度较低部分选择的ROI、实线所示为在种子成熟度较高区域选择的ROI。在成熟度较低的玉米种子样本中随机选取了70粒样本、右图中实线为所有样本中同类型区域光谱平均值、虚线为在平均值的基础上加或减标准偏差值。从图中可以看出、成熟度低区域的光谱平均值在所有波段皆高于成熟度较高区域。结合标准偏差分析、在550 nm以前波段、玉米种子成熟度不同的两类区域的光谱重叠较少、区分度较好。

图3 种子成熟度高和成熟度低感兴趣区域提取及平均光谱

2.2 基于PLSR的特征波段选择

高光谱图像数据波段数目较多、在线检测时获取的波段数目越多、实时性越低、因此、通过数学方法选择适于玉米种子成熟度区分的最优波段来进行进一步分析。PLSR能够解决变量之间的多重相关性和样本容量过小等问题、是化学领域数据处理的经典算法、在高光谱特征波段选取方面得到了一定的应用[15]。对预先选择出来的2类ROI平均光谱做PLSR分析、根据回归系数局部最大或最小的原则选取特征波段。各波段回归系数如图4所示、回归系数最大值位于518 nm、说明该波段在区分种子成熟度高区域和成熟度低区域时贡献最大、因此、将518 nm灰度图像(如图8所示)作为特征波段图像进行后续的图像分析。

图4 各波段PLSR权重系数

2.3 基于主成分分析的特征波段选择

对第21～457波段(波长为432～981 nm)的高光谱图像进行主成分分析、选择玉米种子图像中成熟度高部分和成熟度低部分的图像对比最大的主成分图像进行分析。为了降低背景的影响、首先对玉米种子的高光谱图进行背景掩模处理。如图5所示为成熟度较低的玉米种子的前5个主成分图像、前5个主成分的累积贡献率为99.9%。比较前5个主成分图像、PC1和PC2主成分图像中成熟部分和不成熟部分区分明显、但在PC2中两者差异更大。因此选用PC2的权重系数(如图6所示)进一步分析、采用权重系数局部极大、极小值的方法选取特征波段。如图8所示、最终选择波长为501 nm的灰度图像作为特征波段图像。

图5 前五个主成分灰度图

2.4 最优波段比选择

波段比图像分析法是高光谱图像分析中的常用技术之一、有利于消除由于目标物体表面不平整带来的光线反射不均匀的影响[16]。从光谱上来看、波段比图像与光谱斜率有关、其原理为计算图像中每个像素在2个波段下的强度比。一般来说、成熟度较低的玉米种子靠近种子尖端的部分形态上有一定褶皱从而使光线反射不均匀、波段比图像分析法可以消除由褶皱带来的不利影响。分析图3中成熟度高部分和成熟度低部分的平均光谱、选取两者平均光谱的斜率差异较大的波段范围进行波段比分析。在此选取第51～200波段(波长为468～653 nm)、共选取150波段、两两组合计算波段比、组合数目共有11 175种。为了寻找最优波段比、对70粒种子ROI区域的平均光谱做KW检验、取KW值最大的波段比做为最优波段比。如图7所示为不同波段比组合下KW值的分布图、图中对角线以下部分有多种组合KW值为0、表示当波段比的值只取整数部分时、在这些波段比组合方式下、成熟度高部分和成熟度较低部分的特征值没有差异。所有波段比数据的最大KW为135.11、该值下波段组合共有11种。分析这11种波段比图像中成熟度高部分和成熟度较低部分的类间均值差异、取类间均值差异最大的波段比作为最优波段比。最终选择结果为Band190/Band97(640 nm/525 nm)、其灰度图像如图8所示(本研究的波段比值在分析中只取整数部分)。

图6 第二主成分图的各波段权重系数

图7 各波段比光谱数据组合下的KW值分布图

图8 501 nm、518 nm和 640 nm/525 nm的单波段灰度图

2.5 不同成熟度玉米种子图像处理和识别结果

根据上述特征波段分析结果、选取波长为501和518 nm单波段灰度图、波段比为640 nm/525 nm的图像进一步分析。采用阈值分割方法分割波长为501和518 nm的图像、阈值由最大类间方差法(OTSU法 )确定。波段比图像采用区域生长法分割、种子点为灰度为0的像素点、图像处理过程如图9所示。如 图10所示为部分种子的分割结果、选取成熟度高和成熟度较低种子各3粒、将分割后的成熟度较低区域与原图对比发现、单波段灰度图容易受到来自玉米种子冠部区域的干扰、而波段比图像可以克服这一缺点。518 nm图像在采用最大类间方差法确定阈值分割时、分割效果与501 nm相比较差、可能是因为当采用PLSR方法优选光谱时、ROI区域是人工选定、而对图像做主成分分析时考虑的是整个籽粒的高光谱图像、种子冠部对结果有一定的干扰。采用波段比方法可以较好地克服来自种子冠部的干扰、分割后的成熟度较低区域与原图对比、面积比较接近。

图9 成熟度较低区域检测流程图

图10 不同灰度图像下分割出来的成熟度较低区域

图11 各类灰度图像分割后区域和整个种子区域面积比值

为了验证成熟度识别方法的可靠性、采用上述方法对864粒玉米种子样本高光谱图像进行处理(成熟度高和成熟度低样本各432粒)、并计算分割后成熟度低区域面积和种子面积的比值。三种图像分割后面积比值的结果如图11所示。从图中可以看出、采用单波段方法分割后成熟度高种子与成熟度低种子的区分度不明显、而采用波段比方法分割后、以0.3为判别阈值、成熟度较高种子的面积比值绝大部分小于0.3(90.3%)、而成熟度较低种子面积比值大多大于0.3(97.5%)、平均正确识别率为93.9%。采用波段比方法可以较好地区分成熟度不同的种子。

3 结 论

高光谱图像数据量大、波段之间相关性高、无法直接用于快速在线检测。本文采用400～1 000 nm波段的高光谱成像技术结合波段比方法检测玉米种子成熟度。利用选出的波段比图像对成熟度高和成熟度低的玉米种子样本进行分类识别、平均正确识别率为93.9%。

PLSR和主成分分析法选出的单波段灰度图像、在后续分割成熟度较低区域时、容易将种子冠部识别为成熟度低区域、导致样品的误识别。而波段比图像可以较好的克服来自种子冠部的干扰。波段比结合图像分析方法可以有效识别成熟度较低的玉米种子、为进一步开发在线分级装备提供了理论方法和依据。

[1] ZHAO Xia,WANG Xiao-xing,HUANG Rui-dong,et al(赵 霞、王小星、黄瑞冬、等). Journal of Maize Sciences(玉米科学),2012,20(4): 95.

[2] SUN Qun,WANG Jian-hua,SUN Bao-qi(孙 群、王建华、孙宝启). Scientia Agricultura Sinica,2007,40(1): 48.

[3] WANG Hong-wei,DONG Jia-li(王宏伟、董家利). Seed Science & Technology(种子科技)、2007,3: 42.

[4] Tekrony D,Egli D. Basic and Applied Aspects of Seed Biology,1997、30: 369.

[5] Knittle K,Burris J. Crop Science,1976,16(6): 851.

[6] Hunter J,TeKrony D,Miles D,et al. Crop Science,1991,31(5): 1309.

[7] TeKrony D,Hunter J. Crop Science,1995,35: 857.

[8] SHI Hai-chun,KE Yong-pei,FU Ti-hua、et al(石海春、柯永培、傅体华、等). Journal of Sichuan Agricultural University(四川农业大学学报),2006,24(3): 269.

[9] WANG Zhong-xiao,DU Cheng-gui,WANG Qing-cheng(王忠孝、杜成贵、王庆成). Shandong Agricultural Sciences(山东农业科学)1986,4: 36.

[10] Santos C,Dalpasquale V,Scapim C et al. Brazilian Archives of Biology and Technology,2005,48(2): 161.

[11] YANG Jin-zhong,ZHANG Hong-sheng,SONG Xi-yun、et al(杨锦忠、张洪生、宋希云、等). Journal of Maize Sciences(玉米科学),2011,19(2): 148.

[12] Ma Y,Huang M,Yang B et al. Computers and Electronics in Agriculture,2014,106: 102.

[13] Fox G,Manley M. Journal of the Science of Food and Agriculture,2014,94(2): 174.

[14] Kruskal W,Wallis W. Journal of the American Statistical Association、1952,47(260): 583.

[15] SHENG Li-dong(盛立东). Introduction to Pattern Recognition(模式识别导论). Beijing: Beijing University of Posts and Telecommunications Press(北京：北京邮电大学出版社),2010. 239.

[16] Liu D,Sun D,Zeng X. Food and Bioprocess Technology,2014,7(2): 307.

[17] CAI Jian-rong,WANG Jian-hei,CHEN Quan-sheng、et al(蔡健荣、王建黑、陈全胜、等). Transactions of the Chinese Society of Agricultural Engineering(农业工程学报),2009,25(1): 127.

*Corresponding author

Study on Identification of Immature Corn Seed Using Hyperspectral Imaging

YANG Xiao-ling,YOU Zhao-hong,CHENG Fang*

College of Biosystems Engineering and Food Science,Zhejiang University,Hangzhou 310058,China

The seed maturity,which is one of the important factors that affect seed vigor,is an important quality index. During seed sorting,separating mature seeds from immature seeds can improve the vigor of seed lot and keep vigor consistency. Hyperspectral imaging that covered the range of 400～1 000 nm was used to find out the sensitive bands reflecting corn seed maturity,and corresponding images were employed to classify the immature corn seeds. Principal component analysis (PCA) algorithm was adopted to analyze the hyperspectral image. PC2 of PCA had the greatest difference between immature and mature areas on the seeds,therefore,the weighted coefficients of PC2 was selected to extract sensitive wavebands (501 nm). Regions of interest (ROI) from mature and immature area of 70 immature kernels was selected for mean spectra calculation. Partial least square regression (PLSR) algorithm was employed to analyze the spectra of ROI and extract wavelength related to maturity (518 nm). Band ratio algorithm and Kruskal-Wallis test were used to select the best band ratio that had the biggest difference between mature and immature areas (640 nm/525 nm). 864 kernels of corn seed were analyzed by gray images of the selected wavelengths as well as band ratio images. Results showed that the light color regions of the seed crown were misidentified as immature region when the images of selected single band wavelengths were used,while the band ratio image of 640 nm/525 nm could be identified correctly. The immature seeds can be separated from the mature seeds according to the area ratio of segmented immature region to the whole kernel. The correct recognition rate was 93.9%. Using the grey images of selected band ratio can differentiate immature corn seeds from mature seeds effectively,which provide a theoretical reference for the development of seed sorting device in further work.

Corn seed; Precision planting; Hyperspectral imaging; Maturity; Band ratio; Kruskal-Wallis test

Aug. 18,2015; accepted Dec. 9,2015)

2015-08-18、

2015-12-09

国家自然科学基金项目(61573309)资助

杨小玲、1980年生、浙江大学生物系统工程与食品科学学院博士研究生 e-mail: feeling998@126.com *通讯联系人 e-mail: fcheng@zju.edu.cn

S123; TP391.4

A

10.3964/j.issn.1000-0593(2016)12-4028-06