基于智能手机与机器视觉技术的立木胸径测量方法

管昉立， 徐爱俊

（1.浙江农林大学 信息工程学院，浙江 杭州311300；2.浙江农林大学 林业感知技术与智能装备国家林业与草原局重点实验室，浙江 杭州311300；3.浙江农林大学 浙江省林业智能监测与信息技术研究重点实验室，浙江 杭州311300）

森林资源数据采集是森林资源监测的基础，提高数据采集的效率和质量是森林资源信息化的重要内容［1－2］。在各类森林资源调查中，立木的胸径测量是最重要的内容之一，其精度直接影响森林资源蓄积量的消长等情况［3］。传统的人工接触式测量方法［4］劳动强度大、人力成本高、效率低。使用全站仪等精密测量设备存在操作复杂、不易携带、成本较高等问题。近景摄影测量方法［5－6］虽然可以很好地解决这些问题，但标定算法复杂，且需要在计算机上操作完成，步骤繁琐。目前国内外学者在立木测量方法上做了大量的研究并取得了诸多成果，开发出了一系列软、硬件系统，但这些系统及其算法、模型多数是针对计算机和数码相机，无法在较为普适的移动终端设备上完成测量［7－8］。近年来，随着智能手机的快速发展，利用智能手机来进行立木测量成为可能，许多学者基于Android平台开发了测树软件［9－10］，这些软件基于三角函数原理测量树高，在测量胸径时需要根据已知尺寸的标定物进行对比计算，一定程度上实现了树高、胸径因子的实时测量，但是操作复杂，精度不高。针对上述问题，本研究以立木胸径（DBH）的快速、自动获取为目标，提出一种借助普适率高的智能移动端设备（智能手机），结合机器视觉技术、相机标定技术和三维重建技术的立木胸径自动测量方法，以期提升森林资源外业调查的作业精度和效率，同时可让非专业人士借助非专业装备完成立木胸径的测量。

1 测量方法设计

1.1 胸径定义

立木胸径是森林资源调查中的一个重要因子，指乔木主干离地表面1.3 m处的直径。胸径测量可为林业相关作业提供基础数据和科学依据，如林分蓄积量测定、林木采伐、林区精准施药、林区地图绘制等。同时，林区立木的胸径生长数据反映了林间周围的气候、光照、土地营养状态等环境条件。

1.2 胸径测量方法设计

本研究提出的立木胸径测量方法流程如图1所示。首先通过智能手机相机采集待测立木（悬挂棋盘格标定板）图像，根据智能手机相机特点建立一种改进的带有非线性畸变项的相机标定模型，矫正图像中各像素的偏移，标定高精度的相机内、外参数。利用相机内、外参数和二维图像坐标信息进行三维世界坐标重建，计算单位像素对应实际物理尺寸；同时，采用Lab（CIE Lab color model）颜色模型和HSV（色调H，饱和度S，明度V）颜色空间模型作为图像特征，分别提取图像的L（亮度），a（洋红色至绿色范围）和b（黄色至蓝色范围）3个分量及H分量，利用各像素点（x,y）的Lab三分量的算数平均值与各像素经3×3算子卷积运算得到的下采样图之间的差异，得到高频图。将色调H分量均衡化处理后进行特征融合，得到融合图，从而增强立木轮廓特征，再将融合图二值化。利用膨胀和腐蚀组合运算进行去噪和平滑处理，并根据立木主轮廓和干扰轮廓周长差距大的特点，提取主轮廓，完成立木轮廓的图像分割；提取立木轮廓的最小外接矩形，获取矩形树干高度方向的像素参数。由单位像素物理尺寸信息和树干高度方向的像素参数信息，获取树高1.3 m位置处的胸径像素参数。结合树高1.3 m处胸径方向像素信息和单位像素物理尺寸信息，完成胸径计算。

2 立木胸径测量关键技术

2.1 智能手机相机标定模型及畸变矫正模型

现有的相机标定方法主要分为传统标定物标定法、基于主动视觉标定法和自标定法。为了适应移动端相机镜头组的特点，使之能够实现畸变矫正并获取高精度相机参数，本研究提出一种经改进的带有非线性畸变项的相机标定模型来实现相机标定。下式分别描述了畸变矫正模型（1），忽略了高阶项的相机径向、 切向畸变模型函数（2）和（3）及由式（1）～式（3）得到的畸变矫正模型函数（4）。

图1 采用相机标定技术和机器视觉技术的胸径自动测量方法流程图Figure 1 Flow chart of automatic DBH measurement method based on camera calibration technology and machine vision technology

其中（xu，yu）为线性针孔模型计算出的理想图像坐标点，（x，y）是实际的图像坐标点，（δx， δy）是非线性畸变值，它与坐标的位置有关。（δxr，δyr）为忽略了高价项的非线性径向畸变值，（δxd，δyd）为忽略了高价项的非线性切向畸变值。k1，k2，p1，p2代表4个非线性畸变系数。

图像坐标系上的点（x，y）在像素坐标系（u，v）中的坐标为（u0，v0），像面上每一个像素点在x轴，y轴方向上的物理尺寸为dx，dy。可知图像中任意一个像素在2个坐标系中满足如下关系：

结合式（5），线性相机模型可化为齐次坐标与矩阵形式（6），其中（xw,yw,zw）表示三维世界坐标下的点坐标，f表示相机焦距，R表示旋转矩阵，T表示平移向量。

2.2 相机参数计算及优化

将棋盘格标定板固定于立木树干上，通过智能手机获取标定图片（图2），进行相机内、外参数标定。根据ZHANG［11］标定法中的相机标定解决方法。先利用模板平面与图像间的单应性关系作为约束条件获得封闭解，在封闭解的基础上计算初始估值内、外参数矩阵；然后根据最大似然估计理论给出非线性的最优化解，并考虑透镜的径向畸变，得到解析解和非线性解；最后应用非线性最小二乘的Levenberg-Marquardt算法来迭代获得更精确的相机内、外参数。选取1组（12幅）标定模板进行标定实验的数据，其中图像的各角点反投影误差和每幅模板图像的平均像素误差如图3所示。

相机标定方法能获取相机的内、外参数，而畸变矫正能解决智能手机相机镜头组存在畸变的问题，对图片中的所有像素进行偏移纠正，获得经畸变矫正的图像。

图2 标定图片获取示意图Figure 2 Schematic drawing of calibration picture

图3 标定模板图像的角点和平均像素误差Figure 3 Corner reprojection errors and average pixels errors of calibration images

2.3 由图像坐标系重建三维世界坐标系

经过相机标定，可计算图像上2个像素点在三维世界坐标系下的真实物理距离。算法过程为：根据智能手机的相机成像传感器尺寸LCCD推出每个像素的物理尺寸Lpixels；由2.2节获取的经畸变矫正后的手机相机参数，计算摄像机焦距fc的物理尺寸Lfc；然后计算像素平面上待测目标物两点间的距离Ldistance；最后可根据二维图像信息计算对应三维世界中2个像素点之间的真实物理距离L3D-real。其中Psum表示待测目标两点之间的像素个数；R和T分别表示相机标定所得外参数中的旋转矩阵和平移向量。三维世界重建算法（图4）可计算单位像素对应的三维世界坐标的物理尺寸。

2.4 立木树干轮廓视觉显著性表达及色调分量融合

相比工业环境下的机器视觉图像分割，自然环境下立木轮廓的视觉分割具有目标对象形态各异，图像背景干扰因素多和光照不均匀等特点，将现有的图像分割方法直接应用于自然环境进行感兴趣区域检测及图像分割的效果不佳。本研究以自然环境中的立木图像为对象，提出一种结合频率调谐的视觉显著性［12］的轮廓检测方法，具体为：①颜色空间选取。利用Lab颜色模型中L，a和b3个分量的几何距离差异，区分图像中不同颜色区域；由于3个分量之间独立性高，在目标显著性的特征表达上效果较好。因此，本研究引入对自然环境中立木轮廓目标区域的频率调谐视觉显著性描述，使之成为识别目标的特征之一。Lab三分量可通过式 （7）提取，其中R，G和B分别代表该目标像素的红色，绿色和蓝色值。

图4 三维世界坐标重建算法流程图Figure 4 Flow chart of 3D coordinate reconstruction algorithm

②频率调谐的视觉显著性表达［13－14］。以Lab颜色空间为图像特征，计算各颜色通道（L，a，b）上每个像素点（x，y）与整幅图像的平均色差并取平方；然后将这3个通道的值相加作为该像素的显著性值。采用3×3算子对图像进行卷积运算，得到一次下采样图，并构建高斯金字塔，对图像进行多次高斯平滑处理，最终得到高频图。

式（8）中：S（x，y）表示像素点（x，y）的频率调谐视觉显著性值，Iμ为图像特征的几何平均向量，Iωhc为对原始图像的高斯模糊，采用3×3算子；（L，a，b）各分量下标μ表示采集原始图像下各特征分量的算术平均值，下标ωhc表示高斯滤波后图像每个像素点的特征分量。将此方法应用于目标立木轮廓提取的特征表达，得到的视觉显著图（图5B）能有效捕捉到各颜色空间分量的剧烈跳变点，突出立木轮廓。③色调分量均衡化与特征融合。仅依靠Lab颜色模型构建立木图像的视觉显著图，受光照影响较大。如果在视觉显著图的基础上对图像进行色调分量均衡化与特征融合处理，可提取较高质量立木树干轮廓；如将HSV颜色空间中H分量融合到目标立木树干特征表达中，可以弥补在Lab空间上表达立木显著性时光照不均匀所带来的影响。提取图像H通道分量（图5C），通过对比度受限自适应直方图均衡化调整［15］，增强图像中立木树干部分的颜色对比度，捕获更多棕褐色系的立木树干与绿色系的背景之间的细节差异。将立木树干图像的均衡化H分量与频率调谐视觉显著图通过式（9）进行融合：

式（9）中：Ifusion（x，y）表示每一像素点（x，y）的融合特征，H（x，y）表示像素点（x，y）的均衡化色调，S（x，y）该像素点（x，y）的频率调谐视觉显著性值。通过特征调制，减少光照强度变化对于视觉显著性的影响，从而增强目标立木树干轮廓。融入H分量的特征表达图（图5D）。

2.5 噪声处理及树干轮廓检测

分割后的图像仍会呈现出立木轮廓不完整现象和残留部分噪声，包括树干纹理造成的空隙、树叶遮挡后不完整的轮廓等。利用形态学膨胀和腐蚀组合运算，通过开操作（先腐蚀后膨胀）分割出独立的图像元素，消除细小物体，达到在纤细处分离物体和平滑较大物体边界的效果。通过闭操作（先膨胀后腐蚀）连接图像中相邻的元素，填充物体内的细小空洞，达到连接邻近物体和平滑边界的效果。由于背景复杂，上述去噪处理后图像仍然可能存在较大的干扰噪声块，利用立木主轮廓和干扰轮廓的周长差距大的特点，剔除周长较小的干扰项，保留主轮廓，完成立木轮廓的输出（图6）。

图5 融入H分量的特征表达图及树干轮廓提取示意图Figure 5 Feature expression diagram integrating into H components and a sketch map of tree trunk extraction

图6 树干轮廓提取示意图Figure 6 Sketch map of tree trunk outline extraction

在完成立木轮廓检测后，可通过提取立木轮廓的最小外接矩形［16］获得立木树干高度的属性，在2.3节的基础上进行树干高度（指所获待测图像中树干部分的高度，并非树高）参数提取，并获取树干高度方向的像素值。由于目标立木在图像中存在形状不规则和位置、方向自由等特点，使得难以准确定位立木位置及提取立木的边缘轮廓，因此通过目标主轴方向估计求出立木轮廓最小外接矩形。根据主轴确定目标的初始矩形，以初始矩形的几何中心为旋转中心对其进行旋转，从而找到最优矩形姿态，并平移优化旋转后的矩形（图7）。

图7 立木轮廓最小外接矩形提取及胸径位置定位和胸径计算Figure 7 Minimum outer rectangleof tree trunk outline extraction,DBH location and DBH calculation

2.6 胸径检测与计算

提取立木轮廓的最小外接矩形，将矩形中树高方向定义为树干高度方向，获取最小外接中树干高度方向的像素参数PH，结合经三维重建测得的单位像素对应的三维世界的物理尺寸信息L3D-real，即可计算树干高度：H＝PH×L3D-real。胸径（DBH）的测量算法如下：由单位像素物理尺寸信息和树干高度方向的像素参数信息L3D-real，获取树高1.3 m位置处的胸径像素参数：PDBH=1 300/L3D-real，结合树高1.3 m处胸径方向像素信息PDBH和单位像素物理尺寸信息L3D-real，可得胸径为：DBH＝PDBH×L3D-real。此处，PH与PDBH指在未经采样处理的原图像中提取的像素信息。

3 实验验证

基于上述原理和算法流程，本研究在Android系统平台上，利用Java语言和C++语言等开发适用于Android智能手机的树干高度、胸径测量的测试系统，用于本研究方法的精度验证。

3.1 树干高度测量精度验证

随机选定12株立木，编号后用皮尺测量各树干高度；利用本研究的方法测量图片中的立木高度以验证测量精度。使用经校准的实验手机对12株立木进行测量，相对误差均小于4.65%（表1）。

表1 树干高度测量数据Table 1 Measurement data of the trunk height

3.2 胸径测量精度验证

随机选定10株立木，编号后用轮尺测量各立木1.3 m高度处的胸径作为真实胸径值。用实验手机对各样本多次测量，计算平均值作为测量值。由表2可知：10个样本的胸径测量结果相对误差均小于2.50%，绝对误差均小于5 mm，符合森林资源调查工作的精度要求。

表2 胸径测量数据Table 2 Measurement data of the DBH

4 结束语

本研究提出的结合相机标定技术、机器视觉技术及三维重建技术的立木胸径自动测量方法，能够更加方便地实现林业智能测量，有效提升森林资源外业调查的作业精度和效率。与现有的基于Android平台的测树软件相比，该方法的优势主要体现在：①结合相机标定技术，消除了相机镜头存在的畸变，减少了系统误差；②结合机器视觉技术，将图像处理技术应用于林业资源调查工作，在实现胸径快速测量的同时，获取并保存了立木图像信息；③相比三角函数方法，本方法的测量效率和精度更高；相比比例模型测量胸径的方法，本方法使用图像增强，感兴趣区域检测及相机标定和三维重建等技术，使得鲁棒性和测量精度更高。本研究虽然较好地实现了立木胸径的快速测量，但仅能在一定距离内获取简单的直接测树因子，希望在下一步的研究中，实现立木高度、森林蓄积量、生物量等数据的自动计算，为 “智慧林业”的数据采集提供支持。

5 参考文献

［1］ 史洁青，冯仲科，刘金成.基于无人机遥感影像的高精度森林资源调查系统设计与试验［J］.农业工程学报，2017， 33（11）： 82 － 90.SHI Jieqing,FENG Zhongke,LIU Jincheng.Design and experiment of high precision forest resource investigation system based on UAV remote sensing images ［J］.Trans Chin Soc Agric Eng,2017,33（11）:82 － 90.

［2］ 赵芳，冯仲科，高祥，等.树冠遮挡条件下全站仪测量树高及材积方法［J］.农业工程学报，2014，30（2）：182－190.ZHAO Fang,FENG Zhongke,GAO Xiang,et al.Measure method of tree height and volume using total station under canopy cover condition ［J］.Trans Chin Soc Agric Eng,2014,30（2）:182-190.

［3］ 程朋乐，刘晋浩，王典.融合激光和机器视觉的立木胸径检测方法［J］.农业机械学报，2013，22（11）：271-275.CHENG Pengle,LIU Jinhao,WANG Dian.Measuring diameters at breast height using combination method of laser and machine vision ［J］.Trans Chin Soc Agric Mach,2013,22（11）:271-275.

［4］ 孟宪宇.测树学［M］.3版.北京：中国林业出版社，2013：10-17.

［5］ 侯鑫新，谭月胜，钱桦，等.一种基于单 CCD与经纬仪的树木胸径测量方法［J］.计算机应用研究，2014，31（4）： 1225-1228.HOU Xinxin,TAN Yuesheng,QIAN Hua,et al.DBH measurement method based on tree images taken by single-CCD camera mounted on theodolite ［J］.Appl Res Comput,2014,31（4）:1225-1228.

［6］ 阮晓晓.基于普通数码相机的测树因子识别研究［D］.杭州：浙江农林大学，2014.RUAN Xiaoxiao.The Study on Stumpages’s Factors Recognition Based on Ordinary Digital Camera［D］.Hangzhou:Zhejiang A&F University,2014.

［7］ 韩殿元.基于手机图像分析的叶片及立木测量算法研究［D］.北京：北京林业大学，2013.HAN Dianyuan.Research on Leaf Area and Standing Tree Measurement Algorithms Based on Image Analysis Embed

ded in Smart Mobile Phone［D］.Beijing:Beijing Forestry University,2013.

［8］ 陈春.便携式智能信息终端的叶面积测量系统开发［D］.南京：南京信息工程大学，2008.

CHEN Chun.Leaf Area Measurement System Development Portable Intelligent Information Terminal［D］.Nanjing:Nanjing University of Information Science&Technology,2008.

［9］ 朱煜.基于 Android的森林资源数据外业采集系统研建［D］.北京：北京林业大学，2014.ZHU Yu.The Research and Development of Subcompartment Investigation System Based on Android System［D］.Beijing:Beijing Forestry University,2014.

［10］ 周克瑜，汪云珍，李记，等.基于Android平台的测树系统研究与实现［J］.南京林业大学学报（自然科学版），2016， 40（4）： 95-100.ZHOU Keyu,WANG Yunzhen,LI Ji,et al.A study of tree measurement systems based on Android platform ［J］.J Nanjing For Univ Nat Sci Ed,2016,40（4）:95-100.

［11］ ZHANG Zhengyou.A flexible new technique for camera calibration ［J］.IEEE Trans Pattern Analy Mach Intell,2000,22（11）:1330-1334.

［12］ 贺付亮，郭永彩，高潮，等.基于视觉显著性和脉冲耦合神经网络的成熟桑葚图像分割［J］.农业工程学报,2017,33（6）： 148-155.HE Fuliang,GUO Yongcai,GAO Chao,et al.Image segmentation of ripe mulberries based on visual saliency and pulse coupled neural network ［J］.Trans Chin Soc Agric Eng,2017,33（6）:148-155.

［13］ ACHANTA R,HEMAMI S,ESTRADA F,et al.Frequency-tuned salient region detection ［C］ //IEEE.Conference on Computer Vision and Pattern Recognition.Miami:IEEE Service,2009:1597-1604.doi:10.1109/CVPRW.2009.5206596.

［14］ ACHANTA R,SÜSSTRUNK S.Saliency detection using maximum symmetric surround ［R］.IEEE.International Conference on Image Processing.Hongkong:IEEE Service,2010:2653-2656.doi:10.1109/ICIP.2010.5652636.

［15］ 杨卫中，徐银丽，乔曦，等.基于对比度受限直方图均衡化的水下海参图像增强方法［J］.农业工程学报,2016,32（6）:197-203.YANG Weizhong,XU Yinli,QIAO Xi,et al.Method for image intensification of underwater sea cucumber based on contrastlimited adaptive histogram equalization ［J］.Trans Chin Soc Agric Eng,2016,32（6）:197-203.

［16］ 侯占伟，贾玉兰，王志衡.基于最小外接矩形的珠宝定位技术研究［J］.计算机工程，2016，42（2）：254-260.HOU Zhanwei,JIA Yulan,WANG Zhiheng.Research on jewelry positioning technology based on minimum bounding rectangle ［J］.Comput Eng,2016,42（2）:254-260.