图像阴影去除对Mask R-CNN-识别效果提升的研究

韦　鑫，吴燕斌,2，方　逵，何　潇

图像阴影去除对Mask R-CNN-识别效果提升的研究

韦鑫1，吴燕斌1,2，方逵1，何潇1

(1.湖南农业大学，信息与智能科学学院，湖南 长沙 410128； 2.长沙商贸旅游职业技术学院 网络中心，湖南 长沙 410000)

首先，针对西瓜叶片阴影，提出了基于YCbCr颜色空间的阴影去除方法；其次，建立三个不同的训练集：未去除阴影的西瓜叶片图像训练集D1、阴影去除的西瓜叶片图像训练集D2，一半未去除阴影一半阴影去除的西瓜叶片图像训练集D3；最后，利用目标分割算法Mask R-CNN训练出三个识别模型M1、M2和M3。实验表明：模型M1的识别效果最低，模型M3适中，模型M2的识别效果最佳。

阴影检测；阴影去除；Mask R-CNN；IOU；西瓜叶片

目前阴影检测方法可以分为基于物理模型的方法、非物理模型的方法、基于本征图像的方法以及基于机器学习的方法[1-4]。基于区域重光照VICENTE提出了一种阴影去除方法[5]，该方法利用内核最小二乘支持向量机（LSSVM）来分离阴影区域和非阴影区域，对于每一个光照阴影区域对，基于阴影和非阴影区域亮度值的直方图匹配进行区域补光，如果无法精准分割阴影与非阴影区域，利用该方法得到的去除阴影图像会存在一个明显的边界，其次该方法存在较高的误检率。SWAMIK[6]利用一对闪光灯和无闪光灯图像进行阴影检测，并对阴影区域进行恢复，该方法为室内图像阴影去除方法，但只对图像本影进行了去除。孙静[9]等人等根据静态室内环境色调的特点结合静态室内图像阴影的半阴影区域的特征来检测阴影区域的边缘，该方法给出了一套有效的阴影边缘检测方法，但未给出边缘去除方案。以上研究表明，过去阴影去除方法误检率较高、半影区域未检测到、存在较强的阴影去除边界，结合西瓜叶片还存在病虫害等与阴影特征相似的干扰信息。笔者从叶片与阴影的特征差异出发，在YcbCr颜色空间下，给出了阴影检测算法、结合重光照原理实现了对阴影的去除，并在此基础上给出了一套完整的阴影边界去除方案，实现了半影与阴影边界的去除。

1　YcbCr下的阴影检测方法

1.1　传统YcbCr的阴影去除方法

过去针对叶片的阴影检测研究，大部分都是基于阴影的纹理特征、亮度、色彩信息为基础对阴影区域进行检测。传统的YcbCr颜色空间的阴影去除算法可以简单的表示为图1所示，传统的阴影去除方法可以分简化为六个部分，首先输入原图像，然后将图像转至YCbCr颜色空间，更具阴影亮度较低这一特性，在Y通道设定阈值，实现阴影区域的检测，并基于检测的二值图像为掩码，利用阴影去除的算法实现对阴影区域的阴影去除。

图1　传统YCbCr阴影去除方法的思路图

1.2　改进的YcbCr的阴影检测方法

基于YCrCr空间下改进的阴影检测方法实现步骤可以表示为如下几个步骤：

（1）将RGB原图转至YCbCr颜色空间[7]，得到YCbCr颜色空间图像。

（2）计算出区域能量U与边界能量V，从而进一步计算出总能量E，利用最大流/最小割分割算法最小化能量E，实现对图像的前景与背景的分割[8]。

（3）利用设定的阈值对前景区域实现本影检测，然后对检测后的二值图像进行形态学腐蚀操作[9]，并对检测为非本影的像素点，移至背景区域进一步进行半影的检测，对于半影检测完的二值图像进行形态学膨胀操作[10]，紧接着利用半影阈值表达式T半影Y≤υY－σY检测背景区域，并基于阈值表达式T影Y≤υ滑Y－σ滑Y迭代整幅图像，实现对半影的检测。并对检测的阴影区域进行二值化，得到初步的阴影检测二值图像。

（4）对检测为本影的二值图像实行形态学开运算操作，检测为半影的二值图像实行形态学闭运算操作。

（5）将本影检测区域与半影检测区域进行二值图像的合并，达到最终的阴影检测图像。

基于YCbCr颜色空间改进的阴影检测框架流程如图2所示。

图2　基于YCbCr颜色空间的改进阴影检测框架图

2　阴影与阴影边界的去除

根据计算机视觉原理[11]，一张图片在像素处的图像I()为光照与反射率的乘积，在RGB颜色空间可以表示为：

()=()()+()() （1）

其中()为直接照明，()为间接(环境)照明，()和()都3三维向量，()为反射率，是一个3维向量，每个向量对应一个通道。如果绿萝叶片遮挡了主光源，则会在像素处产生阴影，因此，像素处的反射强度为I()shadow=()()()，其中()为光照衰减系数，()=tcos，其中表示直接照明的光线与物体表面的夹角，t为直射光的衰减因子，目标点在阳光区域，则t=1，即I()shadow=()()cos，如果目标点完全在阴影区域，则t=0，即I()shadow=0。

阴影检测过程提供了一个二值化的阴影掩码（Mask），其中每个阴影像素都被赋值为1或0。在此Mask的基础上，对每个阴影像素进行重光照，即可得到无阴影图像。结合近景图像的特征，设原阴影像素的值为I()，则本论文的新的像素的I()shadow_free值计算公式为：

I()shadow_free=rI(i)+D（2）

其中=L/L，可以近似等于非阴影像素亮度与阴影像素亮度的比值，为阴影区域与非阴影区域光照强度的差值，为阴影区域与非阴影区域光照强度的差值。

根据西瓜叶片的颜色特征，并结合第二章的改进YCbCr颜色空间的阴影检测框架图的基础上，下面给出了一套阴影去除的流程图：第一步，将以阴影检测二值掩码图为基础，对原图的相对区域进行重复光照，实现对阴影区域的阴影去除；第二步，对原图的背景区域进行阴影边界检测，利用Canny[12]边缘检测算法实现，并对检测出的边缘区域进行重光照，并对背景区域进行开运算操作；第三步，对整幅图像的背景区域进行第二步的迭代操作。根据实验发现，为减少不必要的操作，迭代5次以后方可实现对边界痕迹的去除，提出的阴影去除的框架如图3所示。

图3　阴影去除的框架图

图4为利用本文提出的阴影去除方法去除西瓜叶片流程图，图4(a)为西瓜叶片阴影原图，图4(b)为YCbCr颜色空间下的西瓜叶片阴影图，图4(c)为前景提取后的图片，图4(d)为本影检测的二值掩码图，图4(e)为半影检测的二值掩码图，图4(f)为阴影去除后的阴影图像，图4(g)为边缘检测后的二值掩码图像，图4 (h)为阴影去除及阴影边缘去除后的最终图像。

图4　阴影的检测与去除流程图

3　实验结论

以不同的训练集为基础建立三个模型M1、M2、M3，并使用测试集数据对模型M1、M2、M3进行的识别效果的对比以及对实验数据进行分析，得出以下结论。

（1）从两次测试（T1，T2）的TPR与IOU的对比中可以看出，去除测试集图像中的阴影，对深度学习识别模型的识别效果与测试效果具有重大的影响。

（2）模型M2与模型M3的实验数据的进一步对比中，假设训练集的复杂度对识别效果的提高为p，阴影的干扰对识别效果的降低为q，那么从模型M2与模型M3的识别结果可以得出，p

（3）在总多试验指标中，识别模型M2的识别效果均表现为最佳，模型M1的识别效果最差，模型M3识别效果适中。结合建立模型M1、M3、M2所使用的训练集D1、D3、D2存在的差异，不难发现模型M1、M3、M2识别效果逐渐增加的原因在于训练集阴影去除的多少有关，所使用的训练集阴影去除较多，则建立的识别模型具有更好的识别效果。

（4）去除图像中的阴影，能有效地提高深度学习算法Mask R-CNN对图像特征的有效提取，完善识别模型的识别效果，并以去除阴影的图像建立训练集，并以该训练集训练模型具有良好的识别效果。

[1] DONG Q，LIU Y，ZHAO Q，et al．Detecting soft shadows in a single outdoor image：From local edge-based models to global constraints[J]. Computers & Graphics，2014( 38)：310-319．

[2] WU T P，TANG C K．A Bayesian approach for shadow extraction from a single image[C]// IEEE International Conference on Computer Vision．IEEE，2005．

[3] HUANG W，KIM K Y，YANG Y，et al．Automatic Shadow Removal by Illuminance in HSV Color Space[J]．2015．

[4] 刘杰，谢明，朱莹莹．双层SVM的阴影检测与基于窗口融合的阴影恢复[J]．计算机工程与应用，2017，5(12)：178-184．

[5] VICENTE T F Y，HOAI M，SAMARAS D．Leave-One-Out Kernel Optimization for Shadow Detection and Removal[J]．ieee trans pattern anal mach intell，2018 (99)：682-695．

[6] SWAMI K，KHANDELWAL G，VIJAYVARGIYA A，et al. A New Method of Flash Image Shadow Detection and Patch-based Correction of Shadow Regions[C]// International Conference on Image & Vision Computing New Zealand．IEEE，2015．

[7] 孙静，田建东，唐延东．静态室内图像投影边缘检测方法研究[J]．仪器仪表学报，2010，31(S2)：28-31．

[8] KANG F，WANG C，LI J，et al．A Multiobjective Piglet Image Segmentation Method Based on an Improved Noninteractive GrabCut Algorithm[J]. Advances in multimedia，2018．

[9] 王宁，陈方，于博．基于形态学开运算的面向对象滑坡提取方法研究[J]．遥感技术与应用，2018，33(3)：520-529．

[10]罗伟，冯亮，史桐林，等．基于形态学处理与模式识别的手部图像分割[J]．现代电子技术，2015(12)：80-82．

[11]李东．计算机视觉技术在工业领域中的应用[J]．电子技术与软件工程，2017(16)：147-147．

[12]FENG Y，ZHANG J，WANG S．A new edge detection algorithm based on Canny idea[C]// International Conference on Materials Science，2017．

Research on Mask R-CNN recognition rate improvement by image shadow removal

WEI Xing1, WU Yabin1,2, FANG Kui1, HE Xaio1

(1.College of Information and Intelligence, Hunan Agricultural University, Changsha, Hunan 410128, China; 2.Network Security and Information Technology Center, Changsha Commerce Tourism College, Changsha, Hunan 410116, China)

A method of watermelon leaf shadow removal is proposed based on the YCbCr color space. Three different training sets were established. The training set D1 of the watermelon leaf image without shadow removal. The training set D2 of the watermelon leaf image with shadow removal. The training set D3 of the watermelon leaf image with half-shadow removal. The target segmentation algorithm Mask R-CNN is used to train three recognition models M1, M2 and M3. The experimental results show that M1 has the lowest recognition effect, model M3 has a moderate effect, and model M2has the best recognition effect.

shadow detection; shadow removal; Mask R-CNN; IOU; watermelon leaves

S126

A

2096–8736(2020)03–0041–04

湖南省重点研发项目（2017NK2381）。

韦鑫（1986­—），男，硕士研究生，研究方向为深度学习机器视觉。

方逵（1963—），男，博士，主要从事机器学习与智慧农业研究。