一种基于注意机制的金字塔去雨网络研究

柴国强，王召巴，丁长明，肖剑平，芦 宾

(1. 中北大学 信息与通信工程学院，山西 太原 030051； 2. 山西师范大学 物理与信息工程学院，山西 临汾 041000；3. 上海杰普软件科技有限公司，上海 200436； 4. 深圳市捷易检测服务有限责任公司，广东 深圳 518040)

0 引 言

下雨是生活中常见的自然现象，往往会造成视线模糊和能见度下降，从而对基于干净图像的目标跟踪、交通路标识别、室外监控等计算机视觉算法带来负面影响[1-3]. 为了保证各种算法在不同条件下的有效性，需要对雨图像预先进行去雨处理. 因此，图像去雨吸引了广大学者的研究，并且取得了一定成果. 根据处理对象的不同，去雨方法主要可以分为两类： 基于视频的去雨方法和基于单幅图像的去雨方法. 基于视频的方法可以充分利用连续图像中雨条纹的时空特性，根据这些特性分析雨条纹与背景图像的差异从而将其去除. 与之对应，基于单幅图像的方法因无法获取时空信息，更加具有挑战性.

单幅图像去雨根据是否使用数据集进行训练分为传统方法和深度学习方法. 传统方法中，Luo等[4]利用稀疏编码，通过字典学习来分离雨条纹和背景图像； Kang等[5]利用双边滤波器将雨图分解为低频和高频分量进行去雨； Wang等[6]定义了一个3层的分层方案来检测和去除单个图像中的雨或雪. 深度学习算法中； Zhang等[7]提出了一种同时执行单图像超分辨率和雨水去除的深度卷积神经网络结构； Xia等[8]提出了一种简化的残差稠密网络来学习雨图像和相应干净图像之间的残差； Yang等[9]设计了一个递归小波学习网络来去除无标度雨带； Zhang等[10]利用生成对抗网络进行去雨，同时利用感知损失提升去雨效果. 尽管现有方法在去雨方面取得了不错进展，但是，就去雨质量方面仍然有较大提升空间. 本文提出一种基于金字塔模型的注意力网络进行去雨，在去除雨条纹的同时保证了背景纹理的恢复.

1 网络结构

1.1 对称金字塔结构

图像金字塔是图像多尺度的一种表达形式，使用不同分辨率来聚合图像特征. 随着金子塔的递进，图像分辨率逐渐降低，图像尺度越小. 对于高维度的问题，如图像分类，则只需将图像一直降采样即可. 对于低维度问题，如生成超分辨率图像以及本文所处理的图像去雨，还需将低分辨率的图像上采样到原始尺寸或者更大.

本文采用基于图 1 所示的网络进行去雨，预处理卷积层将3维雨图像提升至128维，非局域卷积模块有助于提升网络的长期记忆能力，雨条纹检测网络用来确定降雨区域，使后续模块对于雨条纹区域给予有意识的关注. 对称金字塔中前一部分对图像下采样，生成各种尺寸的特征图，后一部分对图像进行上采样，将图像尺寸逐渐恢复至原始尺寸. 在降采样和上采用过程中，相同尺寸的特征图通过跳线连接，使得低维度特征可以在高维度复用，在保证细节特征传递的同时，增强网络的稳定性.

图 1 基于注意机制的金字塔去雨网络结构

1.2 雨条纹检测网络

为了使网络可以将更多的关注放在雨条纹区域，本文设计了一个具有不同扩张因子空洞卷积的多通道网络进行雨条纹检测. 如图 2 所示，检测网络共有3个卷积通道，每个通道卷积核具有不同扩张因子，最后通过一个卷积层实现特征聚合. 通过不同的扩张因子，在不损失分辨率的情况下增加其感受野，捕获多尺度上下文信息. 其中每个通道的卷积核尺寸均为3×3，卷积扩张因子分别为1、3、5.

图 2 雨条纹检测网络结构

为了更好地利用卷积层之间的相互依赖关系，在每个通道的末端应用了挤压激励网络(SeNet)[11]. 与传统的只考虑空间信息的卷积相比，SeNet通过对信道分配不同的权值来融合空间信息和信道信息. SeNet主要有挤压和激励两步组成，在挤压操作中，在保证通道数量不变的前提下利用全局池化对特征图进行压缩，每个特征图用一个权值表征； 在激励操作中，通过全连接对挤压操作的结果进行处理得到每个通道的权重，将权重与对应通道进行相乘实现特征的重标定. SeNet将通道信息融入每个特征图，提高网络的表征能力.

为了得到雨条纹检测网络的监督信息，将雨图像与背景图像相减，然后将得到的结果做二值化处理，其中1代表有雨区域，0代表无雨区域，最后将此二值化结果作为注意图网络的监督信息，这样就可以使注意图网络检测出雨条纹，从而指导网络将更多注意力放在降雨区域.图 3 为雨图像、背景图像和利用检测网络识别出的降雨区域，从检测结果中可以看出，检测网络几乎识别出所有雨条纹区域.

图 3 雨条纹检测网络结果Fig.3 Result of rain streaks detection network

1.3 非局域卷积模块

非局域神经网络具有出色的捕捉图像长时记忆的能力，对高维度计算机视觉任务非常有用[12]. 在嵌入式空间中，应用扩展高斯函数来计算相似度[12]，非局域运算可以表述为

(1)

式中：X为前面特征层的输出结果；F(1)(·)为核大小为1×1的带激活函数的卷积层； T为矩阵的转置.利用卷积实现非局域操作的网络结构如图 4 所示，其中f表示softmax激活函数.

图 4 非局域卷积神经网络结构

传统的全局级非局域操作可能会导致不可接受的计算负担，特别是当一个特征映射的尺寸较大时. 此外，文献[13]证明了具有适当邻域大小的非局域操作对于图像去噪、超分辨率生成等低维度任务更有优势. 因此，在本文处理中，非局域操作是分区域进行的. 首先将输入特征映射到一个网格的区域(如图 4 所示，输入特性映射分为4个大小相同分区)，然后在各个局域上进行处理，最后将特征进行合并.

1.4 目标函数

本文结合图像目标函数、感知目标函数、结构相似目标函数以及注意图目标函数来确保生成图像既可以去除雨条纹，又可以符合人类感知. 其中图像目标函数衡量去雨图像和背景图像每个像素之间的绝对误差，是一种低维度的像素级目标函数，其定义为

L1=LMSE(G(x)-y),

(2)

式中：x为雨图像；G(x)为网络去雨图像；y为背景图. 感知目标函数衡量两者在高维度特征图的差异，在高分辨率图像重构、目标分类具有广泛应用. 本文采用在ImageNet上预训练的VGG16网络分别对去雨图像和背景图像进行高维特征提取，感知目标函定义为

(3)

式中：VGGi为通过VGG16提取的第i层特征. 结构相似目标函数综合亮度、对比度和结构来衡量两幅图像差异，其定义为

LSSIM=1-SSIM(G(x),y),

(4)

式中：SSIM为结构相似度指标，SSIM越高表示两幅图像越相似，两幅完全相同的图像其SSIM为1.注意图目标函数用来训练雨条纹检测网络，其定义为

Latt=LMSE(MAAM(x)-M(x)),

(5)

式中：MAAM(x)为雨条纹检测网络的输出；M(x)为二值雨条纹图像. 总体目标函数为

L=L1+Lssim+Lper+Latt.

(6)

2 训练细节及结果分析

2.1 训练细节

由于光照、大气散射等不确定性因素，无法获取降雨图像与其对应的背景图像，本文利用文献[14]中提供的两组数据集进行网络训练，其中Rain100L包含200组训练图像对和100组测试图像对，每张雨图像包含1种雨条纹，Rain100H包含1 800组训练图像对和100组测试图像对，每张雨图像包含5种雨条纹.

本文利用深度学习框架Pytorch作为网络搭建工具，使用ADAM优化器来训练模型，并且将其参数分别设置为0.9和0.99. 初始化学习率为0.001，每训练40个epoch后学习率降低10倍，模型一共训练100个epoch. 为了对比不同方法在合成数据集上的去雨效果，采用两种常用的图像评价标准进行定量分析，即结构相似度(SSIM)和峰值信噪比(PSNR). 将本文算法去雨结果与基于传统优化算法的DSC[4]和两种基于深度学习的算法JORDER[14]和SPANet[15]进行了对比.

2.2 结果分析

表 1 列出了不同方法在训练数据集上去雨效果的定量比较结果. 可以看出，本文方法在Rain100H和Rain100L两个数据集上都取得了最好结果，与其他方法相比，优势较大，验证了本文方法有效性.

表 1 不同方法去雨效果定量比较Tab.1 The quantitative comparison of different deraining methods

图 5 为不同方法去雨效果的可视化结果. 为了说明本文算法的有效性，选择情况较为复杂的雨图像. 从图中可以看出，基于传统优化的DSC几乎无法去除雨条纹，JORDER和SPANet虽然去除了大部分雨条纹，但是有很多伪影的产生. 与其他方法相比，本文方法在去除雨条纹的同时更好地保留了背景信息.

图 5 不同方法去雨效果可视化对比Fig.5 The visual comparison of different deraining methods

3 结束语

本文提出一种基于注意机制的金字塔去雨网络，是一种以降雨图像为输入，去雨图像为输出的端到端的深度学习网络. 该网络以金字塔结构为主体，首先采用非局域神经网络增强图像的长时记忆； 然后利用多通道的聚合技术和挤压激励网络检测雨条纹，其中不同通道采用不同的卷积扩张因子扩大网络的感受野，挤压激励网络的使用进一步提高了网络表征能力，生成的注意图可以使后续网络给予雨条纹区域有意识关注； 最后通过对称的金字塔网络完成雨条纹的去除. 与现有方法相比，本文方法在峰值信噪比和结构相似度都取得更好结果，去雨结果的可视化对比也验证了本文算法的有效性.