基于注意力机制的双向生成对抗压缩网络

陈旭彪

（福建捷联电子有限公司，福建 福州 350300）

0 引 言

近几年，基于深度学习的图像超分辨率重建算法为了追逐重建图像客观质量评价指标，研究者们设计出大量精妙的网络结构[1-5]，但这些网络结构大体上都是增加卷积神经网络的深度或宽度，从最初网络深度仅有3层的SRCNN，发展到首次引入残差网络达到20层深度的VDSR，再到80层的超深记忆性网MemNet[6]。尽管这些算法在一定程度上提升了图像的重建质量，却大幅度增加了网络模型消耗的内存容量及网络前向推理的计算量。另外一个问题是，如VDSR、SRResNet等算法，其网络结构采用了直接级联的拓扑结构，网络中每层输出的特征图会被不加区分地输入到下一层，无法判断图像特征的重要程度。

针对以上两个问题，本文在双向生成对抗压缩网络的基础上，提出了一种轻量高效的基于注意力机制的双向生成对抗压缩网络（ADSRGAN）。本文所提出的算法引入了深度可分离卷积层及混合注意力机制，在保证图像超分辨率重建质量的同时加快了网络模型重建速度。

1 双向生成对抗网络弱监督算法

本文的双向生成对抗网络旨在解决现实生活中模糊图像超分辨率重建问题。该算法框架如图1所示，包括两个生成对抗网络，分别为重建网络（Low-to-High）和下采样网络（High-to-Low）。

图1 双向对抗生成网络

1.1 下采样网络

图像超分辨率重建面临的最大问题是缺乏真实的数据集，即低分辨率的噪声图像和相应的高分辨率图像。生成用于训练的图像对的困难主要来自两方面，一方面是对低分辨率（LR）图像进行建模和仿真，另一方面是生成像素相对应的低分辨图像。……