基于动态感受野的自适应多尺度信息融合的图像转换

尹梦晓 林振峰 杨 锋*

①(广西大学计算机与电子信息学院 南宁 530004)

②(广西多媒体通信与网络技术重点实验室 南宁 530004)

1 引言

图像转换[1]的本质是条件图像生成，目标是将源图像转换成目标图像，如草图生成真实图[2]。由于源图像和目标图像之间存在很大差异，因此需要复杂的变化来完成转换。本文提出一种有效地完成不同类型图像之间转换的方法。

深度神经网络为图像生成提供了有效方法[3–5]，其中深度卷积生成式对抗网络(Deep Convolutional Generative Adversarial Networks,DCGAN)[5]自动学习上下采样以避免信息丢失，提高生成图像质量。在图像转换方面，Pix2pix[1]基于DCGAN，增加编码器实现不同域图像的转换，同时以跳跃连接使编码器的特征绕过瓶颈层直接传至生成器，这些方式提高了Pix2pix对不同转换任务的兼容性以及生成图像质量。后续的研究工作更多关注损失函数的设计[6]、修改生成机制[7]和拓展生成目标[8–10]等，对生成器的研究较少，而生成器作为直接生成图像的部分有较大的探索空间。本文通过改进生成器结构提出选择性(卷积)核的生成式对抗网络(Selective Kernel Generative Adversarial Network,SK-GAN)，避免引入额外的损失函数和超参数，获得高质量的生成图像。

Sun等人[11]提出空间金字塔注意力池(Spatial Pyramid Attentive Pooling,SPAP)模块，利用多级不同的感受野和像素级自适应特征选择从某一个上采样的特征中获取图像由粗到细的变化信息。SPAP在DCGAN[5]和循环生成式对抗网络(Cycle Generative Adversarial Networks,CycleGAN)[12]

中发挥了良好性能，一定程度上提高了生成图像质量。本文针对上采样过程每层上采样特征，利用选择性(卷积)核模块(Selective Kernel Block,SKBlock)[13]中的动态感受野机制融合该特征的多尺度信息，这样不仅适应了特征尺度的变化，同时改善了传统生成器以固定感受野解码特征的形式。……