多通道特征增强风格迁移算法

陈梦伟，毛 琳，杨大伟

(大连民族大学 机电工程学院，辽宁 大连 116605)

在图像处理领域，图像风格迁移是现阶段的研究热点之一。现有图像风格迁移技术，对图像整体风格映射迁移效果较为优越，但图像特征在迁移映射过程中出现偏差，导致生成图像内容失真，图像还原质量有待进一步提高。

目前，风格迁移算法主要基于生成对抗网络(Generative Adversarial Networks, GAN)[1]。由GAN衍生的网络框架大致可分为单个生成对抗网络和多个生成对抗网络。

单个生成对抗网络结构以原始生成对抗网络GAN为基础，是Goodfellow等人在2014年提出的一种新的生成式模型。GAN包括两个网络，分别是生成网络和判别网络，生成网络使真实样本迁移为虚假样本，判别网络用于判断样本真假，并引入对抗损失，通过对抗训练使生成器能够迁移高质量样本图像。但原始GAN并不成熟，存在着诸多问题，如梯度消失、模式崩溃(Collapse Mode)和降低生成图像多样性，严重限制GAN完成高质量风格迁移工作。随后出现的CGAN(Conditional GAN)[2]在原始GAN基础上增加约束条件，控制GAN生成器过于自由的问题，但其模型训练不稳定，图像特征不能保证被完整迁移，生成图像还原度不高。Pix2pix[3]在CGAN的基础上提出，用于有监督图像到图像翻译任务，其生成器使用U-net网络提取细节，判别器使用PatchGAN处理图像高频信息，增强两个域之间图像映射关系，生成清晰图像。但Pix2pix必须使用成对数据集，这种一对一映射应用范围十分有限，当输入数据与训练数据差距较大时，难以实现图像内容一致的风格迁移。……