基于生成对抗网络的无监督图像风格迁移 *

兰 天,辛月兰,殷小芳,刘卫铭,姜星宇

(青海师范大学物理与电子信息工程学院,青海 西宁 810001)

1 引言

近年来，机器学习与深度学习的发展取得了重大的突破，尤其是深度学习的发展使计算机具备了非常强大的感知能力，计算机可以感知物体、识别内容，甚至理解人们说的话。生成式对抗网络GAN(Generative Adversarial Network) 是Goodfellow[1]在2014年提出的一种生成模型。目前GAN在图像处理领域和计算机视觉领域得到了广泛的研究和应用，例如图像复原[2]、图像识别[3]、超分辨率合成[4]和语义分割[5]等，并且相比传统的卷积神经网络取得了更优异的效果。无监督的图像风格迁移是一种图像到图像的转换问题[6]，在没有配对示例的情况下将图像从源域X转换到目标域Y的方法。图像到图像的转换可以追溯到Hertzman[7]的图像类比，他们在单个输入输出训练图像对上采用了非参数纹理模型,在传统的图像风格迁移模型中，一种算法同时只能进行一种图像风格的迁移，因此它有着极大的限制。而Gatys等[8]首次使用卷积神经网络进行图像风格的迁移,可以同时获得多种图像风格，首先输入原图像，对深层卷积神经网络中的卷积层所获得的图像特征进行图像内容的约束，然后通过不同阶段的卷积特征学习得到图像纹理，进行纹理约束，从而优化得到最终结果。Isola等[6]提出的“pix2pix”框架借助条件生成对抗网络[9]来学习从输入图像到输出图像的映射，这是真正意义上利用GAN进行图像风格迁移的方法，但需要成对匹配的数据。……