基于风格解耦和自适应层实例归一化的图像翻译方法

蔡兴泉，魏岳超，孙海燕

(北方工业大学信息学院，北京 100144)

图像翻译指的是在保持图像的某些特征的基础上，将图像从一个图像域迁移至另一个图像域的图像处理任务。通过输入来自两个不同图像域的训练集训练模型，使模型可以根据源域中的图像生成目标域中的对偶图像，同时约束生成的图像和目标域中的图像保持尽量一致的分布。图像风格迁移、图像超分辨率[1]、图像修复[2]等多种图像处理任务均可以视作图像翻译的子问题。图像翻译的概念最早由Hertzmann等[3]提出，Hertzmann等通过类比一对通过某种转换前后的图像对，将此种转换模式应用于其他图像上，实现了类似风格迁移的效果，但受限于计算难度大，这类方法并没有进一步地发展。

随着卷积神经网络的发展，Gatys等[4]通过卷积神经网络提取图像的内容特征，计算提取特征图的Gram矩阵以度量图像的纹理，然后由网络输出特征融合后的图像，实现了将输入的风格图像的风格迁移至内容图像上的效果。Johnson等[5]采用类似全卷积网络的结构进行图像风格迁移，使用感知损失来度量图像间的差异，提升了图像风格迁移的速度。Huang等[6]使用自适应实例归一化(adaptive instance normalization, AdaIN)，以对齐内容图像与风格图像的均值和方差，从而实现任意风格的风格迁移。这类基于卷积神经网络或是基于全卷积网络的图像风格迁移方法需要使用预训练的特征提取网络对图像进行特征提取，对风格图像的材质和纹理较为敏感，因此更适于处理艺术图像的风格迁移，而不适用于更为复杂的图像翻译任务中。……