一种单模型多风格快速风格迁移方法

朱佳宝，张建勋，陈虹伶

重庆理工大学 计算机科学与工程学院，重庆400054

在短视频兴起的时代，各种风格滤镜效果备受人们喜爱，图像风格迁移技术已经广泛地被人们熟知。然而，许多图像风格迁移方法一个模型都只能针对一种风格，在应用上效率低下。

Gatys等人[1]在2015年首次提出一种基于卷积神经网络的统计分布参数化纹理建模方法，他们发现VGG（Visual Geometry Group）网络的高层能够很好地表达图像的语义风格信息，网络的低层能够很好地表示图像的内容纹理特征信息，通过计算Gram矩阵来表示一种风格纹理，再利用图像重建的方法，不断优化迭代来更新白噪声图像的像素值，使其Gram矩阵与风格图Gram矩阵相似，最后重建出既具有风格图的风格又具有内容图像的内容，这一研究引起了后来学者的广泛研究，并成功使用深度学习技术来进行风格迁移。

文献[2]从理论上验证了Gram矩阵为什么能够代表风格特征，认为神经风格迁移的本质是匹配风格图像与生成图像之间的特征分布，并提出一种新的在不同层使用批归一化统计量对风格建模方法，通过在VGG网络不同层的特征表达的每一个通道的均值和方差来表示风格，为后续研究提供了风格建模的参考。这些方法都是在CNN（Convolutional Neural Networks）网络的高层特征空间提取特征，高层特征空间是对图像的一种抽象表达，容易丢失一些低层次的信息，比如边缘信息的丢失会造成结构上形变。文献[3]提出在风格迁移的同时应该考虑到像素空间和特征空间，在Gatys提出的损失函数基础上，将在像素空间的内容图进行拉普拉斯算子滤波，得到的结果与生成图之间的差异作为一个新的损失添加进去，弥补了在抽象特征空间丢失低层次图像信息的缺点。……