基于注意力机制的多样性图像风格迁移

安徽理工大学计算机科学与工程学院 张世程

基于注意力机制的风格迁移模型是目前该领域研究的重点。这类模型可以保证风格化后的结果图能保留良好的语义信息，同时优秀地实现纹理、色彩以及形状等风格样式的迁移。但是目前这类模型还没有考虑过多样性生成，所有生成的结果都是唯一的。为了弥补这个不足，本文研究如何实现多样性风格迁移。具体来说，通过在模型的注意力机制中注入一种噪声矩阵——作为一种风格扰动来提升结果的多样性。本文的方法不仅可以完美嵌入目前主流的基于注意力机制的风格迁移模型，而且不需要训练，只需在模型测试阶段操作即可。通过理论和实验两个方面验证了提出的方法确实可以提高生成结果的多样性，在满足高效性的同时方便代码实现。

随着以深度学习为代表的AI技术快速发展，越来越多的领域开始交叉融合，风格迁移就是将艺术与深度学习技术融合的典型实践。具体来讲，给定一张内容图和一张目标风格图，风格迁移的目的就是将原始内容图的风格转化为目标图的风格，同时保证原始内容的语义信息不丢失。目前，以手机美颜为代表的各类修图软件大量使用了相关技术，为人们提供休闲娱乐功能。

最近，自注意力机制在各种计算机视觉应用领域中大放异彩，如：目标检测、语义分割等。在风格迁移中也出现了许多使用自注意力机制的研究工作，这类算法往往具有良好的迁移效果。……