深度学习中的图像多风格迁移算法

李 超，石剑平，姜 麟

（昆明理工大学 理学院，云南 昆明 650500）

0 引言

图像风格迁移又称为图像风格转换，是在保持原图像语义内容不变的情况下，将艺术图像的风格迁移到内容图像上。该操作被广泛应用于社交活动、娱乐应用、户外创作等领域，通过风格迁移可得到新的艺术作品。

早期风格迁移方法为非真实感绘制（Non-photorealis⁃tic Rendering，NPR），其图像渲染方法主要分为以下4 种：笔触渲染［1］、区域渲染［2］、实例渲染［3］和基于图像处理滤波器技术的渲染［4-5］。这些渲染技术虽然能有效对内容图片进行风格化处理，但都是通过原始图像的底层信息完成，并没有利用高层抽象信息。在传统的风格迁移过程中，内容图的风格与语义信息分离是前提条件，也是重点和难点。在深度学习理论被提出后，Gatys 等［6］首次将卷积神经网络应用于图像风格迁移中，并取得了良好效果，解决了传统方法的局限性；Li 等［7］应用拉普拉斯损失增强边缘信息，使细节和轮廓边缘更加明显；Dmitry 等［8］提出一种实时神经网络风格算法；Johnson 等［9］通过引入前馈式传输网络实现了图像的快速风格转换。但上述学者提出的神经网络算法均丧失了原始算法［6］的灵活性，风格迁移网络的目的单一性问题没有被解决，更换风格样式时需要重新训练网络，增加了风格迁移的工作量。

综上所述，目前风格迁移方法局限于单一风格，且当语义信息与风格信息不匹配时容易发生色彩溢出现象。在实际应用中，原始图像的语义信息不同，所要求的风格信息也不同，因此单一风格迁移会导致原图像中所有语义信息均偏向于单一风格，使生成的语义信息被破坏。……