纹理合成风格迁移算法在动画角色造型中的应用

潘新

摘要：为实现智能化创作动画，本文提出一个水墨风格角色造型方法， 通过对人物照片进行水墨风格化处理， 生成具有现代水墨人物画风格的艺术图像。首先通过基于FDoG的轮廓提取与合成，获得水墨笔触的线条画图像; 然后通过形状计算和纹理合成， 将源风格图像的纹理映射到线条画中。实验结果表明， 与已有的图像风格迁移方法相比， 文中提出的方法可表現出更多渲染细节。在应用价值方面，该方法可降低动画角色造型难度，并用于动画教学与实践。

关键词： 角色造型生成方法;水墨风格化; 线条画; 纹理合成;现代水墨人物画

中图分类号：TP311     文献标识码：A

文章编号：1009-3044（2021）13-0179-03

动画角色造型种类繁多，且不仅限于手绘形式，通过运用剪纸、皮影、水墨等风格元素，可以帮助初学者解决设计上的困难，使其想法能够尽快付诸实践。结合风格化创作技术，将水墨等风格应用到真实照片上，生成具有独特风格的原画关键帧，在快速角色造型和动画创作方面起到重要的作用。

现代水墨人物画无论在外形构图还是神态把握上，都兼具现代主义与传统技法，这种风格逐渐被应用于动画角色的造型创作中，也达到了较好的效果。水墨人物画画家毕建勋[1]认为，只有根植于现实，现代水墨人物画才可能成长发展。将水墨人物画引入到动画角色造型中，可以在动画创新创作和传承水墨文化两方面起到推动作用。然而，在绘制水墨人物画过程中，人物特点都是通过水墨勾勒与渲染来表现的。其笔画与墨色的多样性和复杂性，使得水墨动画的创作工作极其繁重，并未能广泛传播。本文针对勾线填彩这种表现形式，提出一种基于线条的动画角色造型生成方法， 通过在真实的人物照片上进行线条提取和纹理填充， 实现生成水墨人物画风格的动画角色造型作品。在实践中，可用人物照片生成现代水墨人物画风格的人物图像。

1相关工作

水墨人物画风格迁移包括两方面：第一，水墨轮廓线条绘制，即采用多种笔刷模型， 输出具有水墨风格的轮廓线条， 像手绘写生一样描绘人物画像;第二，纹理填充，即通过留白和笔触来表现画面的多重特征和层次感。目前已有一些关于轮廓提取以及纹理填充的优秀工作值得学习和借鉴。主要有 3 个方面的工作：

1.1 线条画生成方法

Song[2]等提出了一种基于成对数据训练的人脸草图合成方法，并通过优化全局素描块选择，解决人脸草图合成中的噪点问题。Kaur[3]等提出了一种基于流的自动提取照片线条图的方法，从图像的局部特征中确定滤波器核的形状与方向，以减少线条的断裂并提高线条的连续性;通过边缘切向流（ETF）构建基于流的高斯差分（FDoG）滤波器，极大增强了线条的连续性。

1.2 图像风格迁移方法

Efros和Freeman [7]提出了一个对应关系限制纹理合成过程的图目标图像的图像强度。Ashikhmin [8]集中转移高频纹理但保留比例目标图像。赫兹曼等[10]套用图片类比将源图像的样式转移到目标图像。然而，这些方法无法转移艺术作品的语义风格。针对Gatys[10]提出的传统风格迁移算法存在的两个问题：迭代速度慢和不能实时处理，Johoson等[11]提出了快速风格迁移算法，也称基于生成模型迭代的风格迁移算法。其方法用到两个网络：损失网络（VGG）和图像生成网络，能够达到快速实时的图片风格迁移。朱等实现了非成对image的转换，引入了双向双向映射机制使得GAN更稳定，并提出CycleGAN[4]。基于CycleGAN的体系结构，DistanceGAN[5]强制执行一个域中两个样本的距离的约束应该保留在到另一个域的映射中。Bin[6]等通过建立周期一致性损失、对抗性损失、水洗损失等约束机制，提出了ChipGAN[6]，使得水墨风格迁移更加接近真实画作效果。本文也应用了ChipGAN中的方法，采用约束机制来模拟水墨中的空白和水洗效果。

2本文方法概述

本文中所实现的工具主要以线条画生成及纹理填充为核心。以真实人脸照片为例， 图1展示了自动地将一幅真实的人脸照片图像风格化为一幅现代水墨人物画风格的绘画作品，包括中间结果以及最终结果。该方法主要由2个部分组成：

（1） 线条画生成。基于FDOG滤波，生成四个不同笔触的轮廓图像，并采用区域权重函数合并轮廓，得到最终的轮廓线条画。

（2） 纹理合成。确定了线条画的轮廓和风格之后， 通过基于样图的像素映射方法进行纹理合成，实现对人物照片的水墨风格化。

2.1线条画生成

2.1.1 基于FDoG的边缘提取

现代水墨人物画在人物造型中，去除了复杂的细节，仅用方圆曲直来表达人物轮廓。缺乏轮廓或轮廓不连贯，都会影响水墨人物画的视觉效果。基于以上特点，由照片生成水墨人物画的过程中，首要解决的问题是如何生成光滑连续的轮廓图像。本文通过研究，选用基于流的高斯差分（FDoG：Flow-based Difference of Gaussian）算法来提取图像轮廓。FDoG算法由Kang等人于2007年提出，其核心思想是采用DoG滤波进行轮廓提取时，将图像局部轮廓方向特征作为获取轮廓子图的依据。

2.1.2 约束增强的水墨笔画轮廓生成

由于水墨人物画承袭了中国水墨画的笔触，其线条作为造型的主要手段，具有粗细、轻重、节奏和韵律感。过于统一的线条难以表现其中的风格，因此如何将提取到图像轮廓风格化是本文要解决的第二个问题。本文训练了一个多级边缘检测器以模拟不同类型的笔触，通过制定线条笔触约束来增强真实照片和生成图像不同级别轮廓图的拟合度。采用基于FDoG的轮廓检测器M从输入图像中提取四个不同级别的轮廓图像，以模拟四种不同类型的笔触，如图1中所示。然后将通过区域权重函数合并轮廓图像，以获取最终的轮廓图像。通过应用M，获得真实照片[M（x）]和生成图像[M（Gx）]的轮廓图像。然后，[M（x）]作为基本依据并计算平衡交叉熵损失，以使G生成适当的笔触。

其中N是照片或伪造绘画轮廓图像中的像素总数，μ是平衡权重。[? = N-/ N]和[1-? = N+ / N]。[N-]和[N+]分别是[M（x）]中每个像素的非边缘概率和边缘概率。

2.2纹理合成

水墨人物画中，除了以线条作为基本架构，空白也具备重要的价值，同时墨色的浓淡干湿也对人物表现产生影响。如何实现复杂的水墨填充晕染效果是本文最后要解决的问题。因此，本文對指定区域，通过提取源图片相应区域的纹理，进行水墨风格化处理，以及晕染效果的空白校正和颜色校正。本文采用高斯模糊运算对区域纹理进行腐蚀操作，实现纹理模拟与填充。

具体过程为，在线条画生成过程中，已经得到了人像分割区域。因此对于线条画中区域T内的每个像素[PT（x，y）]，其在真实照片中对应的像素为[PI（x，y）]，从位于源风格图片中提取最佳像素[PS（x，y）]作为填充纹理元， 其应满足两个约束条件：

（1） [PS（x，y）]的邻域与[PI（x，y）]的邻域平均颜色值差值小于5;

（2） [PSx，y]的轮廓相对位置与[PI（x，y）]的轮廓相对位置比例差值小于0.02。

本文通过定义能量函数来量化上两个约束条件。第一步， 定义[Es（PS（x，y））]，来描述与[PI（x，y）]邻域像素的颜色值差值总和， 并分别在[PS（x，y）]与[PI（x，y）]内定义半径为r的圆， [Ea（PS（x，y））]表示两个圆内像素的平均颜色值差值; 第二步， 定义[Ei（PS（x，y））]，来描述[PSx，y]的轮廓相对位置与[PI（x，y）]的轮廓相对位置比例差值：

3在角色造型中的应用结果与分析

本文在实际的应用中，针对动画初学者对角色造型存在困难、关键帧绘制效率低、角色造型创意不新颖等问题，采用人物照片水墨风格化的方法，降低动画角色造型难度。本文提出了基于FDoG的约束增强轮廓提取算法和基于样图的纹理合成算法实现水墨风格的角色面部造型。

本文选择研究目的相似的2项研究成果进行对比。DistanceGAN方法生成的效果比较逼真，而且头发部分的纹理效果较好，但笔触不够细腻，整体色彩偏亮;Gatys方法生成图像的笔触较粗，且轮廓不是很清晰。本文方法关注现代水墨人物画的轮廓和色彩特点， 生成的图像轮廓具有中国水墨画线条的浓淡粗细特点，且能够展现源图片中的色彩风格。

本文方法可以将人物照片生成现代水墨人物画风格图像。在动画人物造型中，面部造型占据重要的部分，也是较困难的工作。本文方法适用于水墨动画人物的面部造型，具有通用性。然而， 也存在一定的局限，在一些特殊技法的绘画风格中，不能很好地表现效果。如擦、渗等技法的表现，还需进一步改进。另外，通过风格迁移达到水墨动画角色的整体造型输出，是本文下一步要做的工作。

4结语

为了生成水墨风格的角色造型图，本文提出了基于FDoG的约束增强轮廓提取算法和基于样图的纹理合成算法实现水墨风格的角色面部造型方法。该方法可用来降低初学者的绘画难度，同时提高水墨动画的生产效率。利用文中论述的轮廓提取合成、纹理合成等技术， 可以通过真实人物面部照片生成水墨人物角色造型图。本文认为该方法能通过风格迁移技术对动画角色设计提供一个便捷的方法，为动画初学者提供一个实现创作灵感的平台。同时， 在实现面部造型的基础上，未来的工作将探索人物整体造型风格迁移，及简化的水墨风格迁移在动画角色造型中的应用，从而实现卡通水墨人物造型的智能化。

参考文献：

[1] 毕建勋. 水墨人物画画种备忘录[J]. 国画家，2002（1）：64-69.

[2] Song Y ，Bao L ， Yang Q ， et al. Real-Time Exemplar-Based Face Sketch Synthesis[C]// European Conference on Computer Vision. 2014.

[3 ]Kang H ， LEES ， CHUICK. Coherent Line Drawing[C]//International Symposium on Non-Photo realistic Animation and Rendering. New York， NY， USA：ACM， 2007：43-50.

[4] Jun-Yan Zhu， Taesung Park， Phillip Isola， and Alexei A Efros. 2017. Unpairedimage-to-image translation using cycle-consistent adversarial networks. arXivpreprint arXiv：1703.10593 （2017）.

[5] SagieBenaim and Lior Wolf. One-sided unsupervised domain mapping. InProc[J].Advances in Neural Information Processing Systems，2017：752–762.

[6] Bin He， Feng Gao， Daiqian Ma， Boxin Shi， and Ling-Yu Duan. 2018. ChipGAN： A Generative Adversarial Network for Chinese Ink Wash Painting Style Transfer. In Proceedings of the 26th ACM international conference on Multimedia （MM '18）[J].Association for Computing Machinery， New York， NY， USA， 1172–1180. DOI：https：//doi.org/10.1145/3240508.3240655.

[7] Zhang Haisong， Yin Xiaoqin， Yu Jinhui. Real-time rendering of 3D Chinese painting effects[J]. Journal of Computer-Aided Design & Computer Graphics， 2004， 16（11）： 1485-1489（in Chinese）

[8] Gooch B， Gooch A. Non-photorealistic rendering[M]. Wellesley： A K Peters Press， 2001

[9] Yu J H， Luo G M， Peng Q S. Image-based synthesis of Chinese landscape painting[J]. Journal of Computer Science and Technology， 2003， 18（1）： 22-28

[10] Gatys L A ， Ecker A S ， Bethge M . A Neural Algorithm of Artistic Style[J]. Journal of Vision， 2015.

[11]  Johnson J ， Alahi A ， Fei-Fei L . Perceptual Losses for Real-Time Style Transfer and Super-Resolution[C]// European Conference on Computer Vision. Springer， Cham， 2016.

【通联编辑：李雅琪】