杜康宁,李凯旋,曹 林+
(1.北京信息科技大学 光电测试技术及仪器教育部重点实验室,北京 100101; 2.北京信息科技大学 信息与通信工程学院,北京 100101)
目前的素描人脸合成技术[1-3]主要分为两类:数据驱动方法[4-6]和模型驱动方法[7-11]。数据驱动方法通常由图像分块、最近邻选择、权重计算和图像块拼接4个部分组成,数据驱动方法的主要优点是可以很好地合成面部细节。但是这些方法在相似的图像块搜索中通常很耗时,从而限制了这类方法的适用性。模型驱动方法主要是以离线方式学习面部照片-素描图像间的映射关系,主要优点是测试阶段非常快,但合成结果清晰度较低,缺少一些关键细节特征。
显然,目前大多数素描人脸合成技术都能合成完整且令人印象深刻的结果,但在合成结果中会丢失一些关键信息,导致图像细节缺失或模糊,而且当处理的图像与训练图像相差较大时很难取得良好的效果。本文的目标是合成高质量素描人脸图像,并解决训练数据集不足而导致模型适用性差的问题。
本文提出了一种素描人脸合成方法,该方法是将面部特征提取网络、生成网络及判别网络相结合的三网络对抗学习模型。首先,我们设计了一个通过面部照片来生成素描人脸图像的生成网络;然后,采用对抗学习的策略,设计了一个用于提升生成网络性能的判别网络,并对对抗损失增加控制因子,控制训练过程,保证生成网络与判别网络得到充分训练。……