生成对抗网络在虚拟试衣中的应用研究进展

张颖 刘成霞

摘要： 生成对抗网络（GAN）的出色性能，使得深度学习在虚拟试衣中的应用得到新的发展，可以应对虚拟试衣中诸多问题和需求。GAN能够产生高度真实的输出，与原始训练分布非常接近，成为当下实现虚拟试衣不容忽视的工具。文章围绕这一研究前沿与热点问题，对GAN及其在虚拟试衣中的发展进行了简单的回顾;其次从GAN生成虚拟试衣结果的特征类别出发，先后介绍了在2D图像、3D模型及视频的虚拟试衣上的应用，总结分析了它们的运作机制、优点、局限性及适用场景;最后，讨论了GAN在虚拟试衣领域未来的研究方向。研究认为，未来可在增加试穿服装件数、提高试穿图像分辨率和准确性、提高视频试穿速度3个方向开展研究。

关键词： 虚拟试衣;生成对抗网络;深度学习;图像翻译网络;自我监督

中图分类号： TS941.19

文献标志码： A

文章编号： 1001-7003（2021）12-0063-10

引用页码： 121111

DOI： 10.3969/j.issn.1001-7003.2021.12.011（篇序）

Abstract： The excellent performance of Generative Adversarial Network （GAN） has facilitated the new development and application of deep learning in virtual fitting， which could deal with many problems and needs in virtual fitting. GAN is able to produce highly real output and is very close to the original training distribution， thus becoming a tool that can’t be ignored in the current virtual fitting. Firstly， focusing on this research frontier and hot issue， this paper briefly reviewed GAN and its development in virtual fitting; then， starting from the feature categories of virtual fitting results generated by GAN， the paper introduced its application in virtual fitting based on 2D image， 3D model and video， summarized and analyzed the operation mechanism， advantages， limitations and applicable scenarios; finally， it prospected the future development direction of GAN in virtual fitting. It is believed that future research can be carried out in three directions： increasing the number of fitting clothing， raising the resolution and accuracy of fitting image， and improving the speed of video fitting speed.

Key words： virtual fitting; generative adversarial network; deep learning; image-to-image translation network; self-supervision

生成对抗网络（Generative Adversarial Network，GAN）是Goodfellow等[1]在2014年提出的深度学习模型，可以产生高度真实的输出，非常接近原始训练分布，甚至能达到肉眼无法区分的程度[2]，这种动态生成高质量图像的能力为计算机图形学[3-4]及虚拟[5-6]、增强[7-8]和混合现实[9-10]应用开辟了新的研究途径。GAN是计算机视觉领域中最接近人眼判别水平的模型，其关键优势是可以从图像或视频中重建目标对象的3D模型[11-12]，對实现服装虚拟试衣具有重要的现实意义。基于图像的视觉试穿技术[13-17]，根据参考人体的姿势对服装图像进行变形处理将目标服装转移到人体上，输出图像可以很好地保持目标图像的特征[18-19]，如纹理、刺绣、Logo等，因此在视觉图像领域引起广泛关注。……