融合边缘检测和自注意力的图像修复方法①

李维乾,张晓文

(西安工程大学 计算机科学学院,西安 710600)

图像修复是计算机视觉领域的一个重要任务.它在数字艺术品修复、公安刑侦面部修复等种种实际场景中被广泛应用.图像修复的核心挑战在于为缺失区域合成视觉逼真和语义合理的像素,要求合成的像素与原像素具有一致性.

传统的图像修复技术有基于结构和纹理两种方法.基于结构的图像修复算法具有代表性的是Bertalmio 等[1]提出的BSCB 模型和Shen 等[2]提出的基于曲率扩散的修复模型CDD.基于纹理的修复算法中具有代表性的有Criminisi 等[3]提出的基于patch的纹理合成算法.这两种传统的修复算法可以修复小块区域的破损,但是在破损区域越来越大时,修复效果则直线下降,并且修复结果存在图像模糊、结构扭曲、纹理不清晰和视觉不连贯等问题.

近年来随着硬件设备等计算能力的不断提升,以及深度学习技术在图像翻译[4,5]、图像超分辨率[6]、图像修复[7-9]等计算机视觉领域的迅速发展,采用深度学习技术的修复方法能够捕获图像的高层语义信息,与传统的修复方法相比,具有良好的修复效果.现有基于深度学习的修复方法包括卷积神经网络的方法和生成式对抗网络(Generative Adversarial Networks,GAN)的方法,其中基于GAN的方法在图像修复领域的应用比较出色.该技术采用对抗训练的方式来帮助模型生成需要的样本图像,采用GAN 方法能够提高数据质量,提升学习效率,但存在修复区域与周围区域语义不相关、边界模糊……