基于双判别生成对抗网络的不规则孔洞图像修复

李海燕, 马艳, 郭磊, 李海江, 陈建华, 李红松

(1.云南大学 信息学院, 云南 昆明 650000; 2.云南交通投资建设集团有限公司, 云南 昆明 650000)

图像修复是用图像已知信息填充图像缺失区域的技术,在分散目标、删除无用对象或生成遮挡区域等领域有广泛应用。

目前,图像修复算法主要分为传统算法和基于深度学习的方法2类。传统算法中较早、较经典的有基于范例的方法[1],该方法在补丁周围求解全局最优完成图像填充,容易造成结构差异,使填充区域与整体不一致,且算法对初始化敏感,容易陷入局部极值。Barnes等[2]于2009年提出PatchMatch算法,利用随机搜索和快速传播找到图像块之间的最近邻匹配,产生比较合理的细节纹理,但不能很好捕获高级语义信息,导致修复细节模糊。为避免以上复制邻近区域填充缺失区域的不足,Huang等[3]提出结合平面视角和平移规则2种中层结构约束的图像修复算法,显著提高了缺失区域合成的质量,但难免存在错误检测的纹理细节,从而在缺失区域的纹理和边缘处产生伪影。

为了弥补传统修复算法语义一致性差、存在边缘模糊及伪影等不足,深度卷积神经网络(deep convolutional neural networks,CNNs)在图像修复方面得到广泛应用[4-5],对抗性网络[6]被用来改善修复结果的感知质量和自然性。Cai等[7]提出了一种新的风格提取器PiiGAN,并引入一致性损失来指导生成器学习与输入图像语义相匹配的各种样式,该方法能修复大面积规则缺失区域,但是在处理随机分布、大面积不规则孔洞时,会导致周围区域不一致的模糊纹理。……