基于重加权低秩近似和高斯混合模型的图像块效应去除算法*

赵 峰, 陈 旭, 余志凯

(1.上海军民两用科学技术促进会·上海·200235; 2.空装驻上海地区第一军事代表室·上海·201109)

0 引 言

基于块的变换编码在硬件使用方面的灵活性和便捷性，使其在许多流行的图像或视频编码标准中得到了广泛的应用，例如JPEG[1]、AVC[2]等。在众多的变换中，块离散余弦变换以其简洁的表示形式和较强的去相关能力，应用最为广泛。然而，由于BDCT编码单独处理图像中的每个块，经常会在视频编码帧中产生可视的块伪影，特别是对于具有冗余信息的图像。块伪影会使相邻块之间不连续，这将大大降低视觉效果。图像去块效应方法由于其不需要改变现有编码技术的优点，被认为是一种很有前景的解决方案[3-12]。本文主要研究了当前计算机系统中应用最广泛的BDCT编码图像的去块效应方法。

近几十年来，人们研究了许多先进的图像去块效应方法，一般可分为基于图像增强(Image Enhancement, IE)[3]和基于图像反问题(Image Inverse Problem, IIP)[13]的去块效应方法两大分支。基于IE的去块效应方法的基本思想是将去块效应作为一个增强问题来处理，它通常在空间或频率域中进行滤波操作来平滑块伪影[6, 14-17]。基于IIP的去块效应方法是在解码器处对恢复原始图像进行正则化先验约束[11, 18-19]。传统的基于IIP的去块方法只对恢复的原始图像施加先验约束，忽略了伪影的统计分布，导致解码图像中存在可见的残余伪影。为了解决这个问题，本文重点研究了基于IIP的去块方法，并提出了一种新的去块效应框架，它同时对原始图像和伪影进行预处理。通过对这两个目标设计不同的先验模型来描述它们各自的特性，可以在解码器处恢复出稳定且满意的高质量解码图像。

本文基于最近提出的低秩约束先验模型，设计了一个非局部低秩近似(Low-Rank Approximation, LRA)来约束去块解码图像，它在保持图像内在局部结构的同时，探索图像的非局部自相似性。近年来，高斯混合模型(Gaussian Mixture Model, GMM)在对图像中特定的块状结构进行建模表现优越，并且能生成更高质量的恢复结果。因此，为了去除伪影，本文设计一个基于GMM的先验模型来拟合伪影的统计分布。在最大后验概率(Maximum A Posteriori, MAP)框架的基础上，将上述两个先验信息连接到同一目标函数中，提出了一种基于LRA先验和GMM先验的去块效应方法。

1 基于联合先验的图像去块效应算法

在本节中，详细介绍了本文所设计的LRA和GMM先验，提出并分析了基于MAP的综合框架，展示了去块能力。

图像去块的目的是利用观测数据本身存在的信息，在解码器上从恢复的图像中消除块状伪影，从而获得较高视觉质量的图像。假设有一幅大小为N×N的图像，且其沿行的向量化表示为x。设y为所观测到的基于BDCT的编码图像，该图像可以从JPEG解码器中获得。因此，可以将退化公式表示为：

y=x+e

(1)

假设伪影和图像是独立的，利用MAP理论以及贝叶斯似然理论，式(1)可以转化为以下公式：

(x)=argmaxlogp(y|x,e)+logp(x)+logp(e)

(2)

其中式(2)中的第一项称为数据保真度，其余两项分别是关于图像和伪影的函数。与传统的基于MAP的去块方法不同，文中提出的似然函数同时考虑了伪影e和图像x，并在同一恢复框架中使用两个不同的分布函数来表征各自的特性。首先，利用重权重低秩能够捕获相关性信号样本的特性来实现图像真实内容的先验约束，更好地客观反映图像内容的自相似性。其次，由于伪影的分布难以捕获，这里利用GMM分量对伪影分量进行约束，达到对伪影进行分布建模的目的。

1.1 重加权低秩近似先验

最近，有一种基于块的低秩先验模型被应用在图像去噪问题上。在这个方法中，低秩先验对一组带有相似结构的非局部块进行约束，其能够同时利用图像的局部结构和非局部结构的自相似性。本文提出了一种新颖的重加权低秩近似先验算法，该算法应用在去块框架中用来约束原始图像并保留更精细的结构。下文将给出重加权低秩近似先验的详细说明。

(3)

其中d0是自定义常数，作为约束块之间相似性的上限。

可利用矩阵Pi按如下方式构造重加权低秩近似先验：

(4)

1.2 对于伪影的高斯混合模型先验

本节将讨论如何设计一个在编码过程中约束块伪影的先验。从(1)中提出的退化模型可知，块伪影为原始图像与其观察版本(例如JPEG压缩图像)之间的残留误差e。假设每个块伪影ei的分布可以表示为一组混合随机高斯分量的和，如下所示：

(5)

其中μk和Σk分别表示第k个高斯分量的平均值和协方差矩阵，pk是权重参数且Σkpk=1。利用公式(5)中的假设，可得如下所示的块伪影先验：

(6)

其中ei定义为ei=Rie。为了采用公式(6)约束残留，需要学习k个高斯分量的参数，并利用这些高斯分量的线性组合来表示伪影的块效应现象。因此本文以离线的方式训练高斯混合模型的参数。

1.3 基于最大后验框架的综合目标函数

通过上述关于原图像和块伪影的两个先验，构建出如下几项：

-logp(x)=ΦLRA(x),-logp(e)=ΦGMM(x)-

(7)

通过将公式(7)纳入公式(2)的最大后验框架，就能获得如下去块效应算法的综合目标函数：

(8)

其中λ和η为平衡参数，通过迭代求解(8)中的最小化问题，就可以得到整体最优解，并获得去除伪影后的高质量复原图像。

2 所提出框架的数值求解方案

本节将详细介绍用于解决式(8)中提出的新目标函数的数值方案。将式(4)和式(6)代入式(8)，可得以下最小化问题：

(9)

为了使(9)易于求解，本文运用一种基于交替方向乘子法(Alternating Direction Method of Multipliers, ADMM)的迭代数值方案。此外，通过引入两个辅助变量以将式(9)转换为优化约束问题，如下所示：

i=1,2,3…

(10)

(11)

其中μ是惩罚参数，u和vi是辅助变量，y1和y2是拉格朗日参数。在ADMM中，式(11)的近似解等价于在第k次迭代中求解最小化问题：

(12)

(13)

(14)

(15)

然后将拉格朗日参数y1和y2更新为：

y1=y1+(u-x)

(16)

(y2)i=(y2)i+(vi-xi),i=1,2,3,…

(17)

x的子问题是一个二次优化问题，其封闭形式的解可以通过下式求得：

(18)

对于e，由于每个独立块都是二次型的，ek+1解为如下：

(19)

给定xk+1，u的子问题由于其非凸形式而有些复杂。其最小化问题需要对矩阵x-y1的奇异值进行多次内部迭代求解。将(14)转换为基于块组的形式如下：

(20)

(21)

(22)

(23)

通过上述说明，所有关于变量的子问题都得到了解决。为了使方案更加清晰，算法1给出了所提出的去块框架的整体算法。

3 实验结果与分析

为了验证本文提出的去块算法的有效性，在基准图像数据集上进行了实验，将本文所提算法与目前出色的去块方法进行了比较，包括标准JPEG解码器，基于专家先验的块效应DCT编码(BDCTCFoE)[12]，基于形状自适应的DCT (SADCT)[7]，基于BM3D的去块效应算法[20]，基于KSVD的去块效应算法[21]以及基于RALD的伪像还原方法[11]。在本文的实验中，影响恢复性能的主要有四个参数，包括块的大小、重叠步长、每组中块的总数以及搜索窗口的大小。为了便于实现，设块的尺寸为8×8, 将块之间的重叠步长设置为4像素，每组中的块总数为20，并且将搜索窗口的面积设置为20×20，将所有基准测试图像调整为256×256，如图1所示。采用JPEG压缩标准生成退化图像，JPEG压缩标准是计算机系统中广泛使用的视频编码压缩标准。并采用JPEG标准的三种质量因子(Quality Factor, QF)进行验证实验，QF分别为5、10、15。

图1 基准测试图像Fig.1 Benchmark testing images

由于空间有限，本文只显示了两张QF = 10的测试图像的视觉解码结果。此外，为了验证本文提出的算法的性能，采用了两种常用的客观指标，即峰值信噪比(Peak Signal to Noise Ratio, PSNR)和结构相似度度量(Structural Similarity Index Measurement, SSIM)，以评估比较方法之间的恢复结果。测试图像的PSNR结果如图2～图6所示，SSIM结果如图7～图11所示。

图2 Barbara的PSNR结果Fig.2 PSNR results of Barbara

图3 轮船的PSNR结果Fig.3 PSNR results of boat

图4 蝴蝶的PSNR结果Fig.4 PSNR results of butterfly

图5 房子的PSNR结果Fig.5 PSNR results of house

图6 Lena的PSNR结果Fig.6 PSNR results of Lena

图7 Barbara的SSIM结果Fig.7 SSIM results of Barbara

图8 轮船的SSIM结果Fig.8 SSIM results of boat

图9 蝴蝶的SSIM结果Fig.9 SSIM results of butterfly

图10 房子的SSIM结果Fig.10 SSIM results of house

图11 Lena的SSIM结果Fig.11 SSIM results of Lena

从视觉质量比较结果可以看出，在通过标准JPEG重建方法直接恢复的图像中会生成明显的块状伪影。两种基于字典学习的去块方法KSVD和RALD在某种程度上消除了伪影，但解码图像中仍存在部分伪影。BDCTCFoE虽然抑制了块的形成，但在重建图像中产生额外的斑点。在比较方法中，BM3D和SADCT以及本文提出的算法得到了比其他方法更好的结果。然而，由于设计了非局部低秩先验算法，因此与BM3D和SADCT相比，本文提出的算法在边缘和细节恢复方面具有出色的性能，从而带来了更高的视觉质量，并有效地将伪影从观测图像中分离出来。此外，与其他去块效应方法相比，优秀的实验结果也显示了本文提出的算法的有效性和优势。

4 结 论

本文提出了一种用于图像去块效应问题的新框架。新框架由约束原图像和约束块伪影两种先验组成。重加权低秩近似先验能够充分地利用图像中隐藏的非局部自相似性和冗余信息，这有助于在重构图像时保留更多细节。高斯混合模型先验通过训练和作用于伪影上能够捕获伪影的基础模式。为了求解本文提出的算法，设计了一种基于ADMM的数值求解算法能有效地求解目标函数。大量的实验结果证明，本文提出的算法无论在视觉效果还是在评估指标方面均能比其他算法获得质量更高的解码图像。