辐射保真的红外遥感图像超分辨率重建

时文俊，郭从洲，童晓冲，田 园，曹 闻

(1. 郑州升达经贸管理学院 应用数学研究所，河南 郑州 451191；2. 信息工程大学 基础部，河南 郑州 450001；3. 郑州大学 智慧城市研究院，河南 郑州 450001)

红外遥感成像具有被动工作、抗干扰性强、目标识别能力强、全天候工作等特点，已广泛应用于军事侦察、监视和制导方面。由于成像原理不同，与可见光遥感图像相比，红外遥感图像具有分辨率低、对比度低、边缘模糊、信噪比低、成分复杂等缺点。 因此，在无法改变传感器物理条件的前提下，利用数学理论结合信号处理的方法对红外遥感图像进行超分辨率重建是必要的。

红外遥感图像除了期望有较高的空间分辨率以外，对其进行信息定量化研究——辐射定标，也同样具有重要的地位。 比如，可见波段-近红外波段-短波红外波段内的地表反射率、热红外波段内地表辐射温度和真实温度、微波波段内地表物体的亮度温度和发射率以及物体的后向散射系数等的定量数值。 只有通过辐射定标，才能将遥感信息与地学参量联系起来，定量地反演或推算某些地学或生物学的参量，如植被的生物量、叶面积指数、农田蒸散量、森林积蓄量、土地利用面积、积雪厚度、海洋上的风速和风向、泥沙含量、海洋表面温度等[1]。 目前的辐射定标主要是建立遥感图像(传感器记录的数字信号)与对应的辐射能量之间的数量关系。 定标参数在一定的时间段内必须与地物和成像环境无关。 但是，遥感图像经过超分辨率重建以后，其灰度值和图像的尺寸都会发生改变，如果还利用原始图像和定标系数进行反演计算，就不能保证定标精度，也就不能较为精确地估计地表物理量。 因此，建立原始图像与超分辨率重建图像之间的相对定标关系就非常有意义了。

1 超分辨率重建对定标系数的影响分析

对地观测传感器的辐射定标，主要通过比较传感器的数字输出值与幅亮度的绝对值建立相应关系。大多数传感器的辐射定标参数估计的原理是基于最小二乘法的最小化求解问题，这就意味着所估计的定标参数都是存在误差的。 因此，实际工程测量中获取的像元亮度值是不能再次处理的。

超分辨率重建是通过对图像灰度值进行数值处理提高图像质量的。 由于超分辨率重建问题是一个不适定的数学反问题，因此利用常见超分辨率重建方法计算出的图像灰度值并不是真实的高分辨遥感图像灰度，而是其近似值。 一些经过特殊采样设计的传感器，如红外、近红外等气象卫星传感器，既希望通过超分辨率重建提高遥感图像的清晰度，又不希望影响辐射定标精度，这就形成了一个矛盾问题。与此类辐射保真的超分辨率重建相似的研究文献也极少。

辐射定标时往往选取的信噪比相对恒定的区域进行测试，即辐射定标的精度取决于图像侧信噪比。从图像的角度理解，信噪比相对恒定的区域就是图像灰度值变化相对恒定区域。通过超分辨率重建提高分辨率的本质是增加了图像的高频信息，也就丰富了图像的纹理和细节，对图像的低频信息(也就是灰度值变化相对恒定区域)影响较小。这样就为顾及辐射定标精度的前提下进行超分辨率重建提供了可能性，即超分辨率重建时只处理图像纹理丰富、细节较多的高频区域，尽量不处理图像相对平坦的低频区域。

2 基于双边滤波器原理的图像高低频信息分离

红外遥感图像的尺寸一般都比较大，对计算效率要求很高。 双边滤波[2]是一种非线性的滤波方法，具有简单、非迭代、局部的特点[3]，适合对遥感图像进行高低频信息分离处理。 双边滤波器由两个高斯函数构成，这两个高斯函数的区别在于各自由不同的方差确定，一个是由几何空间距离决定的空间方差，另一个由像素差值决定的灰度方差。 正是这两个不同的高斯函数的作用，双边滤波器是一种既可以保持边缘，又可以降噪的滤波器，并且滤波前后的低频信息没有改变或者几乎一致。 这就意味着利用双边滤波器可以将图像的平坦区域(低频信息)和细节纹理区域(高频信息)分离开来[4]，如图1所示。

图1 双边滤波器高频信息分离图像

3 基于二阶总广义变分正则化的超分辨率重建

图像超分辨率重建的正则化方法是把超分辨率重建归结为最优化问题：

(1)

Bredies等在2011年提出了一种全新的数学概念——总广义变分(Total Generalized Variation, TGV)[5]。总广义变分能够有效地逼近任意阶多项式函数，同时具有旋转不变形、凸性、下半连续性等良好特点[6]。多篇文献表明，以二阶总广义变分作为正则项进行图像复原处理时，能够避免二阶全变分模型的阶梯效应[7-8]和四阶全变分模型的“斑点现象”[9]，在保持图像边缘的同时使纹理更加丰富。二阶总广义变分定义如下：

(2)

根据以上分析和红外遥感图像超分辨率重建的必要性，令

(3)

提出如下基于二阶总广义变分正则化的超分辨率重建模型：

(4)

3.1 模型分析

(5)

因为

(6)

所以

(7)

3.2 数值解法

超分辨率重建模型式(4)属于l1范数的非凸优化问题，笔者采用交替方向乘子法进行求解。该方法是求解等式约束凸优化问题的一个有效方法，能够克服增广目标函数的病态性质，具有收敛速度快，误差估计简单等优点[12-13]。

首先，利用Huber函数进行半二次正则化对式(4)进行光滑逼近[14]，与建立增广拉格朗日函数的思想是一致的。将式(4)分裂为

(8)

利用交替方向算法求解，式(8)分解为如下几个子问题求解。

(1)u的子问题

(9)

该优化问题只含有l2范数，可以利用变分原理将最小问题转化为欧拉方程求解。令M=DB*Tk，可得

(10)

整理可得

(11)

该方程组为线性方程组，可以采用共轭梯度法求解。

(2)ω的子问题

(12)

利用变分原理将最小问题(12)转化为欧拉方程求解：

(13)

整理可得

(14)

(15)

式中，F表示快速傅里叶变换，F-1表示快速傅里叶反变换。

(3)v1的子问题

(16)

该问题属于l1范数优化问题，可以采用二维收缩(Shrinkage)算子相关定义求解：

(17)

(4)v2的子问题

(18)

同样可以采用二维收缩算子求解。

结合以上分析，归纳总结一种顾及辐射定标精度的红外遥感图像超分辨率重建方法，步骤如下：

第1步 利用双边滤波器将所有低分辨率红外遥感图像的高频信息和低频信息分离；

第2步 利用提出的二阶总广义变分正则化方法，对高频信息图像进行超分辨率重建，满足辐射保真要求；

第3步 利用最邻近内插的方法，对所有低频信息图像重采样，获取一个尺寸放大两倍的图像，并将该图像与高频信息图像进行超分辨率重建图像融合，融合后的图像即为估计辐射定标精度的红外遥感图像超分辨率重建结果。

4 实验测试

通过以上分析，对于有辐射定标精度要求的红外遥感图像进行超分辨率重建实验测试。为了验证所提思路的可行性，选取风云四号气象卫星红外波段云图作为测试对象，如图2和图3所示。

图2 风云四号气象卫星红外波段原始低分辨率云图(2 826×804像素)

图3 局部区域放大图(233×355像素)

首先利用双边滤波器将该云图高低频信息分离，如图4所示。

图4 双边滤波分离后的高频信息图像(233×355像素)

其次，分别对原多幅低分辨率图像利用模型(4)进行常规意义的超分辨率重建和只对高频信息图像进行超分辨率重建，然后与原始低分辨率图像融合处理，结果如图5和图6所示。

图5 二阶总广义变分正则化超分辨率重建结果

图6 辐射保真的超分辨率重建结果(466×710像素)

观察两种不同的超分辨率重建结果，图像在放大2倍后，其细节纹理更加丰富和细腻，清晰度明显提高。二阶总广义变分正则化方法直接超分辨率重建效果略优于具有辐射保真要求的超分辨率重建图像效果。

5 定量化分析

超分辨率重建虽然能提高图像的分辨率，也会影响辐射定标精度。通过分析超分辨率重建前后灰度值变化情况，进而分析对定标精度的影响。由于真实定标参数取决于图像平坦区域(低频信息区域)的信噪比，下面就定量化分析超分辨率重建前后图像低频区域信噪比的变化情况。

单幅图像的信噪比计算方法有很多，常见的方法是选取图像相对平坦的局部区域。先计算出该局部区域的标准差作为噪声值；然后计算该区域的均值作为信号值，信噪比值就等于图像平坦区域噪声与信号的比值。选取图2(a)左上角黑色区域作为平坦区域，计算信噪比值，结果如表1所示。可以看出，利用二阶总广义变分正则化方法只对高频信息图像超分辨率重建，信噪比值基本没有发生变化，而常规超分辨率重建后的图像信噪比有明显提升，这也和图像的清晰程度相吻合。

表1 低频区域信噪比值

为了进一步量化评价超分辨率重建前后对定标精度的影响，对两种方法超分辨率重建后的图像进行下采样获取与原来低分辨率图像尺寸一致的图像(图2(a)，大小2 826×804像素)，将该图像与原来对应的低分辨率图像(图2(a))进行对比分析，主要统计超分辨率重建前后图像灰度值变化的绝对误差情况，结果如表2所示。

表2 像素值变化情况 %

从表2可以发现，常规意义下的超分辨率重建后数据变化的绝对误差小于10%的占整个像素的76.54%和91.19%，而只对高频信息图像灰度值进行超分辨率重建的话，绝对误差小于10%的占整个像素的87.42%和97.24%。对比表1平坦区域的信噪比变化情况，只对高频信息图像灰度值进行超分辨率重建后的灰度值变化主要集中在高频信息区域。

下面再将上述的两幅图像进行简单线性回归，计算其回归参数，观察两者是否具有简单线性关系，见表3。表3中的k表示斜率，b表示截距。

表3 线性拟合参数

从表3的线性拟合参数值可以看出，只对高频信息灰度值进行超分辨率重建，超分辨率重建前后数据的线性回归斜率参数k非常接近于1，截距参数b非常接近于0，而且比常规意义下的超分辨率重建更加接近于1和0。再一次说明只对高频信息灰度值进行超分辨率重建后的数据只有较小数量发生变化，大部分数值并没有变化。另外，测试图像数据具有稀疏性的特点，这也是常规意义下超分辨率重建后数据变化也相对不大的原因，但是相对于对高频信息灰度值进行超分辨率重建的数据还是变化得多些。

6 结束语

针对红外遥感图像数据具有辐射保真要求的一个实际问题，笔者利用双边滤波器的数学原理，将图像数据中的高频信息和低频信息进行分离，仅通过对高频信息部分的超分辨率重建的方式，在辐射保真的同时也提高了图像的清晰度。 实验验证和定量化分析表明，这种方法对辐射定标精度的影响要小于常规意义下的超分辨率重建的影响。 但一般遥感图像在超分辨率重建过程中存在点扩散函数的估计问题，需要研究较为精确的方法才能取得更理想的效果。