基于偏振图像与粗糙深度图的形状重建*

周梦园，杨奋林

(吉首大学数学与统计学院，湖南 吉首 416000)

偏振重建是X光线恢复形状的重要方法，其因不依赖光照、对目标物材料要求低且有实现高精度重建潜力等，广泛应用于医学和文物数字化复原等领域.然而，偏振重建过程中存在的方位角歧义，会导致重建的形状翻转，使得重建结果的准确性不高[1-2].深度相机问世后，其深度质量的提升成为研究热点.目前，深度相机所生成的粗糙深度图的几何形状虽较精准，但仍存在一定的噪声和高频模糊[3]，致使重建表面粗糙，缺乏细节.因此，偏振或粗糙深度单一模态下很难满足高精度重建要求.于是，众多学者探究了粗糙深度图与偏振图像的融合重建[4-7]，开启了新思路.

不同于文献[5-7]中的深度相机，本研究选用Realsensed435i深度相机获取粗糙深度图，选用尼康相机外加偏振镜来获取偏振图像.由于偏振重建物体部分表面法向量的方位角存在π歧义，因此可利用深度图在低频较准确的特点对偏振法线进行校正[5].笔者拟计算粗糙深度图法线与偏振法线，使用阈值分割法将偏振法线的歧义部分进行分离并校正;为了增强深度质量，采用以深度约束为拟合项、偏振法线约束为光滑项的罚函数法进行融合重建.

1 法线计算

1.1 深度图计算法线

选用Realsensed435i深度相机获取M×N像素大小的粗糙深度图D∈RM×N.首先，将粗糙深度图的像素坐标转换为世界坐标，即在(x，y)坐标处的深度值可写成一个真实世界坐标的点云:

(1)

Q=(Px，y，Px1，y1，…，Pxk，yk)T.

(2)

1.2 偏振图像计算法线

根据偏振成像原理，偏振强度图像I可以写成

其中：αp为偏振镜旋转的角度，是已知变量;Imax，Imin和φp分别为最大亮度值、最小亮度值及方位角，是未知变量.对图像I进行正弦波分解时，可用方位角φp、偏振度ρ及天顶角θp对图像作参数化，其中

(3)

(4)

这里S0，S1，S2为Stockes向量的分量.求解参数ρ和φp需要3个或3个以上偏振角度的光强信息，因此笔者选取0°，45°，90°，135°这4个角度的偏振图[11]进行求解.若只考虑漫反射，则(x，y)位置的偏振度ρx，y、天顶角θpx，y及折射率n有如下关系:

(5)

其中折射率n=1.5，天顶角θp可通过分步式方法[5]计算.由(3)～(5)式最终可得偏振法线Npol=(cosφpsinθp，sinφpsinθp，cosθp)T.需要注意的是，由(4)式求解出的方位角会有π歧义，这会导致部分位置偏振法线的方向发生旋转.在产生π歧义的部分，因粗糙深度计算的法线方向更接近准确值，故需要用粗糙深度计算的法线Nd对偏振法线Npol进行校正.

1.3 深度校正偏振法线

众所周知，偏振获取的法线方向具模糊性，即方位角有2个取值，从而计算的法线也对应2个值:

其中φp2与φp1对应像素的值相减等于π.为了获取高质量的偏振法线，需要以深度信息作为先验来校正偏振法线，校正模型如下:

(6)

(7)

2 融合重建

采用中深度约束作拟合项、偏振法线约束作光滑项的罚函数方法实现融合重建[12]，该方法的离散模型如下:

(8)

其中：λ>0，为调节拟合项和光滑项的正则化参数；u为(x，y)处像素点位置；光滑后的深度Db(u)是P(u)的第3个分量；D(u)为未知深度；Nc(u)为偏振校正后的法线.光滑项是由切向量与修正后的偏振法线的垂直关系而得到的，这些切向量可以根据深度写成线性的：

(9)

Dx，Dy∈RM×N分别为D在x和y方向上的导数的有限差分近似.考虑到获取的深度图为均匀离散采样，在选取差分格式近似时，若6邻域均存在，则尽可能使用平滑的中心差分近似:

有邻域不可用的情况下，选用中心差分或向前/后差分近似计算，没有邻域的点将会被剔除.由此，差分近似得到的Dx，Dy每行最多有6个非零值，离散后构建成一个非常稀疏的矩阵.由方程组(9)可知，切向量Tx，Ty与D是线性关系，整幅图像的切向量可以根据深度写成

(10)

(11)

(12)

其中I是MN×MN大小的单位矩阵，O是与I相同大小的零矩阵.

(13)

其中D左边的向量大小为3MN×MN，Db为光滑后的粗糙深度图.对于大型稀疏线性方程组(13)，可用QR求解器有效地求解D.

3 数值实验

本实验选用Intel的Realsensed435i深度相机获取原始粗糙深度图，选用尼康相机外加偏振镜获取偏振图像.使用双边滤波对粗糙深度图进行平滑、双三次插值放大处理，再与高斯滤波后的偏振图像配准，得到的预处理后的图像大小均为256×256(图1).

图1 预处理后的图像

分别用粗糙深度图、偏振计算法线，再用阈值分割法对偏振法线进行校正，结果如图2所示.

图2 法线校正过程

图2(a)为深度计算出的法线，边缘部分有部分空洞，这是由深度相机设备的限制造成的；偏振计算出的法线见图2(b)；图2(c)为深度校正偏振法线时产生的二值算子，图中白色位置对应需要校正的像素点位置，校正后的法线见图2(d).为了对比偏振法线校正前后效果，基于傅里叶变换梯度重建方法[14]对图2(b)和(d)进行重建，抽取Y=150处重建表面的信号线进行对比，结果如图3所示.

图3 法线校正前后对比

由图3可见，校正前物体的重建形状发生了严重扭曲，而经过深度先验校正后，物体表面呈弧形走势，这说明校正后的重建形状接近实验目标物，解决了偏振重建形状翻转的问题.理想状态下，本实验重建结果信号线应为规正圆弧，而实际校正后信号线发生了一定程度的扭曲，其原因是偏振求解法线时仅考虑漫反射分量，未考虑镜面反射分量，导致小范围误差.

通过阈值分割法得到校正后的法线，再将深度与校正后的法线进行融合重建.深度图重建结果如图4(a)所示，从中可以看出，目标物重建后整体几何效果好，但表面粗糙缺乏细节；融合重建结果如图4(b)所示，从中可以看出，目标物融合重建后表面光滑，几何形状较好.

图4 融合前后重建对比

为了比较融合效果，分别抽取深度重建、偏振重建及融合重建在Y=150处的信号线，如图5所示.图5中：实线表示深度重建，其表面高频部分波动频率大且无规则，恢复的细节不明显;点线表示偏振重建，其表面相对于深度重建较光滑，但几何形状效果不好;短横线表示融合重建，其与深度重建相比表面较光滑，与偏振重建相比几何形状更接近目标物.

图5 融合前后信号线对比

由图4，5可见：深度重建的几何形状接近目标形状，但表面粗糙；偏振重建的几何形状扭曲程度大，但表面光滑度高于深度重建；融合重建的几何形状更加符合圆弧趋势，且表面光滑度优于深度和偏振重建.本研究通过罚函数优化方法构造大型过约束稀疏线性方程组，并利用最小二乘求解解决了深度重建在高频细节上表现不足及偏振重建在几何上扭曲的问题.

4 结语

多传感器图像间融合的难点之一是视场的统一，需要将对应点的像素对齐，这就需要进行插值或放缩操作.针对粗糙深度图的噪声，笔者选取的是双边滤波器，它既可以保持图像光滑，又不损坏边缘信息.针对偏振图像低频区域方位角不准确的问题，利用粗糙深度图的法线进行校正.在校正法线时，采用图像分割中的阈值分割法，对每个像素点的偏振法线与深度法线之间的夹角关系设定阈值，并纠正前景对应像素的值.最后构建含深度、偏振约束的能量泛函，用最小二乘法求解，实现偏振与深度信息融合重建，有效地结合了粗糙深度图的几何优势与偏振图像的细节优势.

本研究是在自然光下而不是特定光源下实现融合重建，虽然只考虑漫反射下的偏振信息，使得校正法线后的偏振重建形状仍有一定的偏差，但是该偏差对融合结果影响较小.未来将设计镜面/漫反射混合情况下的融合模型，同时考虑优化最小二乘形式，以进一步提高精度.