基于反卷积的手机屏下成像图像恢复

王晓娜，黄宇然，匡翠方,2*，李海峰，刘 旭

基于反卷积的手机屏下成像图像恢复

王晓娜1†，黄宇然1†，匡翠方1,2*，李海峰1，刘 旭1

1浙江大学光电工程学院，现代光学仪器国家重点实验室，浙江 杭州 310027；2浙江大学宁波研究院，浙江 宁波 315100

随着全面屏手机的发展，手机屏下成像的研究应运而生。但由于手机屏幕存在电路走线和其他不透明部分，光通过屏幕会产生衍射，降低成像结果的图像质量，本文从图像复原的角度，对屏下相机拍摄的图像进行恢复。通过测量得到手机成像系统的点扩散函数(PSF)，利用测得的PSF，对图像进行反卷积处理。本文改进了传统的反卷积方法，对原始图像进行颜色空间转换，然后对不同的通道分别处理。相较于传统反卷积方法，改进后的反卷积方法得到的处理结果在结构相似度(SSIM)、峰值信噪比(PSNR)等指标上都有提高，运行时间更短。在分通道反卷积之后，使用非局部平均算法进行去噪处理，进一步提高了屏下图像的质量。

反卷积；去噪；屏下成像；图像复原

1 引 言

自从全面屏手机的概念提出以来，各手机厂商在手机屏占比这一参数的竞争上越来越趋向于白热化，随着屏下指纹实现，手机边框收窄，目前手机屏占比已经超过95%。然而，手机前置摄像头仍需占用一定的空间，限制了手机屏占比的进一步提高。要继续提高屏占比、实现真正的全面屏，其根本方法是将手机前置摄像头置于屏幕之下，实现手机屏下成像。手机屏下成像主要难点在于，摄像头位于手机屏幕下方，为满足手机屏幕的显示功能，屏幕中存在电路走线和其他不透明部分，这些部分产生的狭缝使光通过的时候发生衍射，影响到最终成像的图像质量。

为提高屏下成像的图像质量，目前主要有两种方法：其一是从硬件的角度考虑，对前置摄像头附近屏幕的材质、走线等进行特殊设计，降低走线及其他遮挡部分的占比，减少狭缝数量，从而降低甚至消除衍射影响；其二是从软件算法的角度出发，通过图像处理的方法提高已经拍摄的图像的质量。本文中采用了后一种方法，也即从算法的角度对手机屏下图像进行分析和处理。

手机屏下图像处理是一个典型的图像复原问题，反卷积是其中最为常见的方法，可以按照系统的点扩散函数(point spread function, PSF)未知和已知分为两种。点扩散函数未知时候，使用盲反卷积图像复原算法[1-2]，通过迭代恢复，计算新的点扩散函数和图像，使点扩散函数和图像的估计值都在迭代过程中逐步接近真实值，最后达到收敛。该复原算法虽然可以在没有先验知识的情况下，同时迭代恢复出点扩散函数和原始图像，但计算量大，迭代恢复时间长，而且较依赖初始估计的点扩散函数，因此在点扩散函数可测量的情况下，一般不会使用。而在点扩散函数已知的情况下，图像复原可以看成图像卷积模糊的逆过程。

由于噪声的存在，直接逆滤波[3]复原得到的效果很差，因此，研究者们提出了各种新的方法：维纳滤波[4]，二十世纪四十年代由Wiener提出，是一种以最小平方为最优准则的线性滤波器，应用于图像上可使原始图像和复原图像之间的均方误差最小化；Lucy-Richardson算法[5-6]，二十世纪七十年代由Richardson和Lucy分别提出，是一种基于贝叶斯理论的迭代算法[7]，后又有研究者对传统的Lucy-Richardson提出了进一步改进算法，将多张图像融合反卷[8-9]和快速反卷[10]等算法；约束最小二乘滤波复原[11]，是一种以平滑度为度量的图像复原，在一定约束条件下，寻找符合某个平滑准则的最优解，其中拉普拉斯平滑准则是最常用的平滑准则。

近年来，深度学习也为图像恢复提供了一个新的方向，Ronneberger等人[12]对传统的卷积神经网络(CNN)进行改进，提出的U-net模型有效地抑制了传统卷积神经网络的过拟合现象；Dong等[13-14]提出的超分辨卷积神经网络(SRCNN)，利用双三次插值和稀疏编码对网络结构优化，使输出结果更加理想；Goodfellow等[15]提出的生成对抗网络(GAN)，在图像恢复领域也获得广泛应用，如Christian等人[16]在前人研究的基础上，提出了一种新的衡量图像恢复结果的感知函数，获得了比传统方法更好的恢复结果；Peng等人[17]将GAN与U-net结合，实现了对单透镜大视场成像图像的恢复。

虽然深度学习在图像恢复领域取得了一定成果，但其网络训练过程需要大量数据集，对场景的针对性过强，且对硬件要求较高，运行时间长，不能满足手机拍摄的实时性要求。基于图像复原效果和算法的实时性综合考虑，本文采取了约束最小二乘滤波方法对屏下图像进行反卷积处理。

反卷积无法消除图像中的噪声，因此还需单独去噪处理，在保证图像清晰度的同时，降低噪声。本文去噪算法采取了利用图像冗余信息的思路，在三维块匹配(BM3D)算法[17]和非局部平均(non-local means, NL-means)算法[18]中，考虑到BM3D复杂度过高，不满足实时性要求，同时结合实际图像处理效果上BM3D易振铃的现象，本文采用了NL-means算法进行反卷积后的去噪。

2 基本原理

2.1 反卷积算法

本文使用的约束最小二乘滤波方法采用图像二阶微分(由拉普拉斯算子得到)作为最小准则函数[20]，即：

根据图像退化的基本模型，在计算过程中，约束条件为

由此可得，约束最小二乘滤波的复原公式为

2.2 非局部均值去噪算法

传统的图像去噪方法主要是在空间域和变换域滤波，例如各种线性和非线性滤波器、小波变换等，这些方法不可避免地要损失一些有用信息，造成清晰度下降等问题。本文采用了一种基于图像的自相似性的非局部平均算法(NL-means)[18]，这种算法根据局部图像结构相似程度确定像素平滑滤波的加权系数，并利用图像中的冗余信息去噪。

NL-means算法2005年由Buades等人提出，其去噪过程可以用下式表示：

考虑到实时性的要求，无法对图像中每个像素点进行对比并求出权重，因此除邻域窗口外还引入了搜索窗口的概念。邻域窗口只在一定大小的搜索窗口内滑动，搜索窗口随待去噪的像素点滑动。这样算法的运行时间就与搜索窗口的大小有关，缩短了运行时间。但直接计算仍旧计算量较大，无法达到实时性要求。为缩短运行时间，本文采用积分图像法[21-23]，简化了每次计算权重时遍历邻域内的像素求差值的过程，其构建求差值的积分图像能显著缩短计算所需时间。

2.3 图像质量评价参数

对处理后图像的评价，本文使用了两个常用的图像质量评价客观指标，分别是结构相似度(structural similarity，SSIM，用SSIM表示)和峰值信噪比(peak signal-to-noise ratio，PSNR，用PSNR表示)。结构相似度(SSIM)是衡量两幅图像相似度的指标，其计算式[24]：

3 实验装置和算法流程

3.1 测定点扩散函数的实验装置

相较于盲反卷积算法，在点扩散函数已知的情况下进行反卷积计算，无需同时对图像和点扩散函数进行迭代，图像复原的速度较快。因此在点扩散函数可测的情况下，首先对点扩散函数进行测量。

点扩散函数是理想点光源经过光学系统成像后输出的光场分布。理想点光源在实际中并不存在，若光源在图像传感器上成像大小小于一个像素，可以将该光源认作点光源。本实验使用的镜头组中，图像传感器像素大小为0.7mm´0.7mm，焦距为3.82 mm，镜头组固定物距为35 cm，根据透镜成像公式计算可知，只要光源直径小于640mm，即可被视为点光源。本文选用光纤耦合LED(fiber-coupled LED，索雷博公司，MCWHF2)，将LED发出的光耦合到芯径为50mm的光纤(fiber)中，以光纤发出的光作为光源，满足实验中等效点光源的要求。

测量PSF时，将待测手机和光源置于暗室中光学平台上，调整位置，使点光源在图像传感器上成像位于视场中心处，固定手机和点光源的位置，拍摄得到点扩散函数。反卷积对噪声非常敏感，而其中点扩散函数的噪声对恢复结果影响更大，但由于点扩散函数可以提前标定后储存在手机中，通过多张图平均的方法去除拍摄过程中的随机噪声。本研究在拍摄点扩散函数过程中，就采用了连续拍摄多张取平均值以减少噪声影响的方法。

测量点扩散函数装置示意图如图1所示，测量得到的点扩散函数应用于反卷积中。

3.2 算法流程

手机拍摄形成的彩色图，是通过拜尔滤色阵列将RGB三色的滤光片以RGGB排列置于图像传感器上方得到，其排列方式如图2(b)所示。

在反卷积过程中，传统的方式是将图像分为RGGB四个通道，使用相应通道的点扩散函数分别对每个通道进行反卷积处理，最后合成彩色图像。但由于手机的图像传感器的噪声较高，经过反卷后噪声的影响更大，而传统的去噪方法会对高频信息产生破坏，使反卷积恢复的图像产生严重的振铃效应[25-26]。本文使用颜色通道转换的方法，将图像从RGB颜色空间转换为YCrCb空间[27]，其中，Y表示亮度信息，Cr、Cb分别表示色调和饱和度，也即颜色信息。图像清晰度主要受亮度信息影响，因此只需要对Y通道进行反卷积处理，为了进一步降低噪声影响，也同时对Cr、Cb通道进行高斯滤波处理降低噪声，将处理后的YCrCb转化回RGB颜色空间，形成传统的彩色图。

使用反卷积处理后显著地提高了清晰度，但它在恢复图像细节的同时，也对噪声进行了放大。由于去噪算法会影响高频信息，若将其置于反卷积之前，会影响反卷积效果，本文将去噪算法放在反卷积之后，如图2，然后采用NL-means算法，进一步削减反卷积后图像的噪声水平，提高图像质量。

图1 点扩散函数(PSF)标定装置

图2 反卷积过程的颜色处理。(a) 颜色空间转换流程图；(b) 拜尔滤色阵列三色滤光片RGGB排列示意图

4 仿真结果及分析

4.1 不同噪声水平图像的处理结果及分析

根据2.1所述图像退化模型，将参考图像(reference) (图3(a))与使用3.1中方法拍摄得到的点扩散函数卷积，然后加入高斯噪声，得到退化后的模糊图像(blurred image)。当加入噪声的标准差()为0.03时，退化得到的模糊图像如图3(b)所示，对图3(b)使用传统反卷积(traditional deconv，T-dec)处理后的结果如图3(c)所示，而使用本文中提出的分通道方法(sub-channel deconv，S-dec)，也即图2(a)所示的流程图，其结果如图3(d)所示。从下方放大图中可以看出，使用分通道反卷积处理后的结果噪声水平更低、图像质量更好。

当加入噪声的标准差为0.06时，退化得到的模糊图像如图3(e)所示，对图3(e)使用传统反卷积处理后的结果如图3(f)所示，使用分通道方法处理后的结果如图3(g)所示。从下方放大图中可以看出，加入的噪声水平更高后，退化后的模糊图像质量更差，但是对比图3(f)和图3(g)可以看出，本文中分通道的结果仍旧取得了优于传统反卷积的效果。

图3(h)表示图像峰值信噪比(PSNR)随着我们在退化模糊图像中加入的噪声水平增加而变化的曲线，其中横坐标为在图像退化过程中加入模糊图像中噪声的标准差()，纵坐标为图像相对于参考图像计算的PSNR，其中蓝色曲线表示退化后的模糊图像，红色曲线表示使用传统反卷积处理后的结果，橙色曲线为本文中的分通道方法。从曲线中可看出，在噪声水平较低的情况下，分通道方法和传统方法的处理结果基本相当，但随着加入噪声水平的提高，分通道方法的优势越发凸显出来，使用分通道方法可以得到更高的信噪比。图3(i)表示图像的结构相似性(SSIM)随着噪声水平变化曲线，其中横坐标为加入模糊图像标准差，纵坐标为SSIM。其中蓝色曲线表示模糊图像，红色曲线表示传统反卷积方法，橙色曲线为本文中分通道反卷积方法，从曲线中可看出，随着加入噪声水平的提高，分通道反卷积方法处理后的结果能取得比参考图更高的相似度。从图3(h)、3(i)可看出，在噪声水平较低的情况下，分通道方法和传统方法的效果基本相同；但随着噪声水平的提高，分通道方法的优势越发明显。而由于手机图像传感器的质量限制，其捕获的图像中必然具有较高的噪声水平，可见本文的分通道方法在处理手机屏下成像中具有明显的优势。

4.2 不同场景下的图像处理结果及分析

为确定分通道反卷积方法的适用性，更进一步选用了各种不同场景下的图像样本作为参考图像，如图4第一列所示。将参考图像与拍摄得到的点扩散函数卷积，然后加入标准差为0.06的高斯噪声，得到退化后的模糊图像，如图4第二列所示。传统反卷积后的结果如图4第三列所示，而使用本文中提出的分通道方法处理后结果如图4第四列所示，使用NL-means算法对分通道反卷积处理后的结果进一步去噪后的结果如图4第五列所示。

图3 不同噪声水平图像分别使用传统反卷积和分通道反卷积的处理结果。(a) 参考图像；(b) 参考图(a)与测得PSF卷积后加入标准差为0.03高斯噪声后的退化模糊图像；(c) 图(b)经过传统反卷积方法恢复后的结果；(d) 图(b)经过分通道反卷积方法恢复后的结果；(e) 参考图(a)与测得PSF卷积后再加入标准差为0.06高斯噪声后的退化模糊图像；(f) 图(e)经过传统反卷积方法恢复后的结果；(g) 图(e)经过分通道反卷积方法恢复后的结果；(h) 图像峰值信噪比随着加入噪声标准差增加变化曲线；(i) 图像的结构相似性随着加入噪声标准差增加变化曲线

图4 仿真处理结果。第一列为参考图像；第二列为退化后的模糊图像；第三列为传统反卷积方法恢复结果； 第四列为本文中提出的分通道反卷积方法处理结果；第五列为分通道反卷积之后去噪结果

以图4中的第一列为参考图像，得到处理后图像的SSIM、PSNR以及运行时间，如表1所示。从图4和表1中可以看出，在不同亮度和不同对比度的情况下，相较于传统的反卷积方法，本文提出的分通道反卷积方法都取得了更高的结构相似度和峰值信噪比。这表明使用分通道反卷积的恢复方法得到的结果更贴近于退化前的参考图像。并且，如表1所示，分通道反卷积方法运行时间更短，几乎为传统反卷积方法的三分之一。

为进一步提高SSIM和PSNR，使用了NL-means方法对分通道反卷积后的图像进行去噪处理，处理后的结果如图4第五列所示，在主观视觉感受上噪声水平得到了较大的抑制，如表1所示，去噪后图像的SSIM和PSNR水平也有一定的提升。

5 实验结果

按照图2(a)所示的流程图，对手机屏下摄像头拍摄的实际图像进行反卷积和去噪处理。对分辨率测试卡拍摄图像的处理效果如图5所示，图片下方的红色框图为大图中红色框选区域的细节展示。其中，图5(a)为手机屏下摄像头拍摄得到的分辨率测试卡的原始图像，图5(b)为使用传统反卷积方法处理后的结果，图5(c)为使用分通道反卷积方法处理后的结果，对比图5(b)和图5(c)可以看出，相对于传统的反卷积方法，分通道反卷积处理后的结果对噪声具有更强的抑制作用，同时可以避免彩噪；对比图5(a)和图5(c)可以看出，经过分通道反卷积之后，图像的清晰度得到了很大的提升。图5(d)为分通道反卷积后使用NL-means算法进行进一步处理的结果，可以看到，对比图5(c)中分通道反卷积直接处理后的结果，图5(d)中经过NL-means算法处理后的图像噪声得到了极大的抑制，同时相较于图5(a)中屏下拍摄的原始图像，其通过反卷积提高的清晰度也得到了保持。

表1 仿真图像的处理结果比较

图5 分辨率板的处理结果。(a) 屏下原始图像；(b) 传统反卷积处理后结果；(c) 本文的分通道反卷积之后清晰度提高的图像；(d) 对分通道反卷积结果去噪后的图像

图6显示了对屏下拍摄的盆景的处理结果，其中，图6(a)为手机屏下摄像头拍摄盆景得到的原始图像，图6(b)为经过传统反卷积方法处理后的盆景图像，图6(c)为分通道反卷积处理后的结果，图6(d)为对分通道反卷积结果进一步去噪的结果。对比图6(b)和图6(c)可以看出，相较于传统反卷积，本文的分通道反卷积方法在保证恢复细节的同时，对噪声有更好的抑制作用。由于去噪算法是对高频信息进行处理，不可避免地会对图像的细节产生一定的负面影响，但对比图6(c)和图6(d)中可以看出，NL-means算法很好地保持了反卷积恢复得到的细节部分，这证明在细节较多的图像区域，本文的方法同样很好地提高了图像质量。

图6 盆景的处理结果。(a) 屏下原始图像；(b) 传统反卷积处理后结果；(c) 本文的分通道反卷积之后清晰度提高的图像；(d) 对分通道反卷积结果去噪后的图像

6 结 论

本文使用了一种分通道反卷积的方法，对手机屏下图像进行处理，相较于传统反卷积方法，分通道反卷积在SSIM和PSNR方面都有提高，并且极大地缩短了运行时间，满足了手机成像的实时性要求。并且，使用NL-means算法对反卷积之后的噪声进行进一步抑制，在保证清晰度的同时，降低了图像噪声，极大地提高了屏下成像的图像质量。本文所使用的分通道反卷积和去噪处理相结合的手段，提供了一种可行的屏下成像图像恢复方法，具有广阔的应用前景。

[1] Holmes T J. Blind deconvolution of quantum-limited incoherent imagery: maximum-likelihood approach[J]., 1992, 9(7): 1052–1061.

[2] Fish D A, Brinicombe A M, Pike E R,. Blind deconvolution by means of the Richardson–Lucy algorithm[J]., 1995, 12(1): 58–65.

[3] Tugnait J K. Identification and deconvolution of multichannel linear non-Gaussian processes using higher order statistics and inverse filter criteria[J]., 1997, 45(3): 658–672.

[4] Wiener N.,,:[M]. Cambridge: MIT Press, 1964: 1043–1054.

[5] Richardson W H. Bayesian-based iterative method of image restoration[J]., 1972, 62(1): 55–59.

[6] Lucy L B. An iterative technique for the rectification of observed distributions[J]., 1974, 79: 745.

[7] Bayes. An essay towards solving a problem in the doctrine of chances[J]., 2003, 8(4): 80–88.

[8] Ingaramo M, York A G, Hoogendoorn E,. Richardson–lucy deconvolution as a general tool for combining images with complementary strengths[J]., 2014, 15(4): 794–800.

[9] Preibisch S, Amat F, Stamataki E,. Efficient bayesian-based multiview deconvolution[J]., 2014, 11(6): 645–648.

[10] Guo M, Li Y, Su Y J,. Rapid image deconvolution and multiview fusion for optical microscopy[J]., 2020, 38(11): 1337–1346.

[11] Dines K, Kak A. Constrained least squares filtering[J].,,, 1977, 25(4): 346–350.

[12] Ronneberger O, Fischer P, Brox T. U-Net: convolutional networks for biomedical image segmentation[C]//, Munich, Germany, 2015: 234–241.

[13] Dong C, Loy C C, He K M,. Learning a deep convolutional network for image super-resolution[C]//, Zurich, Switzerland, 2014: 184–199.

[14] Dong C, Loy C C, He K M,. Image super-resolution using deep convolutional networks[J]., 2016, 38(2): 295–307.

[15] Goodfellow I J, Pouget-abadie J, Mirza M,. Generative adversarial networks[EB/OL]. (2014-06-10)[2020-08-07]. https://arxiv.org/abs/1406.2661.

[16] Ledig C, Theis L, Huszár F,. Photo-realistic single image super-resolution using a generative adversarial network[C]//, Honolulu, USA, 2017: 105–114.

[17] Peng Y F, Sun Q L, Dun X,. Learned large field-of-view imaging with thin-plate optics[J]., 2019, 38(6): 219.

[18] Dabov K, Foi A, Katkovnik V,. Image denoising by sparse 3-D transform-domain collaborative filtering[J]., 2007, 16(8): 2080–2095.

[19] Buades A, Coll B, Morel J M. A non-local algorithm for image denoising[C]//, San Diego, USA, 2005.

[20] Gonzalez R C, Woods R E, Eddins S L.[M]. Ruan Q Q, Ruan Y Z, trans. 2nd ed. Beijing: Publishing House of Electronics Industry, 2003: 42–46.

冈萨雷斯 R C, 伍兹 R E, 艾丁斯 S L. 数字图像处理[M].阮秋琦, 阮宇智, 译. 2版. 北京: 电子工业出版社, 2003: 42–46.

[21] Wang J, Guo Y W, Ying W T,. Fast non-local algorithm for image denoising[C]//, Atlanta, USA, 2016: 1429–1432.

[22] Froment J. Parameter-free fast pixelwise non-local means denoising[J]., 2014, 4: 300–326

[23] Lin Z, Song E M. A fast non-local means algorithm based on integral image and reconstructed similar kernel[J]., 2018, 10609: 106091L.

[24] Wang Z, Bovik A C, Sheikh H R,. Image quality assessment: from error visibility to structural similarity[J]., 2004, 13(4): 600–612.

[25] Jiang J, Huang J N, Zhang G J. An accelerated motion blurred star restoration based on single image[J]., 2017, 17(5): 1306–1315.

[26] He T, Hu J, Huang H Q. Hybrid high-order nonlocal gradient sparsity regularization for Poisson image deconvolution[J]., 2018, 57(35): 10243–10256.

[27] MacAdam D L. Projective transformations of I. C. I. color specifications[J]., 1937, 27(8): 294–299.

Image restoration of mobile phone under-screen imaging based on deconvolution

Wang Xiaona1†, Huang Yuran1†, Kuang Cuifang1,2*, Li Haifeng1, Liu Xu1

1State Key Laboratory of Modern Optical Instrumentation, College of Optical Science and Engineering,Zhejiang University, Hangzhou, Zhejiang 310027, China;2Ningbo Research Institute, Zhejiang University, Ningbo, Zhejiang 315100, China

Resolution board processing results. (a) Under-screen original image; (b) Restored image after traditional deconvolution; (c) Denoising image after sub-channel deconvolution

Overview:With the development of full-screen mobile phones, the need for under-screen imaging of mobile phones has emerged. However, the diffraction caused by the wiring and other opaque parts will affect the image quality of the under-screen image. In this article, under-screen image is restored from the perspective of image restoration. The point spread function (PSF) of the mobile phone imaging system is obtained through actual measurement, and the image is deconvolved using the measured PSF. Traditional deconvolution method has been improved in this article. In deconvolution process, the traditional and common way is to divide the image into different color channels, use the PSF of the corresponding channel to deconvolve each channel, and finally synthesize the color image. Because the high noise of the image sensor of the mobile phone has a destructive effect on the deconvolution algorithm, one need to reduce the noise of the image. The traditional denoising method will destroy the high-frequency information and cause serious ringing effect on the image restored by deconvolution. In this article, we propose a new solution to this problem: convert the blurred image from RGB color space to YCrCb space, where Y represents brightness information; Cr and Cb represent hue and saturation, respectively. Image clarity is mainly affected by brightness information, so only the Y channel needs to be deconvolved, whose noise level is lower than any of the RGB channels. In order to further reduce the influence of noise, Cr and Cb channels are processed by Gaussian filtering to reduce noise. Finally, the processed image is converted back to RGB color space to form a traditional color image. Compared with traditional deconvolution method, the results of the sub-channel deconvolution method have improved structural similarity (SSIM), peak signal-to-noise ratio (PSNR) and other indicators, and the required running time is shortened by almost three times. After sub-channel deconvolution, the sharpness of the image has been greatly improved. In order to further improve the quality of under-screen image, the non-local averaging algorithm is used to denoise the image after the sub-channel deconvolution, which finds similar image blocks in the same image to average, and redundant information in the image is used to remove noise. Furthermore, the integral image method is used to shorten the running time to meet the real-time requirements in mobile phone photography. The visual perception of the image has been better improved, and both PSNR and SSIM have been further improved after denoising.

Wang X N, Huang Y R, Kuang C F,Image restoration of mobile phone under-screen imaging based on deconvolution[J]., 2021, 48(6): 200423; DOI:10.12086/oee.2021.200423

Image restoration of mobile phone under-screen imaging based on deconvolution

Wang Xiaona1†, Huang Yuran1†, Kuang Cuifang1,2*, Li Haifeng1, Liu Xu1

1State Key Laboratory of Modern Optical Instrumentation, College of Optical Science and Engineering, Zhejiang University, Hangzhou, Zhejiang 310027, China;2Ningbo Research Institute, Zhejiang University, Ningbo, Zhejiang 315100, China

With the development of full-screen mobile phones, the need for under-screen imaging of mobile phones has emerged. However, the diffraction caused by the wiring and other opaque parts will affect the image quality of the under-screen image. In this article, under-screen image is restored from the perspective of image restoration. The point spread function (PSF) of the mobile phone imaging system is obtained through actual measurement, and the image is deconvolved using the measured PSF. In this article, traditional deconvolution method has been improved, in which the color space of the image is converted and different channels are processed separately. Compared with the traditional deconvolution method, the results of the sub-channel deconvolution method have improved structural similarity (SSIM), peak signal-to-noise ratio (PSNR) and other indicators, and the required running time is shorter. After sub-channel deconvolution, the non-local averaging algorithm is used for denoising, which further improves the quality of the under-screen image.

deconvolution; denoising; under-screen imaging; image restoration

王晓娜，黄宇然，匡翠方，等. 基于反卷积的手机屏下成像图像恢复[J]. 光电工程，2021，48(6): 200423

Research and Development Project of Major Scientific Research Instruments of National Natural Science Foundation of China (61827825)

TN911.73；TP391

A

10.12086/oee.2021.200423

2020-11-16；

2021-01-21

国家自然科学基金重大科研仪器研制项目资助(61827825)

王晓娜(1996-)，女，硕士研究生，主要从事手机屏下成像恢复方面的研究。E-mail：3140104546@zju.edu.cn

黄宇然(1998-)，男，博士研究生，主要从事手机屏下成像恢复方面的研究。E-mail：3160105148@zju.edu.cn

†同等贡献作者

匡翠方(1977-)，男，博士，教授，博士生导师，主要从事超分辨荧光成像、生物医学光子学、光电检测等方面的研究。E-mail：cfkuang@zju.edu.cn。

Wang X N, Huang Y R, Kuang C F,Image restoration of mobile phone under-screen imaging based on deconvolution[J]., 2021, 48(6): 200423

* E-mail: cfkuang@zju.edu.cn