对称照明在傅里叶叠层成像中的应用∗

张雷雷 唐立金 张慕阳 梁艳梅

1)(南开大学现代光学研究所,光学信息技术科学教育部重点实验室,天津 300350)2)(中国洛阳电子装备试验中心,光电测试与评估技术重点实验室,洛阳 471003)

对称照明在傅里叶叠层成像中的应用∗

张雷雷1)2)唐立金1)张慕阳1)梁艳梅1)†

1)(南开大学现代光学研究所,光学信息技术科学教育部重点实验室,天津 300350)2)(中国洛阳电子装备试验中心,光电测试与评估技术重点实验室,洛阳 471003)

(2017年3月10日收到;2017年8月19日收到修改稿)

傅里叶叠层成像技术是一种全新的能够恢复出大视场下高分辨率图像的技术,而较长的采样时间限制了傅里叶叠层成像的实际应用.本文阐述了一种利用对称照明提高傅里叶叠层成像速度的方法,研究了傅里叶叠层成像在空域和频域上的对称性,指出在不考虑相位的情况下,利用对称照明可提高照明强度,减少傅里叶叠层成像所需要的图像数,同时可以提高傅里叶叠层成像图像重建的速度.实验表明使用对称照明可以在不改变算法复杂性的前提下,得到与传统傅里叶叠层成像同样的高分辨率,且所需的图像数减少约50%,采样时间减少约70%,图像重建时间减少约50%.基于对称照明的方法将促进傅里叶叠层成像技术在实时成像中的应用.

对称照明,傅里叶叠层成像,图像重建

1 引 言

傅里叶叠层成像技术(Fourier ptychography,FP)是近几年发展起来的一项全新的用于恢复样品高分辨率强度和相位的技术[1−11].FP使用简单的设备和简练的算法,实现了样品大视场条件下的高分辨成像,同时可进行三维重聚焦[12,13].FP系统将传统显微镜中的照明系统替换为一个可编程控制的发光二极管(LED)阵列,依次点亮各LED产生不同方向的照明光,对样品频谱产生不同程度的迁移,并记录在一系列低分辨图像中.对这些低分辨图,通过频域和空域的迭代更新,重建出更丰富的样品频谱信息.最后,经逆傅里叶变换得到样品的高分辨率强度图和相位图.FP解决了物镜数值孔径对分辨率的限制,使得低数值孔径的物镜也能得到高分辨率.

限制FP速度的主要因素是较多的低分辨图像数量和较低的LED强度导致的电荷耦合器(CCD)较长的曝光时间[1].为了提高FP的速度,国内外学者进行了大量的研究.传统FP需要对同一LED采集多个不同曝光时间的低分辨率图像,然后进行高动态范围合成,Dong等[14]将稀疏采样引入FP,通过一个模板剔除低分辨率图像中过曝光和过暗的像素,将传统FP图像数从多于445幅减少到225幅.Bian等[15]提出了基于内容的自适应照明方式,筛选出傅里叶频谱中信息最丰富的区域对应的低分辨率图像,利用FP重建高分辨率图像,可以减少30%—60%的采样时间.Zhang等[16]基于内容的自适应照明原理,提出了自学习FP技术,使用低分辨率图像预测频谱信息最丰富的区域,且仅点亮这些区域所对应的LED,可以减少约70%的低分辨率图像.Guo等[17]研究了LED灯板布局对成像效果的影响,并设计了一种非均匀圆形LED照明器,与传统LED阵列相比,可以减少50%的图像数,且能获得更好的恢复效果.这些方法都采用单个灯顺序点亮的方式,仍然受限于LED的亮度.Dong等[18]提出光谱复用和相干态解析方法,通过同时点亮两个相邻的LED,然后对其频谱进行解算,可以减少50%的图像数.使用该原理同时点亮红绿蓝三色LED,可实现黑白相机采集并恢复出高分辨率彩色图像.Tian等提出多路复用照明[19]和计算照明[20]同时随机点亮4—8个LED,然后在迭代过程中将低分辨率图像的强度和频谱进行分解,恢复出高分辨率图像,将FP所需图像数减少到21幅,达到同样的分辨率传统FP需要173幅.上述多灯照明的方法减少了FP所需图像的数目,但恢复过程中需要更多的时间.

经过几年的发展,FP的成像速度得到了很大提高,但仍不能满足实时采样的需求.本文利用FP在空域和频域的对称性,提出了一种对称照明FP(symmetry illumination Fourier ptychography,SFP),在不关注样品相位的情况下,利用对称照明,不仅能够减少FP所需的图像数量,而且能提高照明的亮度.该方法可以直接与其他提高FP速度的方法结合,不增加系统和算法的复杂性.

2 FP中的对称性

2.1 空域对称性

傅里叶叠层成像系统通常包含LED阵列、样品、物镜、筒镜(tube lens)和相机五个部分.本文采用了195 mm共轭的物镜构成的单筒显微镜,因此没有筒镜,系统原理图如图1所示.物镜齐焦距离为45 mm,机械筒长为150 mm.LED阵列与样品的距离远大于系统的成像范围,因此单个LED可以看作相干点光源.LED发出的近似平行光,照射样品,经过物镜的放大,利用相机采集不同角度照明下的样品强度分布.

图1 FP系统原理图Fig.1.Schematic diagram of FPM.

假定LED阵列包含n个LED点源,中心灯的坐标为(n+1)/2.第i个LED对应的波矢为(kxi,kyi),其对样品进行照明时,输出的复振幅分布为

式中Ai(x,y)为第i个LED照明时系统的输出复振幅分布,h(x,y)为系统相干点扩散函数,⊗表示卷积算子,Aobj(x,y)为样品的复振幅分布,ej(kxix+kyiy)表示第i个LED的单位入射平面波.同理,第n−i+1个LED照明时,其输出复振幅分布为

考虑到第i个LED与第n−i+1个LED存在中心对称关系,则

若忽略样品的相位,则样品Aobj(x,y)为一实函数,可以得到

式中,|Ai(x,y)|2=Ii(x,y),|An−i+1(x,y)|2=In−i+1(x,y)分别表示第i个LED和第n−i+1个LED照明时,系统输出的光强.由于CCD只能记录样品的光强,而不能记录相位,因此对称位置的LED照明时,系统采集到的低分辨率图像具有相同的强度分布.图2给出了两组对称照明时的输出强度的对比图.其中图2(a1)和(a2)为输入图像的强度和频谱.图2(b1)和(b2)以及图2(c1)和(c2)为两组对称照明下的输出图像,分别对应于图2(a2)中红色和蓝色的频谱区域.

由于对称位置的两个灯不相干,因此同时点亮时,系统出射强度符合非相干叠加的原理,像的强度是单个LED照明时的两倍.

式中,Ii(n−i+1)(x,y)表示第i个和第n−i+1个LED同时照明时系统输出的强度分布.对于相位特征不明显的薄生物样品,用对称照明能得到相近的强度分布.而且在FP实验中,很容易实现光的对称照明,因此在忽略样品相位、仅考虑其强度分布时,可以通过同时点亮对称的两个灯来减少所需低分辨率图像的数量,并提高照明的强度.

图2 (网刊彩色)对称照明下的强度对比图 (a1)输入图像强度;(a2)输入图像频谱;(b1),(b2)为图(a2)中红色虚线和实线区域对应的低分辨率图;(c1),(c2)为图(a2)中蓝色虚线和实线区域对应的低分辨率图Fig.2.(color online)Comparison of intensity images at symmetry illumination angle:(a1)Input intensity image:(a2)Fourier spectrum of input intensity image;(b1)and(b2)low-resolution images corresponding to the red regions in(a2);(c1)and(c2)low-resolution images corresponding to the blue regions in(a2).

2.2 频域对称性

空域对称性可以用于减少所需图像数,提高照明强度,对称位置的照明在频域也具有对称性.将(1)式和(3)式变换到频域,可以得到

式中Gi(kx,ky)和Gn−i+1(kx,ky)分别表示第i个和第n−i+1个LED照明时系统输出的频谱,H(kx,ky)为相干传递函数,Gobj为样品的傅里叶频谱.可以看出不同位置的LED照明对样品的频谱产生了一定频移.

由于成像系统相当于一个低通滤波器,对于圆形光瞳,相干传递函数可以表示为

式中NA为物镜的数值孔径,k0=2π/λ为空间波矢.在不考虑样品相位的情况下,Aobj(x,y)为一实函数,则其傅里叶变换Gobj具有中心共轭对称性,H(kx,ky)为一实数滤波器,则Gi(kx,ky)和Gn−i+1(kx,ky)关于中心共轭对称,那么两者逆傅里叶变换的强度相等.利用频谱的中心共轭对称性,在FP恢复的过程中,可以仅恢复样品一半的频谱,另一半采用其共轭,这样可以提高FP算法的重建速度.

3 实验与讨论

3.1 模拟实验

利用对称照明的原理,进行了模拟实验,实验参数如下:物镜为4×0.1NA,像元尺寸为4.8µm,采用15×15的LED阵列,LED的中心波长为630 nm,相邻LED的间距为5 mm,样品与LED的距离为78 mm.采用图像“Cameraman”作为输入的样品强度分布,图像初始大小为(256×256)像素,通过插值扩大为(800×800)像素.

首先,考虑空域的对称性.实验中,模拟对称的LED灯进行照明,将两个LED照明时得到的低分辨率图像的强度相加,然后利用FP算法进行重建.实验结果如图3所示.图3(a)为输入的样品强度分布,作为真值;图3(b)为采集到的低分辨率图像;图3(c)和图3(d)分别给出了采用对称照明和逐个LED照明条件下的FP恢复的样品强度图.

图3 SFP和传统FP的模拟实验结果(a)输入样品强度图;(b)低分辨率图像;(c)SFP恢复的强度图像;(d)传统FP恢复的强度图像Fig.3.Simulation experiment results of SFP and traditional FP:(a)Ground truth;(b)low resolution image;(c)recovered intensity image using SFP;(d)recovered intensity image using traditional FP.

图4 SFP频域对称性模拟实验结果(a)输入图像的频谱;(b)SFP利用频域中心共轭对称性恢复的强度图像;(c)SFP恢复出的一半频谱;(d)SFP恢复出的全部频谱Fig.4.Simulation experiment results of SFP using symmetry in Fourier domain:(a)Fourier spectrum of input intensity images;(b)recovered intensity image of SFP using conjugate symmetry in spectrum;(c)half of the recovered spectrum using SFP;(d)the recovered entire spectrum using SFP.

采用两种方法恢复的图像与输入图像的均方根误差(RMSE)分别为0.0087和0.0088.模拟实验结果表明,在不考虑相位的情况下,采用对称照明可以达到与传统FP相同的高分辨率恢复效果.

其次,考虑到频域的中心共轭对称性,在重建过程可以仅恢复样品一半的频谱,另一半频谱采用其共轭,实验结果如图4所示.图4(a)为输入图像的频谱,图4(b)给出了利用频域中心共轭对称性恢复的样品图像.图4(c)为恢复出的一半频谱.图4(d)为图4(c)中心共轭对称得到的样品的全部频谱,其中虚线框所包含的区域为中心共轭对称得到的样品频谱.从实验结果可以看出,利用频谱中心共轭对称性,仅需要恢复一半的频谱,就能得到样品的强度分布,可以减少50%的计算时间.

3.2 SFP系统实验

利用与模拟实验相同的实验参数,分别对USAF分辨率板和水螅切片进行了实验.相机采用PointGray FL3-U3-13Y3 M-C黑白CMOS相机(1280像素×960像素),像元尺寸为4.8µm.物镜为4×0.1NA195 mm共轭的平场物镜(江南显微镜).采用一个可编程控制的32×32 LED阵列作为光源,实验中仅点亮中心区域的15×15个LED.采用Arduino Mega 2560作为LED阵列的控制器.样品与LED阵列距离为78 mm,最大照明NA为0.53.

利用上述系统,采用对称照明时,采集到113幅低分辨率图,传统FP为225幅.利用FP重建算法,得到了样品的高分辨率图像,实验结果如图5所示.图5(a1)为采用USAF分辨率板作为样品时采集到的低分辨率图像.图5(a2)和(a3)分别为采用对称照明和逐个LED照明时恢复的高分辨图像.从图中可以看出两种方法恢复的结果均能分辨出分辨率板的线对9-3(645 lp/mm).

图5(b1)给出了采用水螅切片作为样品时的低分辨率图,图像像素数为200×200.图5(b2)和(b3)分别为采用对称照明和逐个LED照明时恢复的高分辨图像,像素数为800×800.实验结果表明,采用两种方法均能恢复出样品的高分辨率图像,样品的细节更加清晰,能够分辨出低分辨率图像中无法区分的单个细胞.

系统合成NA为0.63,理论分辨率为0.61µm,实际分辨率为0.775µm.实际分辨率小于理论分辨率是由于远离中心的LED照明角度较大,对应的低分辨率图中样品的信号较弱,且在设置较长的曝光时间和较大的相机增益时,图像的噪声较大,图像信噪比较低.

从两种样品的实验结果可以看出,SFP得到了与FP同样分辨率的结果,SFP恢复的图像对比度略优于FP恢复的图像.这是由于SFP具有更高的照明强度,因此可以设置更低的相机增益,图像的噪声比FP小.同时由于SFP忽略了样品的相位,提高了频域的对称性,因此得到了比FP更高的对比度.

实验结果表明,对于无相位的分辨率板以及相位信息不明显的薄生物样品,采用对称照明时,在图像数减少约50%时,得到了与传统FP同样的高分辨率强度图.同时,由于对称照明具有2倍的照明强度,实验的总采样时间缩短了约70%.

图5 SFP和传统FP的实验结果(a1),(b1)低分辨率图像;(a2),(b2)采用SFP恢复的高分辨率图像;(a3),(b3)采用传统FP恢复的高分辨率图像Fig.5.Experiment results of SFP and traditional FP:(a1)and(b1)Low resolution images;(a2)and(b2)recovered intensity images using SFP;(a3)and(b3)recovered intensity images using traditional FP.

3.3 自适应的对称照明

图6 SFP和AFP的实验结果(a),(b)采用AFP恢复的强度图像和频谱;(c),(d)SFP结合APF恢复出的强度图像和频谱Fig.6.Experiment results of SFP and AFP:(a)Recovered intensity image using AFP;(b)recovered spectrum using AFP;(c)recovered intensity image using SFP and AFP;(d)recovered spectrum using SFP and AFP.

对称照明不改变系统的结构,也不增加算法的复杂度,可以直接与其他提高FP成像速度的方法结合使用,本文仅给出了SFP结合文献[15]中基于内容的自适应照明方法(adaptive Fourier ptychography,AFP)提高FP速度的结果.AFP通过筛选低分辨率图中信息最丰富的图像,进行样品高分辨率图的恢复,从而减少FP所需的图像数.图6给出了SFP结合AFP恢复的高分辨率强度图像和频谱结果.逐个LED照明时,利用AFP方法筛选出了111幅图像,恢复出样品的强度图和频谱如图6(a)和图6(b)所示.使用SFP结合AFP时,仅需要56幅图像恢复出了同样分辨率的图像,如图6(c)和图6(d)所示.

使用SFP结合AFP,使FP所需要的低分辨率图像从225幅减少到56幅,且保证了恢复图像的分辨率.实验结果表明,SFP可以结合其他加快FP速度的方法,进一步提高FP成像速度.

4 结 论

本文利用FP在空域和频域的对称性,在不考虑相位信息的情况下,对称位置照明具有相同的输出强度分布,且对称位置的频谱具有中心共轭对称性.采用对称照明的方式,可以减少FP实验约50%的低分辨图像,且照明强度提高两倍,系统总采样时间减少约70%.利用频域的中心共轭对称性原理,可以缩短约50%的计算时间.同时,本文的方法可以与其他提高FP采样速度的方法直接结合使用,有利于FP实现高速采样.

[1]Zheng G A,Horstmeyer R,Yang C H 2013Nat.Photon.7 739

[2]Ou X Z,Horstmeyer R,Yang C H,Zheng G A 2013Opt.Lett.38 4845

[3]Bian Z C,Dong S Y,Zheng G A 2013Opt.Express21 32400

[4]Zheng G A 2014IEEE Photon.J.6 0701207

[5]Dong S Y,Nanda P,Guo K K,Liao J,Zheng G A 2015Photon.Res.3 19

[6]Ou X Z,Horstmeyer R,Zheng G A,Yang C H 2015Opt.Express23 3472

[7]Xie Z L,Ma H T,Qi B,Ren G,Tan Y F,He B,Zeng H L,Jiang C 2015Chin.Phys.Lett.32 124203

[8]Xie Z L,Qi B,Ma H T,Ren G,Tan Y F,He B,Zeng H L,Jiang C 2016Chin.Phys.Lett.33 44206

[9]Sun J S,Chen Q,Zhang Y Z,Zuo C 2016Biomed.Opt.Express7 1336

[10]Pacheco S,Zheng G A,Liang R G 2016J.Biomed.Opt.21 026010

[11]Zheng G A 2016Fourier Ptychographic Imaging:a MATLAB Tutorial(San Rafael:Morganamp;Claypool Publishers)pp(1-1)–(5-4)

[12]Dong S Y,Horstmeyer R,Shiradkar R,Guo K K,Ou X Z,Bian Z C,Xin H L,Zheng G A 2014Opt.Express22 13586

[13]Tian L,Waller L 2015Optica2 104

[14]Dong S Y,Bian Z C,Shiradkar R,Zheng G A 2014Opt.Express22 5455

[15]Bian L H,Suo J L,Situ G H,Zheng G A,Chen H,Dai Q H 2014Opt.Lett.39 6648

[16]Zhang Y B,Jiang W X,Tian L,Waller L,Dai Q H 2015Opt.Express23 18471

[17]Guo K K,Dong S Y,Nanda P,Zheng G A 2015Opt.Express23 6171

[18]Dong S Y,Shiradkar R,Nanda P,Zheng G A 2014Biomed.Opt.Express5 1757

[19]Tian L,Li X,Ramchandran K,Waller L 2014Opt.Express5 2376

[20]Tian L,Liu Z J,Yeh L H,Chen M,Zhong J S,Waller L 2015Optica2 904

PACS:42.30.–d,87.64.M–,42.30.WbDOI:10.7498/aps.66.224201

*Project supported by the National Natural Science Foundation of China(Grant No.11374167)and the State’s Key Project of Research and Development Plan,China(Grant No.2016YFC0101002).

†Corresponding author.E-mail:ymliang@nankai.edu.cn

Symmetric illumination in Fourier ptychography∗

Zhang Lei-Lei1)2)Tang Li-Jin1)Zhang Mu-Yang1)Liang Yan-Mei1)†

1)(Institute of Modern Optics,Nankai University,Key Laboratory of Optical Information Science and Technology,Ministry of Education,Tianjin 300350,China)2)(Key Laboratory of Electro-Optical Countermeasures Test and Evaluation Technology,Luoyang Electronic Equipment Test Center of China,Luoyang 471003,China)

10 March 2017;revised manuscript

19 August 2017)

Fourier ptychography(FP)is a newly developed imaging technology,which can reconstruct high-resolution(HR)wide- field image from a series of low-resolution(LR)images.The limitation of FP is its long acquisition and reconstruction time due to the numerous LR images that are needed and the low illumination intensity of light-emitting diodes(LEDs)which lead to long exposure time of imaging sensors.Many researches have been done to speed up FP.The available speeding-up methods with single LED illumination are still constrained by low illumination intensity of LED.Although multi-illumination methods can improve illumination intensity,they are time-consuming during spectrum decomposition.In this paper,we demonstrate a new efficient method,termed symmetric Fourier ptychography(SFP).For thin samples irrespective of phases,two center-symmetric illuminations generate the same intensity distribution,so that two center-symmetric LEDs used in FP can be lit up simultaneously and the illumination intensity is doubled.Spectra have central conjugate symmetry in Fourier domain so that only half of spectra need recovering,then,the processing time can be reduced by about 50%.Simulations are conducted with the ‘Cameraman’image as input amplitude.The LR images are generated based on the FP simulation process and then the LR images generated by LEDs from two center-symmetrical positions are summed.Furthermore,HR images are recovered by using FP reconstruction algorithms.It is found that root-mean-square-error of SFP is almost the same as that of traditional FP,which indicates that the SFP can achieve the same performance as that of traditional FP.Then,central conjugate symmetry is adopted in Fourier domain,where only half of spectra are recovered and the other half of spectra are obtained from conjugate symmetry.It proves that HR images can be recovered based on central conjugate symmetry in Fourier domain and 50%of processing time is saved.For imaging experiments of USAF target and biological samples,two LEDs of central symmetry are lit up simultaneously,and 113 LR images are gathered in contrast with 225 ones of traditional FP.It is also found that SFP can achieve the same resolution as that of the traditional FP.In the meantime,SFP can reduce about 50%LR images and save about 70%acquisition time without increasing the complexity of FP system and algorithms.In addition,SFP can be combined with other methods to further speed up the speed of FP,and its feasibility is proven by the experimental results of combination with adaptive Fourier ptychography.All results in this paper indicate that the proposed method has the potential to improve the application of FP in real-time imaging.

symmetric illumination,Fourier ptychography,image reconstruction

10.7498/aps.66.224201

∗国家自然科学基金 (批准号:11374167)和国家重点研发计划“数字诊疗装备研发”重点专项(批准号:2016YFC0101002)资助的课题.

†通信作者.E-mail:ymliang@nankai.edu.cn