基于单光子雪崩二极管阵列的成像技术研究进展(特邀)

2022-09-23 05:24孙鸣捷王知冠
光子学报 2022年8期
关键词:光子分辨率像素

孙鸣捷,王知冠,2

(1 北京航空航天大学仪器科学与光电工程学院,北京100191)

(2 北京航空航天大学 未来空天技术学院/高等理工学院,北京100191)

0 引言

根据量子理论,光子是光能量的最小载体,因此光电探测器灵敏度的理论极限就是能探测单个光子。目前常用的单光子探测器包括光电倍增管(Photomultiplier Tube,PMT)[1]、单光子雪崩二极管(Single-Photon Avalanche Diode,SPAD)[2]以及超导纳米线单光子探测器(Superconducting Nanowire Single-Photon Detector,SNSPD)[3]等。经过多年的发展,单光子探测器已经广泛应用于生物光子学[4]、量子信息光学[5-6]、激光雷达[7]以及超快成像[8]等领域。

随着超高速、时间相关光学成像技术的出现,越来越需要能够以皮秒精度、高信噪比和高动态范围采集单光子信息的多像素成像设备。PMT 与SNSPD 等探测器往往需要借助扫描设备才有可能获得一定空间分辨率的图像,系统的体积和成像时间限制了这类单光子探测器在成像领域中的广泛应用。相比之下,SPAD 可以通过标准互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,CMOS)工艺进行制造,这使得人们能够以合理的成本制造小体积的SPAD 阵列。SPAD 是一种工作在极高反向偏压下的光电二极管,当单个光子入射并产生载流子时,光生载流子会在反向偏压的作用下不断加速并碰撞产生新的电子-空穴对,从而在极短时间(一般在ps 量级)内产生雪崩电流信号,因此SPAD 在具备单光子探测能力的同时还能通过电信号的变化精确地测量光子的到达时间[9]。集成多个像素的SPAD 阵列具备并行的单光子信息采集能力,在探测效率方面优于传统的单点扫描架构。此外还可以将光子计数电路以及时间测量电路集成至SPAD 阵列中,对SPAD 阵列的功能性与可扩展性有明显提升。其他设备例如条纹相机[10]、增强电子耦合器件(Intensified Charge-coupled Device,ICCD)[11]以及SNSPD 阵列[12]等也能够实现并行的时间相关单光子测量,但由于成本与体积等因素的限制,这些设备在成像领域中还未广泛普及。

SPAD 阵列能够以皮秒级别的时间分辨率并行地探测单光子的入射,同时具备低成本、高集成度等优势,能够有效推动单光子成像技术发展。在微弱光环境下的成像中,例如生物显微成像或是超远激光雷达,会面临光信号十分微弱、成像速度慢等情况,使用SPAD 阵列能够在保证信噪比的同时显著提高光子探测效率,进而提升成像速度。在时间相关单光子成像中,SPAD 阵列中的每个像素都可以独立地采集光子时间信息,实现了时间域、空间域光子信息的高效并行采集,使人们有可能解析光子的复杂传播过程或对视场中的超高速目标进行追踪,实现一些极端条件下的成像,例如散射成像、非视域成像以及光脉冲飞行成像等。近年来SPAD 阵列在像素规模、时间分辨率以及暗计数等参数上都在不断取得突破,基于SPAD 阵列的成像技术也有许多新进展。本文梳理了SPAD 阵列的发展历程与技术趋势,综述了基于SPAD 阵列的成像应用,对SPAD 阵列的应用前景进行了展望。

1 SPAD 阵列的发展历程与技术趋势

SPAD 阵列的发展历程可大致总结为由单个雪崩光电二极管,到具备一定功能的像素,再到集成度较高的像素阵列。SPAD 在探测到单个光子后,其自发性的雪崩过程需要被及时终止以避免持续高电流对器件的损坏,随后SPAD 上的反向偏压会逐渐回升并使SPAD 再次回到待命状态。上述淬火与充能[13]过程的持续时间即为SPAD 的死时间(Dead Time),这期间SPAD 无法探测光子。结合淬火电路的SPAD 即可构成最简单的SPAD 像素,此类像素的输出仅为与光子入射所对应的一系列电脉冲,更复杂的SPAD 像素还可能具备光子计数功能或时间相关光子探测功能。目前,单个SPAD 像素的光子探测概率(Photon Detection Probability,PDP)可达70%[14]。

光子时间测量电路也是SPAD 像素中的重要组成部分,决定了SPAD 的光子时间探测性能。值得一提的是,即使不借助时间测量电路,一些工作在光子计数模式下的高速SPAD 也能够以μs 级别的精度区分微弱光强的变化[15-16],但无法精确测量光子飞行时间。应用在SPAD 像素中的精确光子时间测量方案主要包括时间相关光子计数(Time-correlated Single Photon Counting,TCSPC)[17]技术以及时间门控(Time Gating,TG)技术[18]。TCSPC 能够以ps 级别的精度测量光子的到达时间,但需要较复杂的时间数字转换(Time-to-Digital Converter,TDC)电路。具备TCSPC 功能的SPAD 像素一般只有很低的填充因子(感光区域的面积在整个像素中所占的比例)。时间门控技术利用时间门控电路使得SPAD 仅在某个特定的时间窗口内(一般为ns 量级)被激活,该时间窗口能够以ps 的间隔移动并覆盖整个探测周期。相比于TCSPC 技术,时间选通门控方案结构简单,成本更低,非常适用于大像素规模的SPAD 阵列。

当像素内的电路被确定之后,可以将多个SPAD 像素集成为阵列,以获得并行的光子探测能力。面阵SPAD 需要在像素内附加电路来实现光子信息的获取、存储和传输,额外的电路会占据像素内空间从而降低填充因子。较低的填充因子会导致面阵SPAD 的光子探测效率(Photon Detection Efficiency,PDE)下降,但面阵SPAD 无需扫描即可获得二维图像。SPAD 最早主要通过定制工艺进行制造,可以针对性地优化光敏单元结构或掺杂浓度从而改善SPAD 的PDP 以及噪声表现[19],但这类SPAD 的可扩展性通常较差。2003年,利用标准CMOS 工艺制造的8×4 像素SPAD 阵列被首次报道[20]。尽管基于标准CMOS 工艺制造的SPAD在综合性能表现上还不够理想,但标准CMOS 工艺可以将光敏单元与附加电路进行大规模集成,使SPAD阵列能够集成更多的像素并有更丰富的光子探测功能。

近年来随着工艺的进步以及设计的优化,SPAD 阵列的综合性能表现有了显著提升。目前最新的SPAD阵列,PDE 最高可达70%,暗计数率(Dark Count Rate,DCR)可降至0.1 cps/μm2以下,同时像素规模可达百万量级。SPAD 像素中的附加电路也在不断发展,可以在SPAD 阵列上集成更为复杂的电路系统。目前先进的SPAD 阵列可同时具备光子计数功能以及光子时间测量功能,潜在的应用场景更加丰富。在大量应用于科学研究的同时,SPAD 阵列的产品化进程也在不断推进,半导体厂商索尼已经推出了面向自动驾驶领域的高分辨率、低成本、小体积的商用SPAD 阵列[31]。表1 中总结了近年来具有代表性的SPAD 阵列的主要性能指标。

表1 近年来SPAD 阵列的主要性能指标概览Table 1 Overview of SPAD arrays over the past few years

随着SPAD 阵列在性能上的不断发展与成熟,在一些应用场景中SPAD 阵列已经开始逐渐取代ICCD与条纹相机等昂贵的阵列式单光子探测器,但SPAD 阵列在探测效率、暗计数、均匀性以及时间分辨能力等指标上还有进一步优化的空间。SPAD 像素的PDP 与DCR 主要与光敏单元有关,受制造工艺、PN 结的结构以及反偏电压等因素的影响。提升PDP 的主要思路是提高光生载流子引发雪崩的概率,具体途径为提升耗尽层中电场的强度。高场强要求较高的反偏电压以及比较薄的耗尽层,但高电压会带来高功耗,且较薄的耗尽层会导致光敏区域变小,影响整体的探测效率。另外基于标准CMOS 工艺的SPAD 会有相对较多的晶格缺陷,从而导致光生载流子被束缚,无法引发雪崩。暗计数的主要来源是SPAD 耗尽层内由于热效应或隧道效应而产生的自由载流子,影响暗计数的主要因素包括PN 结中晶格的缺陷、杂质以及掺杂浓度等。使用标准CMOS 工艺制造的SPAD 阵列,其缺陷以及杂质含量相对较多,比定制工艺SPAD 会有更高的暗计数。优化SPAD 暗计数的方法包括优化PN 结的结构,添加吸附杂质的工艺步骤以提高PN 结质量等,另外降低反向偏压与光敏区面积都有利于抑制暗计数,但这也会导致PDE 的下降。针对光敏单元中各项性能参数之间的相互制约,可以使用更先进的复合工艺开发性能均衡的SPAD 光敏单元,例如BCD(Bipolar-CMOS-DMOS)工艺[32-33]。SPAD 的死时间以及时间测量精度主要取决于像素中的附加电路。通过对淬火电路的优化可以将SPAD 的死时间降低至ns 以下[34]且不引入额外的噪声,还可以通过淬火电路控制反偏电压以降低功耗或补偿SPAD 阵列中各像素的不均匀性[35]。SPAD 像素中的TDC 决定了光子时间测量能力,但高性能的TDC 一般都有更高的功耗和更大的电路面积。考虑到弱光环境下SPAD 阵列中单个像素的光子探测率比较低,因此可以在多个SPAD 像素间共享TDC[36],可以在保证性能的同时显著降低电路面积与功耗。高性能的附加电路能够显著优化SPAD 阵列的探测频率以及时间分辨率,但往往这类电路会有更复杂的结构和更多的晶体管,对光敏区域的面积会有一定的限制。

由以上分析可知,在SPAD 阵列的设计与制造过程中,尤其是对于大规模的SPAD 阵列,性能、体积、功耗以及成本等因素会相互制约。设计者可以针对应用场景对SPAD 阵列的各项性能指标进行适当权衡,例如一种为时间相关单光子成像而设计的SPAD 阵列[37]重点优化了PDE 以及时间分辨能力。该SPAD 阵列的峰值PDE 达到70%,同时集成了时间分辨率为6 ps 的TDC,使得该阵列在弱光环境下也能够采集到精确的时间相关光子数据。但该阵列的噪声表现相对较差,暗计数达到1kcps。另外,微透镜技术以及3D 电路堆叠技术可以有效解决SPAD 阵列中填充因子与附加电路之间的矛盾。安装在SPAD 像素上的微透镜能够将入射光子聚焦至像素内的光敏区域[38-39],在不影响像素结构的情况下可以使等效填充因子得到成倍提升。3D 电路堆叠技术[30,40]可以将SPAD 光敏单元与附加电路在两块基板上分别制造并将二者集成,从而克服填充因子与附加电路之间的矛盾。3D 电路堆叠技术还能够将基于定制工艺的高性能SPAD 与易集成的CMOS 附加电路相结合,若能解决3D 电路堆叠技术的成本以及设计复杂度等问题,该技术将会是未来高性能SPAD 阵列的有效解决方案。在电路设计层面,数值仿真手段的进步也使人们可以在SPAD 设计阶段通过仿真的方法预测并优化PDP 等性能参数[41],在具备较高可靠性的同时还降低了设计阶段的成本。随着SPAD 像素规模的不断增大,大量光子数据的存储、处理与传输也将会是一个难题,利用高性能FPGA 进行光子数据的本地预处理[42]可以有效降低数据存储量,减轻后续与计算机之间的数据传输压力。

随着工艺、材料以及电路设计的进步,未来性能均衡、成本低廉的SPAD 阵列将有望得到普及。目前基于CMOS 的SPAD 像素在性能接近或超越定制工艺SPAD 的同时还具备大规模集成的潜力。2022年报道了一种基于标准180 nm 工艺的SPAD 像素[43],峰值PDP 达到55%,时间抖动最低为12.1 ps,死时间低至3 ns 且最低暗计数为0.06 cps/μm2。目前该SPAD 像素还并未形成足够规模的SPAD 阵列,如何在性能不退化的前提下将这类高性能SPAD 像素进行集成是未来仍需要解决的问题。

2 基于SPAD 阵列高速单光子探测能力的成像技术

在一些不需要精确光子时间信息的成像应用中,SPAD 阵列能够以光子计数模式工作并以极高的帧率获取二维单光子图像,这使得SPAD 阵列在弱光环境下的成像性能非常出色。在一些典型的弱光成像应用中,例如生物医学显微成像,SPAD 阵列得到了广泛应用并在成像速度、图像信噪比等方面取得了新的突破。

2.1 超分辨生物显微成像

传统生物显微成像的分辨率一般被限制在衍射极限内,如何突破衍射极限获取高分辨图像一直是研究人员关注的热点。实现超分辨显微成像的一种方法是通过对生物组织中单个荧光分子进行精准的定位[44],即单分子定位超分辨显微成像技术(Single Molecule Localization super-resolution Microscopy,SMLM)。当荧光分子在生物组织中的数量很少且呈现稀疏分布时,即使单个分子产生的衍射光斑具有一定的面积,也可以通过估计衍射光斑的中心来对确定单个荧光分子的位置,从而突破衍射极限并探测生物样本的精细结构。然而,单个荧光分子闪烁的亮度很低,同时荧光的持续时间也很短,如何准确记录单个分子的闪烁是SMLM 的关键。最早研究人员使用电子倍增电荷耦合器件(Electron-multiplying Charge-Coupled Device,EMCCD)以及科研级互补金属氧化物半导体(scientific Complementary Metal-Oxide-Semiconductor,sCMOS)相机等器件进行超分辨成像,但系统噪声[45]和成像速度[46]都还有待优化。SPAD阵列能够以极高的帧率探测单个光子,且不受读出噪声的影响,为实现更高速、更高精度的SMLM 提供了可能。2016年ANTOLOVIC ⅠM 等[47]首次使用512×128 像素的SPAD 相机进行了生物荧光超分辨成像的实验,成像结果的空间分辨率为100 nm,时间分辨率由sCMOS 的毫秒量级提升至微秒量级,为分析荧光染料的光物理特性提供了有效的途径。针对SPAD 阵列填充因子较低的问题,GYONGY Ⅰ等[48]提出了一种智能叠加算法,通过只叠加包含有效信号的图像帧提高光子信息利用效率并抑制背景噪声。该团队利用320×240 像素的SPAD 阵列准确地提取出荧光分子发生闪烁时的图像并进行累加,实验结果表明尽管SPAD 阵列的光子探测效率更低,但通过智能叠加算法得到的SMLM 成像结果与商用EMCCD 相机接近。2017年ANTOLOVIC ⅠM 等[49]使用安装微透镜的SPAD 阵列进行了SMLM 实验,SPAD 阵列的填充因子从5%提升至60%,成像结果的空间分辨率提升至80 nm,见图1。随后GYONGY Ⅰ等[39]使用像素间距仅为8 μm 的SPAD 阵列进行SMLM 实验,较小的像素间距使得相同视场内的有效像素数量明显增加,另外柱形微透镜使该阵列的填充因子达到50%,进一步提升了光子探测效率,最终成像结果的空间分辨率为40 nm。

图1 sCMOS、SPAD 阵列、EMCCD 的超分辨成像结果与衍射受限成像结果的对比[49]Fig.1 The comparison between the diffraction-limited images and the super-resolution images taken by a sCMOS,a SPAD array and an EMCCD[49]

与EMCCD 以及sCMOS 等探测器相比,目前SPAD 阵列在像素规模、像素填充因子以及探测效率等方面还有待提高。随着微透镜技术的普及与先进制程CMOS 工艺的应用,SPAD 阵列的空间分辨率及光子探测效率将不断提升。未来SPAD 阵列有望替代现有的EMCCD 与sCMOS,为揭示纳米尺度下细胞的精细结构提供有力的工具。

2.2 散射关联成像

无损地监控生物组织深层结构的动态变化是一项非常有挑战性的任务,同时在很多应用场景中具有实际意义,例如在临床医学中实时监测大脑的血流量。散射关联频谱成像技术(Diffuse Correlation Spectroscopy,DCS)是一种很有潜力的无损光学监测技术[50]。DCS 将相干光耦合至目标物体中,通过测量出射散斑的时间相关性来监测深层组织的动态变化情况。当光源与探测器的间隔增大时,探测器接收到的光子在组织中的传播深度越深,但到达探测器的散射光子数量会因为散射和吸收等因素而减少,信噪比也会相应降低。DCS 的主要测量对象是生物组织,光源的强度会被限制在安全范围以内,因此提高信噪比的关键在于使用高性能的探测器。SPAD 阵列的高灵敏度和高帧率能够有效地探测来自深层组织的散射光子,同时能够以较高的时间分辨率监测散斑的动态变化情况。另外SPAD 阵列的多个像素能够并行地测量多个散斑,进一步提升信噪比。2007年,JAILLON F等[51]使用23 个雪崩二极管同时测量散斑,并测量出在8 Hz 闪烁光照下人类大脑皮层的活动情况。2019年JOHANNES J D 团队[52]使用5×5 的SPAD阵列初步验证了多散斑并行采集时信噪比的提升。随后集成度更高的32×32 像素的SPAD 阵列也被应用于DCS,在相同的条件下比基于单点探测器的DCS 有大约32 倍的信噪比提升[53]。2020年LIU W 等[54]进行了基于SPAD 阵列的大脑皮层血流量监控实验,实测数据表明基于SPAD 阵列的DCS 对脑血流监测结果与商用心电图监控仪基本一致,展现出了DCS 在实际临床诊断中的应用潜力,见图2。

图2 基于SPAD 阵列的DCS 系统示意图[54]Fig.2 The schematic diagram of the DCS system based on a SPAD array[54]

随着SPAD 阵列集成技术的进一步发展,超大像素规模的SPAD 阵列也已经出现,这些新的设备在DCS 中的应用将会进一步提高信噪比与成像速度。另外,近红外生理窗口(650~950 nm)波段的光在生物组织中的穿透性较强[55],通过针对性的设计[56]或基底材料的优化[57]可以提高SPAD 在该波段的光子探测概率,进而有效提升DCS 的探测深度。SPAD 阵列还可能结合FPGA 直接进行快速的散斑自相关运算[58],可以显著地提升系统集成度与成像速度,将有望实现DCS 无损探测设备的产品化和小型化,推动DCS 技术在实际临床诊断中的普及。

2.3 高动态范围成像

传统的图像传感器例如电荷耦合器件(Charge-Coupled Devices,CCD)或CMOS 等基本都是线性响应的,即光电荷数量与入射光强成正比。线性响应传感器在强光下很容易达到饱和[59],当单帧图像曝光时间内的累积的光电荷达到饱和时,后续所有入射的光子都将被忽略。SPAD 阵列工作在盖革模式下,在单个光子探测事件之后需要一定的时间(死时间)才能重新回到光子探测状态。SPAD 在整个曝光过程中都能探测光子,但最高光子计数频率与死时间相关。2019年INGLE A 等[60]利用SPAD 阵列的非线性光强响应特性,建立了在高光强情况下光子入射的时间间隔与入射光强的对应关系。连续两个光子入射的时间间隔越短代表光强越强,因此SPAD 纳秒级别的死时间提供了较高的光强探测上限,而在暗光区域SPAD 阵列原本就具备高信噪比,这些特性使得SPAD 阵列能够实现高动态范围成像。该团队在实验中将SPAD 阵列与普通相机的动态范围特性进行了对比,SPAD 阵列的动态范围达到106∶1,比普通相机高出两个数量级,见图3。除了将光强与光子入射间隔相对应之外,2019年ZARGHAMI M 等[61]建立了光强与光子到达时间概率分布的对应关系,从而利用SPAD 阵列强大的时间分辨能力实现了138.7 dB 的高动态范围成像。SPAD 阵列的空间分辨率较低,但可以进行高动态范围成像,而CMOS 相机具有很高的空间分辨率但动态范围有限。2022年LIU Y 等[62]提出了一种基于深度学习的图像融合方法,该方法通过结合SPAD 阵列的成像结果与CMOS 相机的成像结果以获得高分辨率的高动态范围图像,利用了SPAD 阵列与CMOS 相机各自的优势,是一种非常有前景的成像模式。

图3 传统相机与SPAD 阵列在高动态范围场景下的成像结果[60]Fig.3 The images of a high dynamic range scene taken by a conventional camera and a SPAD array[60]

虽然目前SPAD 阵列的空间分辨率较低,需要结合扫描装置或额外的图像信息才能获得高质量的高动态范围图像,但目前传统成像设备的性能还难以满足自动驾驶、目标识别等领域中对高动态范围场景成像的需求,未来随着高分辨率SPAD 阵列成本的不断降低,SPAD 阵列有望推动高动态范围成像在各领域中的普及。由于高动态范围成像主要对SPAD 的光子计数频率有比较高的要求,因此可以对SPAD 像素中的淬火电路以及后续信号读出电路进行针对性的优化,提高SPAD 阵列的最高光子计数频率,同时可以舍弃TDC 等时间测量电路以提高填充因子并降低大规模制造的成本。SPAD 阵列一般常用于弱光场景中,基于SPAD 阵列的高动态范围成像研究为SPAD 阵列开辟了一个全新的应用领域,具有重要的研究价值和广阔的发展前景。

3 基于光子飞行时间的成像技术

SPAD 阵列与时间测量电路的集成,例如TDC 与时间门控电路,使得SPAD 阵列在具备单光子探测能力的同时还能够精确测量光子的飞行时间(Time of Flight,ToF),从而实现对高速物体的追踪或者是拓展成像的维度。在这类需要测量光子飞行时间的应用中,一般需要在SPAD 阵列和高重频脉冲光源之间建立时序同步以确定光子飞行时间的计时基准。

3.1 荧光寿命显微成像

荧光显微成像[63]被广泛应用于生物医学领域,荧光光强、偏振度以及荧光寿命等参数都可以用于图像的生成。荧光寿命不容易受到光漂白、激发光强以及荧光分子浓度等因素的影响,因此荧光寿命显微成像(Fluorescence Lifetime Imaging Microscopy,FLIM)[64-66]可以比较精确地区分不同来源的荧光信号。荧光寿命对外界环境变化以及分子间相互作用比较敏感,经常被用于对生物大分子结构、动力学信息和细胞微环境等进行精确测量与定量分析[67-68]。带有时间选通门控电路或TCSPC 的SPAD 可实现对荧光寿命的高精度测量,然而基于单点SPAD 的FLIM 成像[69]需要对视场进行扫描,成像速度有限。宽视场FLIM[70]则是直接使用阵列式探测器采集视场中的荧光信息,成像速度得到显著提升。近年来具备时间测量能力的SPAD阵列促进了宽视场FLIM 的迅速发展与应用。2014年FIELD M 等[25]使用SPAD 阵列实现了100 fps 的高速FLIM 成像。该阵列的空间分辨率为64×64 像素,每个像素内均有独立的TCSPC 电路且时间分辨率为62.5 ps,使用FPGA 进行光子时间数据由SPAD 阵列向计算机的高速传输,理论最高成像速度可达400 fps。2015年POLAND S P 等[71]使用32×32 的SPAD 阵列结合多点聚焦实现了64 倍的成像速度提升,并进行了对蛋白质分子相互作用过程的FLIM 成像,见图4。2020年ZICKUS V 等[72]使用500×1 024 的SPAD 阵列进行了宽视场FLIM 成像实验,同时使用神经网络进行荧光寿命估计,速度比传统拟合方法提高了1 000 倍。在空间分辨率为50 万像素的情况下,该系统的成像速度达到1 Hz。该成果的空间分辨率接近单点扫描FLIM 的水平,而成像速度有了显著提升,证明了宽场FLIM 成像的应用潜力。

图4 基于SPAD 阵列的宽视场荧光寿命成像与荧光强度成像的对比[71]Fig.4 The comparison of the widefield FLIM captured by a SPAD array and the fluorescence intensity microscopy[71]

虽然大部分基于SPAD 阵列的宽视场FLIM 成像在空间分辨率、信噪比等方面还无法超越单点扫描FLIM 成像,但宽视场FLIM 具有很高的成像帧率,对生物样本的光损伤也相对较低,能对活细胞或是生物组织进行实时监测,在细胞分子动力学研究中有广阔的应用前景。未来适用于宽视场FLIM 成像的SPAD阵列需要在保持较高的成像分辨率与帧率的情况下限制功耗并提升探测效率。理论上在SPAD 阵列中的每个像素内都集成TDC 能够提供最高的光子时间测量容量,可以改善信噪比与成像帧率,但是这会影响填充因子并导致较高的功耗。使用多像素共享TDC 的方案可以缓解性能与功耗之间的相互制约,但是需要根据成像场景的光通量设置合适的共享TDC 数量,以保证信噪比和帧率不受影响。另外,高分辨与高帧率的FLIM 成像还需要解决大量光子时间信息的传输问题,可以结合高性能FPGA 进行荧光寿命的预估计或光子数据的压缩,降低所需的数据传输带宽,进一步推动宽视场高速FLIM 技术的实用化。

3.2 单光子激光雷达

单光子激光雷达使用激光主动探测目标物体,通过测量返回光子的飞行时间获取深度信息,能够以较高精度重建远距离目标物体的三维形状,被广泛应用于自动驾驶、机器视觉以及遥感测绘等领域。基于阵列式SPAD 的单光子激光雷达系统相比于传统的单点扫描方式,在采集速度上有明显的优势,适用于自动驾驶等需要实时三维场景信息的领域。2014年NICLASS C 等[73]使 用64×6 的SPAD阵列结合高速旋转的扫描反射镜实现了空间分辨率为340×96 像素、成像速度为10 fps 的高速三维成像,在128 m 距离上的深度测量误差为3.8 cm。2017年PERENZONI M 等[74]使用64×64 的SPAD 阵列对5.8 km 外的目标物体以7 fps 的速度进行三维成像,成像精度为0.5 m。2019年ZHANG C 等[75]使 用252×144 的SPAD阵列实现了30 fps 的高速三维实时成像,最大探测距离为50 m,精度为0.14 cm,见图5。2019年HUTCHINGS S W 等[76]报道了一种基于3D 堆叠技术制造、填充因子达到51%的SPAD 阵列,并使用此SPAD 阵列实现了空间分辨率为64×64 像素、成像速度为30 fps 的三维成像。为了改善目前SPAD 阵列空间分辨率仍然较低的缺点,还可以将SPAD 阵列与扫描系统结合以获得更高的空间分辨率,但代价是降低了成像速度。2019年CAO Jing 等[77]使用16×1 的线阵SPAD 结合扫描系统在0.5 m 距离下获得了空间分辨率为320×160 的深度图像,深度测量精度为厘米量级。2021年XUE R 等[78]使用32×32的SPAD 阵列,结合像素内微扫描技术获得了32×520像素的大范围三维图像,数据采集时间为7 s,同时该团队使用像素复用方法有效缓解了热像素的噪声影响。

图5 SPAD 阵列采集的连续6帧深度图像,速度为30帧/秒,其中一只手正在紧握和松开[75]Fig.5 Six successive frames from a 3-D movie at 30 frames/s captured by a SPAD array,in which a hand is clenching and unclenching[75]

在硬件方面,SPAD 阵列的时间分辨能力是激光雷达应用所需要的关键指标。可以对SPAD 阵列中光敏区域的厚度以及淬火电路进行优化,降低探测器的时间抖动,同时应该根据应用场景确定合适的时间分辨率与量程并搭配相应的TDC 电路。微透镜技术以及3D 电路堆叠技术可以显著提升SPAD 阵列填充因子,从而提升激光雷达系统的探测效率与成像速度。另外相比于单点扫描结构,基于SPAD 阵列的激光雷达的光源能量更为分散,因此搭配更高脉冲能量、更高重频的激光器也是提高探测距离与成像速度的关键因素之一。在算法层面,现有的单光子激光雷达往往需要多次探测以准确估计反射光信号的到达时间,首光子成像算法[79-80]的应用能够有效降低现有单光子激光雷达系统对入射光子数量的要求。

3.3 光脉冲飞行成像

SPAD 阵列能够在全视场范围内并行采集光子数量以及飞行时间信息,对于在视场内以光速运动的激光脉冲,可以利用SPAD 阵列的数据重建激光脉冲的飞行过程,即光脉冲飞行成像(Light-in-Flight imaging,LiF)[81]。相较于基于全息干涉[82]、条纹相机[83]或是光子混合器件(Photonic Mixer Device,PMD)[84]的LiF 成像,基于SPAD 阵列的LiF 成像系统具有结构简单、成本低与精度高等优点。2015年GARIEPY G 等[85]首次使用32×32 的SPAD 阵列记录并重建激光脉冲在空气中的三维飞行轨迹(x,y,t)以及激光诱导荧光的过程。对以光速运动的物体的成像与常规成像场景不同,如果忽略光信号由目标传播到探测器的时间,则有可能因相对论效应导致最终成像结果失真[86-88]。2016年LAURENZIS M 等[89]利用激光脉冲在空气中沿直线传播的特点,通过关联32×32 的InGaAs SPAD 阵列中多个像素的相对位置以及飞行时间数据计算出了激光脉冲的传播角度,并观察到激光脉冲在不同传播角度下会表现出不同的飞行速度。2020年ZHENG Y 等[90]意识到可以进一步利用激光脉冲的传播角度计算出光信号的传播时间从而补偿相对论效应,并首次使用32×32 的SPAD 阵列得到了四维(x,y,z,t)LiF 成像结果,见图6。2021年KAZUHIRO M 等[91]使用1 024×1 000 像素的SPAD 阵列实现了更精确的四维LiF 成像。IMOGEN M 等[92]在已知激光脉冲四维飞行轨迹的基础上进一步建立了SPAD 阵列采集的光强数据与激光脉冲真实强度之间的关系,从而利用32×32 的SPAD 阵列实现了能够校准光强的四维LiF 成像。

图6 基于SPAD 阵列的四维LiF 成像结果[90]Fig.6 Four dimensional LIF imaging with a SPAD array[90]

在LiF 成像中,各像素采集的光子信息并不是相互独立的,可以通过关联多个像素的相对位置以及飞行时间等信息拓展LiF 成像的维度。适用于LiF 成像的SPAD 阵列应当具有较高的时间分辨能力与填充因子。较高的填充因子可以降低SPAD 视场中的盲区,使得激光脉冲在飞行过程中的强度与形状被完整地记录,而SPAD 阵列的时间分辨能力可以使人们精确地记录并分析激光脉冲随时间的变化情况。未来随着SPAD 阵列的进一步发展,可以利用SPAD 阵列对一些更复杂的超快过程进行成像,例如观测超快激光脉冲与物质的相互作用过程[93]。

3.4 基于光子飞行时间的非视域成像

传统光学系统往往依赖于光的直线传播原理以及物点与像点之间的一一对应关系,成像的目标仅限于视场之内。然而在自动驾驶、地震救援与军事侦察等领域,仅有视场内目标物体的信息并不能完全满足需求,如何将成像的范围拓展至直接视域外是近年来成像领域的研究热点。基于光子飞行时间的非视域(None-line-of-sight,NLOS)成像因其测量范围大、重建精度高等优点成为了NLOS 成像的一种主要实现方案。在基于光子飞行时间的NLOS 成像中,脉冲光于中继面上散射后与直接视域之外的目标物体发生二次散射,最终携带物体信息的部分光子再回到中继面上并被探测器所接收。

条纹相机、ICCD 以及PMD 等设备[94]最先被应用于NLOS 成像中,随后单点SPAD 加扫描振镜[95-98]的结构因其高精度、低成本与灵活性高等特点被广泛应用于NLOS 成像中。然而基于单点扫描的NLOS 成像系统始终难以突破成像速度的瓶颈,因此人们开始将SPAD 阵列用于NLOS 成像系统中以提高成像速度。2015年MARTIN L 等[99]使用32×32 的InGaAs SPAD 阵列进行了NLOS成像实验。受制于SPAD 阵 列250 ps 的时间分辨率,该系统只能大致对目标进行定位,但采样时间仅为340 ms,相比之下使用单点SPAD扫描的采样时间则需要5~30 min。该实验初步验证了SPAD 阵列具备提升NLOS 成像速度的潜力。2016年GENEVIEV G 等[100]使用时间分辨率为45.5 ps 的SPAD 阵列实现了对非视域目标物体的实时定位,定位精度达到厘米量级,见图7。WU Jingyao 等[101]通过理论仿真验证了基于SPAD 阵列的NLOS 成像的可行性与高效性。在NLOS 重建算法方面,反投影算法[102]适用于SPAD 阵列,但计算时间较长且重建精度较低。光锥变换算法[103]、频率波矢迁移[104]以及虚拟波[105]等算法在时间复杂度以及重建精度上都有较好的表现,但这些算法的有效性只在共焦探测下得到了实验验证,无法直接用于SPAD 阵列采集的非共焦数据。理论上可以对非共焦数据进行变换以得到近似的共焦数据[106],从而使用上述高效的算法进行重建。

图7 基于SPAD 阵列的非视域目标追踪系统[100]Fig.7 NLOS target tracking system based on a SPAD array[100]

目前SPAD 阵列在时间分辨率以及暗计数等性能指标上与单点SPAD 还存在一定差距,基于SPAD 阵列的NLOS 重建算法还不成熟,但SPAD 阵列在成像速度以及系统集成程度方面优于单点SPAD 加扫描振镜的结构。在一些应用场景中,例如自动驾驶,对NLOS 成像系统的实时性与便携性会有非常高的要求。另外,三维NLOS 成像的纵向分辨率主要取决于SPAD 的时间分辨能力,使用时间分辨能力更强的SPAD阵列可以重建出更丰富的三维物体细节,因此适用于NLOS 成像的SPAD 阵列在时间分辨率上还需要进一步提升。随着SPAD 阵列性能的提高以及非共焦重建算法的优化,未来基于SPAD 阵列的NLOS 成像系统将有望取代现有的扫描成像构型,进一步推动NLOS 成像的普及化与实用化。

3.5 时域散射成像

如何对散射介质之后的物体进行成像,一直是光学成像领域中的难题,其中最大的障碍就是携带物体信息的光子在经过散射介质时会发生随机散射而导致信息丢失。在散射介质之后的物体自身发出或反射的光子中,有少部分光子在经过散射介质时未发生散射或散射次数较少,这类光子保持原有传播方向不变且携带目标物体的信息,此类光子被称为弹道光子(Ballistic Photons)及蛇形光子(Snake Photons)[107]。由于被散射的次数较少,弹道光子与蛇形光子总是比多次散射的光子更早到达探测器,因此可以在时域上筛选出这类光子。随着散射介质厚度的增加,这些直接携带物体信息的光子所占的比例会不断降低,增加了探测难度。SPAD 阵列能够精确地测量单个光子的到达时间,因此可以使用SPAD 阵列探测并筛选出弹道光子以及蛇形光子。2017年TANNER M 等[108]使用32×32 的SPAD 阵列,通过时域弹道光子以及蛇形光子筛选的方式实现了对动物体腔内光纤的末端定位,精度达到厘米量级,初步验证了SPAD 阵列在真实临床条件下透过生物组织进行成像的能力。为了提高光子数据的利用率,还可以建立光子在散射介质中的传播模型,从而利用所有光子的数量信息以及时间信息反解出目标物体的形状。2016年GUY S 等[109]使用条纹相机与卷积模型实现了高精度的散射成像,空间分辨能力相比于其他筛选部分光子进行成像的方法提高了两倍,该方法同样适用于SPAD 阵列。2017年GUY S 等[110]使用32×32 的SPAD 阵列以无损探测的方式测量了散射光子的时空信息,并通过卷积神经网络(Convolutional Neural Network,CNN)实现了对散射介质后物体的分类,见图8。2019年ASHLEY L 等[111]建立了光子密度波在强散射介质中的传播函数,并通过不断迭代的方式使利用模型预测的光子时空分布与SPAD 阵列的实测结果逐渐接近,从而重建出厚散射介质内部物体的大致形状。由于光在薄散射介质中传播的过程与光被漫反射面散射的过程类似,因此一些非视域成像中的探测架构与算法也可以用于散射成像。2020年LINDELL D 等[112]使用单点SPAD 搭建了共焦探测系统,并借鉴非视域成像中的光锥变换算法实现了对薄散射介质后方物体的成像。类似地,利用SPAD阵列以及反投影算法等适用于非共焦探测系统的重建算法,理论上也能够实现散射成像,而且基于SPAD阵列的成像系统在成像速度上更有优势。

图8 结合SPAD 阵列与深度学习实现散射介质后物体的分类[110]Fig.8 Object classification through scattering media with deep learning and a SPAD array[110]

散射成像的难点在于散射介质把原本包含物体信息的光场变得完全混乱,单纯从空域上的光强分布难以辨认物体细节。SPAD 阵列能够在空间域以及时间域上提供丰富的光子信息,从建模角度可以结合时域与空域信息建立更完善的散射传播模型,而利用深度学习、神经网络等手段则能够通过额外的时间维度信息更精确地建立目标物体细节与光子数据之间的对应关系,实现更好的成像效果。基于SPAD 阵列的时域散射成像将会是解决散射成像问题的有力手段之一。

4 总结与展望

SPAD 的发展与其他光电探测器类似,都经历了由单点探测器到多像素阵列的过程。得益于CMOS 技术的应用,SPAD 阵列在像素规模以及电路集成度上发展十分迅速,短短十几年间就从几十像素、仅有光子计数功能的简单阵列发展到百万像素且具备时间测量功能的超大规模SPAD 阵列。在像素规模逐渐增大的同时,光子探测效率、暗计数、光谱响应范围以及时间分辨率等关键参数也随着相关技术的发展而不断优化。光学成像具有悠久的历史,随着科学的发展与技术的进步,人们的研究兴趣也从传统成像逐渐拓展至极端条件下的成像,例如超分辨成像、极弱光成像以及超视距成像等等。SPAD 具备单光子灵敏度和ps 级别的时间分辨能力,在极端条件下依然能够获取光子信息。在早期SPAD 阵列性能还不够完善时,为了获得二维图像人们往往将单点SPAD 探测器与扫描装置结合。随着SPAD 阵列的逐渐成熟,在车载激光雷达、生物医学成像等对成像实时性要求较高的应用中,SPAD 阵列以其高效的并行单光子探测能力开始逐渐取代单点扫描系统。另外,利用SPAD 阵列的高动态范围性能可以便捷地获取高动态范围图像,有潜力解决目标识别以及自动驾驶中成像场景动态范围变化过大的问题。在散射成像以及非视域成像中,SPAD 阵列的出现,使得原本被多路径、散射等因素造成的复杂光子传播过程在时域与空域上得以被区分,因此可以结合物理建模或神经网络等方法进一步获取关于视域外或是散射介质之后目标物体的信息,突破了传统成像中“光沿直线传播”的物理限制。利用SPAD 阵列的高时间分辨率以及并行采集能力还可以追踪在视场中高速运动的激光脉冲,有助于推进对一些超快光学现象的研究。

近年来SPAD 阵列在像素规模、时间分辨能力、暗计数以及探测效率等方面的进步促进了各种成像应用的发展,但随着SPAD 阵列像素规模的不断扩大,人们对SPAD 阵列的性能要求与有限像素面积、有限功耗之间的矛盾也日益显现。各种成像应用对高性能SPAD 阵列的需求促使人们不断突破有限像素面积与功耗造成的瓶颈,例如最新的集成电路工艺可以用于制造性能均衡的SPAD 光敏单元,3D 电路堆叠技术以及微透镜技术可以在保证附加电路性能的同时提升探测效率,这些技术为未来高性能SPAD 阵列的普及提供了可能。另外,在不同的应用场景中可以根据实际需求对SPAD 阵列的设计进行优化,舍弃不必要的功能以提升填充因子并降低功耗。在光谱响应方面,目前硅基SPAD 阵列的光谱响应峰值主要集中在可见光波段,可以通过结构和工艺优化提高硅基SPAD 阵列在近红外波段的光子探测概率,从而利用近红外光较强的穿透能力提升激光雷达与散射成像等技术的探测范围。基于InGaAs 或InP 等基底材料的SPAD 阵列能够响应1 450 nm 以上的短波红外光,因此这类SPAD 阵列在光纤成像以及量子光学等领域具有很大的应用潜力。SPAD 阵列能够高效获取光子时空域信息,如何最大限度地利用这些光子数据也是今后SPAD 阵列应用中需要解决的问题。除了建立光子传播的物理模型之外,还可以利用深度学习等数据驱动的智能算法,从更高维度建立光子时空分布信息与目标特征的对应关系,从而深入挖掘SPAD 阵列数据中隐含的信息,提高成像的范围、精度以及效率。今后SPAD 阵列将会在光学成像中发挥更重要的作用,为人们感知世界、认识世界提供更有力的工具。

猜你喜欢
光子分辨率像素
我国科学家发明计算超分辨图像重建算法拓展荧光显微镜分辨率极限
“像素”仙人掌
首个三光子颜色纠缠W态问世
“十光子纠缠”成功实现
高像素不是全部
ARM发布显示控制器新品重点强化对分辨率的支持
神回复
从600dpi到9600dpi
锐化与显示器分辨率
您的像素,饱和吗?[上]