快照式光谱成像技术发展趋势分析与展望(特邀)

2022-08-29 03:56袁艳刘安琪苏丽娟
光子学报 2022年7期
关键词:快照高分辨率光谱

袁艳,刘安琪,苏丽娟

(1 北京航空航天大学仪器科学与光电工程学院,北京 100191)

(2 精密光机电一体化技术教育部重点实验室,北京 100191)

0 引言

目标辐射光波场携带多维信息,可以用九维函数f(x,y,z,θ,φ,λ,t,ψ,χ)表征[1-2],其中:(x,y,z)对应目标空间位置,(θ,φ)对应目标辐射传播方向,λ为目标辐射波长,t为辐射传播时间,(ψ,χ)对应目标辐射偏振态。传统光学成像获取了目标辐射的二维空间分布f(x,y),立体成像获取了目标辐射的三维空间分布f(x,y,z),光谱成像则获取了目标辐射的二维空间分布和一维光谱信息f(x,y,λ),进而得到感兴趣目标的几何影像及其特征光谱,可有效提高目标探测与识别能力,在天文观测、遥感探测、农业生产、环境保护、军事侦查、生物医学等诸多领域具有重要应用。

光谱成像技术将目标辐射三维数据立方体f(x,y,λ)降维于面阵或线阵成像探测器上,传统的数据立方体获取主要有两种模式:一种是对空间维度进行一维或者二维的光机扫描,如棱镜色散成像光谱仪[3],光栅衍射成像光谱仪[4]和空间调制干涉成像光谱仪[5]等;另外一种是进行光谱扫描,如滤光片型成像光谱仪[6]和时间调制干涉成像光谱仪[7]等。这两种模式均无法实现目标辐射f(x,y,λ)的实时探测,并且在f(x,y,λ)获取过程中,要求成像光谱仪与景物目标保持严格的空间位置或姿态关系,否则将影响光谱成像探测效果,限制光谱成像技术的应用范围。快照式光谱成像技术则是通过将目标辐射f(x,y,λ)进行空谱调制,单次成像曝光即可获得目标图谱数据的二维调制投影数据,依据后期数据解调处理可重构目标辐射的三维数据立方体。相对于扫描式光谱成像技术,快照式光谱成像技术在动态场景探测中具有显著优势[8-9],得到了国内外研究人员的广泛关注。

1 快照式光谱成像技术发展现状

依据目标辐射f(x,y,λ)空谱调制投影原理,快照式光谱成像可分为直接测量型和间接测量型[2]。直接测量型是将数据立方体f(x,y,λ)的二维切片在探测器上进行投影排布,建立目标光谱辐射与投影像素的灰度映射,以此进行数据立方体重构,如滤光片堆栈型光谱成像(Imaging Spectroscopy using a Filter Stack,IS-FS)[10]、像面复制光谱成像(Image-Replicating Imaging Spectroscopy,IRIS)[11]、光场光谱成像(Light Field Imaging Spectroscopy,LFIS)[12]、光学复制与重绘光谱成像(Optically Replicating and Remapping Imaging Spectroscopy,ORRIS)[13]、积分视场光谱成像(Integral Field Spectroscopy,IFS)[14-17]、基于像面分割投影的光谱成像(Image Mapping Spectroscopy,IMS)[18-20]、基于像素滤光的探测器阵列(Multispectral Sensor with Per-pixel Filters,MS-PPF)[21]等,图1 和图2 分别为LFIS 和IMS 成像原理图。

图1 光场光谱成像原理Fig.1 Schematic of light field imaging spectroscopy

图2 基于像面分割投影的光谱成像原理Fig.2 Schematic of image mapping spectroscopy

间接测量型是将目标数据立方体f(x,y,λ)调制编码,投影映射为探测器的像元响应,需将成像数据进行计算解调才能重构数据立方体。如计算层析光谱成像(Computed Tomography Imaging Spectroscopy,CTIS)[22]、快照式傅里叶变换光谱成像(Snapshot Hyperspectral Imaging Fourier Transform spectroscopy,SHIFT)[23]、编码孔径光谱成像(Coded Aperture Snapshot Spectral Imaging,CASSI)[24-26]、基于Sagnac 干涉原理的光谱成像(Multispectral Sagnac Interferometry,MSI)[27]、基于衍射光学元件(Diffractive Optical Element,DOE)的光谱成像[28]等,图3 和图4 分别为CASSI 和SHIFT 成像原理。

图3 编码孔径光谱成像原理Fig.3 Schematic of coded aperture snapshot spectral imaging

图4 快照式傅里叶变换光谱成像原理[23]Fig.4 Schematic of snapshot hyperspectral imaging Fourier transform spectroscopy[23]

由于快照式光谱成像技术可以实时完成目标辐射f(x,y,λ)三维信息的探测,在此基础上,进一步拓展目标辐射探测维度,实现多维信息实时探测,是光学探测技术发展的重要趋势。另外,直接测量型快照式光谱成像技术具有空谱调制关系明确、重构算法简单等优点,但是空谱调制以牺牲空间分辨率为代价来获得光谱数据,重构数据立方体的空间分辨率较低;虽然间接测量型不存在分辨率制约,但数据重构算法复杂、效果不佳以及计算耗时也是推广应用的瓶颈。如图5 所示,根据对上述研究现状的分析,本文将从技术原理和数据处理两个角度介绍快照式光谱成像技术的发展趋势,并重点介绍快照式光谱立体成像技术和光谱图像空间超分辨技术。

图5 快照式光谱成像技术研究现状与发展趋势概览Fig.5 Overview of the research status and development trend of snapshot spectral imaging technology

2 快照式光谱立体成像技术

快照式光谱成像技术在获取目标三维数据立方体f(x,y,λ)的基础上,增加对目标深度信息的探测可以扩展更多的应用场景,从而获取目标辐射四维信息f(x,y,z,λ)或者五维信息f(x,y,θ,φ,λ),被称为快照式光谱立体成像技术。

实现快照式光谱立体成像主要有两类技术途径:一类是将光谱成像技术和立体成像技术进行集成,利用两路光学系统分别获取光谱成像和立体成像数据,通过数据处理进行进一步的融合,即独立测量型;另一类则是致力于探索光谱信息和三维空间信息的耦合探测,即耦合测量型。

2.1 独立测量型

独立测量型快照式光谱立体成像技术包含两路独立工作的光学系统,其中立体成像系统以其工作模式被区分为主动型和被动型。主动型立体成像需要配备照明光源,例如结构光[29],激光扫描仪[30]和时间飞行(Time of Flight,ToF)探测器[31]等,主要适用于室内场景的立体成像;被动型立体成像则主要基于双目视觉[32]和光场成像[33]等,通过视差估计来获取目标深度信息。

2012 年,KIM M H 等首先提出同时测量目标三维(Three-dimensional,3D)形貌和光谱辐射的3D 光谱成像技术(3D Imaging Spectroscopy,3DIS)[34]。如图6 所示,该系统是由激光扫描仪和CASSI 光谱成像系统组成的集成系统,分别获取目标的深度信息和光谱辐射信息。但是目标需要置于旋转平台上进行圆周扫描,因此系统时间分辨率较低,限制了其在动态场景中的应用。

图6 3DIS 系统原理[34]Fig.6 Principle of the 3DIS system[34]

2017 年,中国科学技术大学熊志伟课题组将光场成像技术与光谱成像技术结合[35]。如图7 所示,分束器将光路分为两路,分别使用商用的Lytro 光场相机和CASSI 光谱成像系统。通过计算重建算法,该技术可获得目标的五维信息f(x,y,θ,φ,λ),利用视角信息(θ,φ)可进一步重建目标的深度信息。最终,该系统重构数据的尺寸为380×380×9×9×27。2019 年,熊志伟课题组进一步提出一种高分辨率的快照式光谱立体成像技术,空间分辨率可达到1920×1080[36]。如图8 所示,该系统采用双光路设计,其中一路使用法布里-珀罗干涉(Fabry-Pérot Interference,FPI)探测器获取低分辨率光谱成像信息,另一路使用RGB 探测器获取高分辨率彩色图像。根据双目视觉理论,两个子系统的视差可用于深度信息的重建。利用深度学习算法,高分辨率RGB 图像作为先验信息,用于提升光谱数据立方体的空间分辨率。

图7 快照式光谱光场成像技术[35]Fig.7 Schematic of the snapshot hyperspectral light field imager[35]

图8 高分辨率光谱立体成像技术原理[36]Fig.8 Schematic of the spectral-depth imaging system with high resolution[36]

2018 年,HEIST S 等提出基于结构光照明的光谱立体成像技术[37]。如图9 所示,该技术使用两个基于FPI 探测器的光谱成像仪构成双目系统,GOBO(GOes Before Optics)投影仪[29]投射出非周期的正弦条纹于待测目标,在曝光时间内,投射图样随GOBO 轮的旋转而变化。该技术重构计算量小且精度高,实际测量速度达到17 Hz,适用于实时成像。

图9 基于结构光照明的光谱立体成像技术实物装置[37]Fig.9 Photograph of the spectral-depth imaging system using structured light[37]

2.2 耦合测量型

独立测量型快照式光谱立体成像探测方案中,目标光谱信息和三维空间信息的获取过程相对独立,本质上是通过增加信息容量以获取高维数据,需要处理的数据量大。因此,出现了耦合测量型快照式光谱立体成像技术,按照光谱信息和三维空间信息的耦合紧密程度,经历了以下发展阶段。

2016 年,清华大学戴琼海课题组提出了基于相机阵列的快照式光谱立体显微成像技术[38]。如图10 所示,透镜阵列、滤光片阵列和RGB 相机阵列组成的探测装置实现了对四维空谱信息的采样。通过建立四维空谱耦合点扩散函数模型,使用四维退卷积算法重构目标场景的f(x,y,z,λ)。2017 年,南京大学曹汛课题组针对基于相机阵列的快照式光谱立体成像技术提出了新的数据处理方法[39]。首先,通过基于卷积神经网络(Convolutional Neural Network,CNN)的立体匹配算法计算各视角图像的视差图,然后基于光谱传感矩阵进行光谱解混。

图10 基于相机阵列的快照式光谱立体显微成像技术[38]Fig.10 Schematic of the snapshot hyperspectral volumetric microscopy based on camera array[38]

上述技术虽然实现了三维空间信息和光谱信息的耦合,但是系统体积庞大,各相机需要进行内外参标定,存在配准误差。因此,研究人员致力于提高系统的集成度,使用单个探测器即可获得光谱立体成像信息。与快照式光谱成像技术类似,根据高维信息调制方式的不同,可以分为直接型和间接型。2020 年,GAO L 等将光场成像技术与IMS 光谱成像技术相结合,提出了一种快照式光谱立体成像单相机系统[40],其原理如图11。该系统采用非聚焦型光场成像系统获取目标的四维光场信息f(x,y,θ,φ),形成的光场图像作为中间像经由IMS 系统进行分割色散以获取光谱信息,实验重构数据的尺寸为66×66×5×5×40。该系统结构紧凑,光效率高,但是重构数据尺寸受探测器像素数的限制,分辨率较低。

图11 快照式光谱立体成像单相机系统原理[40]Fig.11 Schematic of a snapshot hyperspectral light field imaging system using a single camera[40]

间接调制型可以避免探测器分辨率对重构数据分辨率的限制。2018 年,哈尔滨工业大学金鹏课题组将光场成像技术与SHIFT 光谱成像技术相结合,提出了基于傅里叶变换的快照式光谱立体成像技术[41]。如图12 所示,目标的一次像经中继镜头和微透镜阵列后形成一系列有视差的子图像,类似于聚焦型光场成像技术。子图像通过双折射偏振干涉仪后,成像至探测器面。该技术采用CNN 算法将探测数据中的光场成像数据和干涉数据解耦,利用上述数据分别重建深度信息和光谱信息,最终获得了四维空谱信息f(x,y,z,λ)。

图12 基于傅里叶变换的快照式光谱立体成像技术[41]Fig.12 Schematic of the snapshot spectral-volumetric imaging system based on Fourier transform[41]

基于压缩感知理论,南京理工大学陈钱课题组在2016 年提出了基于压缩感知的光谱集成成像技术[42]。如图13 所示,三维目标场景经过微透镜阵列后形成不同视角的子图像,经过编码色散后,在探测器上形成压缩的二维图像,使用现有的压缩感知重构算法重建了不同聚焦深度下的光谱数据立方体。

图13 基于压缩感知的光谱集成成像技术原理[42]Fig.13 Schematic of the compressive spectral integral imaging system[42]

2019 年,RUEDA-CHACON H 等提出了基于ToF 探测器的快照式光谱立体成像技术[43]。如图14 所示,近红外LED 发出的光脉冲经物体反射后,与物体散射的环境光一同进入系统。传统CASSI 系统的二元编码模板被彩色编码孔径(Color-Coded Aperture,CCA)代替,CCA 对反射的近红外光不作调制,在工作波段内,对目标场景在空间维和光谱维进行同时编码,探测器不仅接收到二维压缩图像,通过反射光脉冲的相位偏移还可以计算目标距离。最终,实验数据重构结果空间分辨率为256×256,波段数为8,深度估计的精度在厘米量级,帧频达到30 fps。

图14 基于ToF 探测器的快照式光谱立体成像技术原理[43]Fig.14 Schematic of the snapshot spectral-volumetric imaging system using a ToF camera[43]

2021 年,MARQUEZ M 等提出了基于编码像差的快照式光谱立体成像技术[44]。如图15 所示,变形镜(Deformable Mirror,DM)是一种可编程的相位调制器件,可以对波前引入特定的像差。在积分时间内,DM通过引入离焦来实现对不同深度目标的扫描,同时,数字微镜(Digital Micromirror Device,DMD)产生不同的编码模板。最后,不同深度的目标经过不同的相位和幅值编码,色散后在探测器形成压缩图像。采用交替方向乘子算法(Alternating Direction Method of Multipliers,ADMM)可以从压缩图像中重构出全聚焦灰度图像、全聚焦单谱段图像和灰度焦栈图像,进而估计出深度图。

图15 基于编码像差的快照式光谱立体成像技术原理[44]Fig.15 Schematic of the coded aperture snapshot spectral depth imaging via depth from coded aberrations(CASSDI-DFA)[44]

2021 年,CUI Q 等提出能获取五维光场f(x,y,θ,φ,λ)的快照式高光谱光场断层成像技术[45]。如图16所示,基于稀疏视图计算断层成像原理,通过使用道威棱镜阵列和柱镜阵列获得目标的多角度投影,之后通过光栅色散获得其光谱信息。得益于极高的压缩比,该技术降低了对探测器幅面尺寸的要求,提升了时间分辨率。

图16 快照式高光谱光场断层成像技术原理[45]Fig.16 Schematic of the snapshot hyperspectral light field tomography[45]

2021 年,BAEK S H 等提出了基于衍射光学元件的快照式光谱立体成像技术[46]。如图17(a)所示,系统的成像元件仅包括一片DOE,在体积和便携性方面极具优势。通过对DOE 进行设计,可使点扩散函数(Point Spread Function,PSF)随波长和目标深度变化。为此,该研究提出了一种端到端的DOE 设计方法,如图17(b)所示,给定DOE 表面轮廓可仿真出相应的PSF,与目标场景卷积生成仿真图像后,使用CNN 网络重构光谱和深度信息,联合真值计算损失函数以进行反向反馈,实现对DOE 表面轮廓和重构算法的联合优化。

图17 基于衍射光学元件的快照式光谱立体成像技术原理[46]Fig.17 Schematic of the snapshot hyperspectral-depth imaging system with diffractive optics[46]

表1 对比了上述快照式光谱立体成像技术,分别列出其涉及的光谱成像技术、立体成像技术和各种技术方案实现的空间分辨率(x,y)/(x,y,z)/(x,y,θ,φ)、光谱分辨率(光谱通道数)以及时间分辨率(帧频)。可以看出,为了在增加探测维度的同时保持重构数据的空间和光谱分辨率,以CASSI 为代表的间接测量型快照式光谱成像技术被广泛采用。虽然MS-PPF 光谱成像技术也可以达到较高的空间分辨率,但其采用的FPI探测器使之难以和其他立体成像技术深度耦合,整套系统仍然较为分散。近年来,随着深度学习算法的发展,CASSI 的重建效果显著提升[47-49]。同时,计算能力和加工工艺的提升促进了计算成像技术的发展,例如衍射光学元件[50-51]和超构表面透镜阵列[52]。此类系统中不再区分光谱成像模块和立体成像模块,而是通过PSF 反映目标波长和深度的变化,系统体积往集成化、微型化方向发展。

表1 快照式光谱立体成像技术对比Table 1 Comparison of different snapshot spectral volumetric imaging technologies

3 光谱图像空间超分辨方法

对于直接测量型快照式光谱成像技术,数据立方体的分辨率受到探测器分辨率的制约,需要牺牲空间分辨率以换取光谱分辨率。间接测量型快照式光谱成像技术虽然从原理上能够获取更高空间分辨率的光谱图像,但是其重构算法计算量大且图像质量较低,在实际场景中应用有限。因此,大量研究致力于用算法提升光谱图像的空间分辨率。

3.1 基于图像融合方法

基于融合的光谱图像超分辨方法通常使用高分辨率全色图像或者RGB 图像提供的空间信息作为辅助,与低分辨率的光谱图像融合以生成高分辨率的光谱图像。

为了获取高分辨率的辅助图像,通常采用图18 所示的基于分束器的双光路结构。2014 年,南京大学曹汛课题组针对基于针孔阵列的积分视场光谱成像技术,将低分辨率的光谱图像与高分辨率的RGB 图像配准后,利用光谱数据对RGB 图像进行光谱扩充以获得高分辨率的光谱图像[53]。根据光谱视频相邻帧之间的数据关联性,提出基于三边滤波的重建算法,有效提高了光谱精确度。此后,曹汛课题组进一步提出使用空间光调制器替代固定的针孔阵列[54],如图18 所示,根据目标场景自适应改变采样点分布,提升了超分辨光谱图像空间细节的准确性。

图18 基于混合相机结构的高分辨率光谱成像视频仪[54]Fig.18 Schematic of high-resolution hyperspectral video acquisition with a hybrid camera system[54]

2014 年,MURAKAMI Y 等提出一种混合分辨率的光谱成像视频仪[44],如图19 所示。该系统包含高分辨率的RGB 相机和基于光纤束的低分辨率成像光谱仪(Low-Resolution Spectral Sensor,LRSS)。目标场景的光谱可视为多个光谱基函数的线性组合,基于这一假设,根据RGB 相机的光谱响应函数和低分辨率光谱图像中估计的光谱基,可以重建高分辨率光谱图像。在具体实施中,提出了基于分段维纳估计的重建算法,将图像分割为多个子块进行分块重建。与曹汛等的方法相比,该融合方法对两路图像空间配准误差较不敏感。

图19 混合分辨率光谱成像视频仪[55]Fig.19 Schematic of hybrid-resolution spectral video system[55]

使用RGB 图像作为融合数据源时,难以分辨“异物同谱”的情况,即不同光谱经过RGB 相机响应后输出相同的结果。针对这一问题,哈尔滨工业大学金鹏课题组将SHIFT 得到的低分辨率光谱图像与高分辨率的全色图像融合[56],提出了基于分组主成分分析(Grouping Principal Component Analysis,GPCA)的图像融合算法。该算法首先对光谱图像进行聚类分组,再对每组图像进行主成分分析,在各聚类内使用全色锐化后的第一主成分替代原始的第一主成分,进行PCA 逆变换后即可得到融合后的光谱图像。

上述方法仍需要增加额外的光路以获取高分辨率图像,增大了系统体积。金鹏等基于SHIFT 的孔径分割原理,利用子图像间的亚像素位移,使用深度学习方法对子图像序列进行空间超分辨以获取高分辨率的全色图像[57],如图20 所示。结合GPCA 图像融合算法,即可在不增加系统体积的前提下获取高分辨率的光谱图像。

图20 SHIFT 成像光谱仪高分辨率全色图像获取原理[57]Fig.20 Schematic of the high-resolution panchromatic image acquisition method for SHIFT[57]

在获得融合数据源的前提下,传统融合算法通常设定先验信息作为正则化项,如稀疏性[58]、局部平滑性[59]等,难以在不同分布的数据上均取得较好效果。而基于深度学习的图像融合算法能从数据中自适应学习先验信息,在鲁棒性、泛化性和计算速度等方面具有优势。YAO J 等根据耦合非负矩阵分解[60](Coupled Nonnegative Matrix Factorization,CNMF)思想提出了CUCaNet(Coupled Unmixing Network with a Crossattention mechanism)网络,自适应学习多光谱-高光谱数据对中的光谱响应函数和点扩散函数,实现了无监督图像融合,具备较高的泛化能力。西安交通大学孟德宇课题组提出多光谱-高光谱图像融合网络(MS/HS Fusion Net)[61-62],利用低秩约束和观测模型,设计多步网络迭代求解高分辨率光谱图像,网络具备较好的可解释性和泛化性。

3.2 基于单幅图像方法

基于融合的光谱图像超分辨方法需要获得配准好的全色/RGB 图像,考虑到配准误差的影响,直接对单幅光谱图像进行空间超分辨的方法受到广泛关注。2014 年,香港中文大学DONG C 等首次提出基于卷积神经网络的图像超分辨算法(Super-Resolution Convolutional Neural Network,SRCNN)来学习低分辨率图像与高分辨率图像之间的映射关系[63]。随着深度学习在普通图像超分辨率重建中取得显著成绩,光谱图像空间超分辨也得到了发展。

对于光谱图像,在空间信息重建的基础上,还需要保持光谱一致性。2017 年,中科院西安光学精密机械研究所袁媛等将SRCNN 网络迁移学习后用于提升高光谱图像各光谱通道的空间分辨率[64],同时约束估计的高分辨率高光谱图像与低分辨率高光谱图像具有相同的光谱端元,其原理如图21 所示,但是该算法表现依赖于提取端元的准确性。

图21 基于SRCNN 的高光谱图像超分辨算法原理[64]Fig.21 Diagram of hyperspectral image super-resolution based on SRCNN[64]

2017 年,西安电子科技大学李云松课题组提出了基于光谱差卷积神经网络(Spectral Difference Convolutional Neural Network,SDCNN)和空间约束策略(Spatial Constraint,SCT)的高光谱图像超分辨算法[65],其算法原理如图22 所示。SDCNN 网络学习低分辨率与高分辨率高光谱图像光谱差之间的映射关系,空间约束策略限制输出的高分辨率高光谱图像下采样后与网络输入尽可能相似。之后,该课题组进一步提出基于SDCNN 和空间错误自纠正模型(Spatial Error Correction,SEC)的高光谱图像超分辨算法[66]。该算法采用普通图像超分辨算法(Very Deep image Super-Resolution convolutional network,VDSR)对光谱图像进行空间超分辨,通过设计SEC 模型,对SDCNN 学习的光谱差结果进行校正,在保持光谱信息的同时减小空间误差。该算法计算量小,更适用于实际应用场景。

图22 基于SDCNN 和SCT 的高光谱图像超分辨算法原理[65]Fig.22 Diagram of hyperspectral image super-resolution based on SDCNN and SCT[65]

2018 年,中国科学技术大学熊志伟课题组将通道注意力机制与残差块相结合,提出了用于单幅光谱图像超分辨的深层残差注意力网络(Deep Residual Attention Network,DRAN)[67]。从图23 中的对比结果可以看出,深度学习算法的效果明显优于传统的插值算法(图23(b)),将普通图像超分辨网络VDSR 直接作用于光谱图像取得的效果有限(图23(c)、(d)),而采用通道注意力机制的DRAN 网络(图23(e))显著提升了重建效果,但效果不及同样使用深度学习的融合算法(图23(f))。

图23 光谱图像空间超分辨重建效果对比[67]Fig.23 Result of spectral image super-resolution[67]

IMS 重构图像不仅存在空间分辨率低的问题,还存在强度伪影降低其图像质量。针对该复杂降质问题,北京航空航天大学袁艳课题组提出了基于卷积神经网络的伪影校正及超分辨的联合算法[68],其网络框架如图24 所示。该联合网络的输入为存在伪影的低分辨率重构图像,伪影校正模块和超分辨模块分别提取如图24(b)所示的伪影特征和超分辨特征。基于注意力机制的特征融合模块将上述特征进行通道域融合,根据融合特征输出高分辨率校正图像。针对实验图像与仿真图像伪影特征不同的问题,采用部分实验图像进行迁移学习来微调网络,最终获得适用于实验图像的网络模型。该联合网络针对IMS 全色重构图像取得了显著的效果,结合上述光谱通道注意力方法,可将该算法改进以处理IMS 光谱图像。

图24 伪影校正及超分辨联合算法原理Fig.24 Diagram of the joint artifact correction and super-resolution network

综上所述,单幅光谱图像空间超分辨还处于发展时期,由于没有额外的高分辨率辅助图像,在提升空间分辨率的同时保持光谱一致性、提升信噪比是研究重点。此外,当重建4 倍及更大倍数的高分辨率光谱图像时,重建效果较差,存在一定的局限性。

4 结论

本文从丰富光学探测信息量的角度分析了快照式光谱成像技术的发展趋势。从增加信息探测维度方面,着重介绍了快照式光谱立体成像技术。为了实现集约型系统,利用单探测器实现多维成像是主要趋势;同时,为了打破探测器分辨率的固有限制,不牺牲多维数据的分辨率,引入基于计算成像的间接测量方法成为研究热点。

从增加图像探测细节方面着重介绍了光谱图像空间分辨率的提升方法,在现阶段,融合方法的数据量比单图方法的更大,因此能取得更好的效果。但随着深度学习的发展,单幅光谱图像空间超分辨算法仍有很大的发展空间。此外,对于间接测量型快照式光谱成像技术,其分辨率虽然不受探测器制约,但是存在重构质量低的问题。为解决该问题,基于深度学习的重建算法不仅需要面向数据学习复杂的映射关系,还要考虑基于物理模型的图像先验信息,形成数据和模型双驱动机制。同时,采用通道注意力机制、在训练数据中添加噪声等策略提升重建算法的泛化性和鲁棒性。

对于快照式光谱成像技术,技术原理的拓展具有前沿的研究意义,而数据处理的发展对于提升其在实际场景中的应用效果具有重要的实际意义。

猜你喜欢
快照高分辨率光谱
煤炭矿区耕地土壤有机质无人机高光谱遥感估测
基于GEE云平台与Sentinel数据的高分辨率水稻种植范围提取——以湖南省为例
高分辨率CT+人工智能在新型冠状病毒肺炎诊断与疗效评估中的应用研究
一种基于CANoe实现诊断快照数据测试的方法
探讨高分辨率CT在肺部小结节诊断中的应用价值
郭守敬望远镜获取光谱数破千万
巧破困局,快速恢复本本活力
注册表拍个照 软件别瞎闹
基于异常区域感知的多时相高分辨率遥感图像配准
浅析光谱技术在200 nm以上和以下尺度范围内的不同