基于惯性参考基准的像移测量与图像复原

岳荣刚 王世涛 王虎妹 尹可 金挺 藏洁 晏廷飞 李欢 唐绍凡

基于惯性参考基准的像移测量与图像复原

岳荣刚1王世涛1王虎妹1尹可1金挺1藏洁2晏廷飞3李欢4唐绍凡4

（1 遥感卫星总体部，北京 100094）（2 北京空间飞行器总体设计部，北京 100094）（3 北京卫星环境工程研究所，北京 100094）（4 北京空间机电研究所，北京 100094）

卫星上存在高、中、低频率的微振动源，引起光学载荷光轴抖动，造成遥感图像成像品质下降。文章提出了一种基于惯性参考基准的像移测量与图像复原方法，介绍了该方法的原理和涉及的关键部件。为验证该方法的可行性和性能，研制了一套地面试验验证系统，包括验证相机（含惯性参考基准单元、哈特曼传感器）、积分球、靶标、平行光管、隔振平台、激振器、六自由度支撑台，以及相应的图像复原软件等。测量了试验环境的背景噪声，开展了像移测量精度试验，在此基础上完成了多种工况下的图像恢复试验。结果表明，基于惯性参考基准的像移测量误差均方根值不超过0.12像元，基于测得的像移数据可显著提升像质，图像的调制传递函数一般可提升至原图的1.38~1.52倍。该方法获得的像移数据还可以反馈给稳像镜，实时补偿星上微振动，有助于直接获取高品质图像。

惯性参考 微振动 像移 图像复原 遥感卫星

0 引言

随着空间应用能力的提高，对光学遥感卫星、激光通信卫星等的性能要求也越来越高，涌现出一系列高分辨率光学成像卫星，如：GeoEye-1[1]、WorldView-4[2]、“高分四号”卫星[3]，以及未来的“巡天号”光学舱等，镜头口径越来越大，角分辨率越来越高。

然而，卫星上普遍存在多种频率的扰振源，如：太阳翼驱动机构、天线驱动机构、控制力矩陀螺、推进器、制冷机等等[4]，加上卫星的姿态不稳定因素，综合起来会引起星上颤振，其覆盖极低频到上千赫兹高频的宽频带[5-8]。这些因素会引起光学载荷的光轴抖动，导致成像相对焦平面产生移动或者转动，造成遥感图像成像品质下降[9-10]。

美国宇航局戈达德航天中心的研究表明，颤振的能量主要集中在中低频区[11]。为测量颤振对光轴的影响，研究人员提出了多种像移测量方法。应用比较多的是基于光学联合变换相关器（Joint Transform Correlator，JTC）进行空间相机像移测量的方法[12-17]。该方法需要的探测设备包括高速CCD和光学相关器，高速CCD测得的相邻两帧图像经JTC处理后得到相应的像移量，所得像移量被反馈到稳像镜，确保了成像与CCD间的相对稳定，可得到优良的成像。这种方法将测量位置置于焦面处，像移测量精度高、速度快。

文献[18-22]则采用了基于遥感图像的像移探测方法，在相机积分过程中，用高速相机记录下多帧连续图像，通过配准算法得到相邻帧间的位移量，从而实现像移测量，基于像移构建图像复原所需的点扩散函数（Point Spread Function，PSF），通过后期处理的方式进行图像复原。该方法能够测量成像位置像移的真实状态，测量精度较高，但是盲点频率处的像移无法测量，且存在滞后性。

无论是基于JTC的像移测量方法，还是基于遥感图像的像移探测方法，均要求被拍摄对象的图像层次丰富，且对信噪比要求较高[17]。一旦对遇到遥感图像较平滑或信噪比低的情况，精度难以保证。针对上述问题，本文提出了一种基于惯性参考基准的高精度像移测量方法，该方法不依赖于地面景物特点，也不依赖于光照条件，以自身提供的参考基准保证像移测量系统可全天时、全天候有效工作。

1 测量方法原理

基于惯性参考基准的像移测量方法是一套带惯性传感器的参考激光系统工作。将激光与成像光共光路引入相机系统，直接测量像移信息，用于驱动稳像镜实时进行补偿，或者用像移信息后期恢复退化的图像，减小颤振对成像品质的影响。测量方法原理如图1所示。惯性参考基准单元发出一束参考激光束并通过角锥棱镜引入光学系统，参考光束和成像光通过相同的光路（相机主镜、相机次镜、稳像镜等）后到达位置探测器（位置探测器位于相机焦面的边缘视场，并与相机焦面刚性固定在一起）；位置探测器探测到参考激光束的抖动信息；该信息携带了参考光束相对于焦面的抖动，再融合惯性参考基准单元测量到的相机姿态变化信息；该融合信息通过闭环反馈控制稳像镜，稳像镜通过快速运动补偿微振动对成像的影响，从而得到优良的遥感图像。或者基于像移信息，用软件恢复退化的图像，也可以减小星上颤振对成像的影响。

图1 基于惯性参考基准的像移测量方法原理

惯性参考基准单元主要包括惯性传感器和激光源（如图2所示）。两轴惯性传感器的敏感轴互相垂直，用于高精度测量（积分时间内）两个垂直方向上卫星的姿态变化和微振动；激光器用于发出一束参考光束。由于激光器与惯性传感器刚性连接，其光束在惯性空间的绝对指向可精确测量。惯性传感器长时间工作后的累积误差可用星敏感器在轨标校。

图2 惯性参考基准单元模型

2 测量系统与试验环境保障

2.1 像移测量试验系统

像移测量试验系统原理如图3所示。靶标置于平行光管的焦面上以模拟无穷远的目标，靶标被积分球照亮后，其像经过相机光学系统在CCD上成像。平行光管和靶标安装在隔振平台上，隔离地面微振动的影响，保证目标光的稳定性。相机系统（含惯性参考基准单元）安装到六自由度支撑台上，模拟相机在轨自由状态，激振器产生模拟的微振动，施加到相机上。

试验中所用的相机主镜光学口径330mm，焦距3 300mm，CCD分辨率1 024像元×1 024像元，单像元尺寸12μm。相机上集成了惯性参考基准单元、角锥棱镜、位置探测器（Position Sensitive Detector, PSD）等，如图4所示。为了验证像移测量精度，另外集成了1台哈特曼传感器，该传感器通过对子孔径图像进行高速成像，计算每帧图像的偏移量，实现像移的直接测量。经验证，该哈特曼传感器对试验相机的像移测量精度优于0.1像元（均方根值）。

图3 基于惯性参考基准的像移测量试验系统原理

图4 验证相机三维模型

2.2 试验环境背景噪声测量

像移测量试验依赖于精密的测量系统，为了减小测量误差，需保证平行光管和靶标系统的稳定，因此将其置于隔振台上用于隔离地面的微振动。试验开始前用高精度角位移传感器测量了隔振台工作面绕方向和方向的角位移噪声（坐标定义如图4所示），测量环境条件与试验时相同：打开积分球风扇，停止周边其余振动试验，关闭试验区的通风装置，遮光帘处于关闭状态等。

在以上条件下测得两个方向的微振动曲线如图5所示，相应的噪声（均方根值）如表1所示。可见隔振台在1~200Hz范围内的背景噪声引起的绕、轴的角位移最大值为0.037″，小于1/20像元。而在3~200Hz频段上，隔振台背景噪声引起的绕、轴的角位移最大值为0.014″，小于1/50像元。可满足本试验精度需求。

图5 隔振台背景噪声微振动曲线

表1 隔振台背景噪声引起的角位移均方根值

Tab.1 The Root mean square value of angular displacement caused by the background noise of the vibration isolator

3 像移测量精度试验

为了验证基于惯性参考基准的像移测量精度，将其测量数据与哈特曼传感器所测数据进行了比较，该哈特曼传感器对相机的像移测量精度优于0.1像元，作为精度验证的参考。试验过程如下：

1）用激振器对相机施加沿轴方向的激励；

2）分别用激光陀螺、PSD和哈特曼传感器记录相应的测量数据；

3）将激光陀螺和PSD的测量数据进行融合处理，得到基于惯性参考基准的像移测量曲线；

4）对哈特曼传感器所测数据进行处理，得到另一条像移曲线。

比较两条曲线（如图6、图7所示），可得到以下结论：

图6 20Hz定频正弦激励条件下像移测量曲线对比

图7 110Hz定频正弦激励条件下像移测量曲线对比

1）在图6、图7所示的各种工况下，两条曲线像移测量误差均方根值不超过0.12像元。可见基于惯性参考基准的像移测量方法也能实现较高的测量精度。

2）激光陀螺和PSD的采样率均为10kHz，远高于哈特曼传感器的550Hz，所以其测量曲线包含了像移的高频信息，能够更精细地描述像移过程。

4 图像恢复试验

为进一步验证本方法的像移测量性能和应用效果，开展了图像恢复试验。用测得的像移信息对退化的图像进行恢复，得到复原后的图像，并分别计算退化图像和复原图像的MTF值，定量评估图像恢复效果。

4.1 试验状态及方法

基于惯性参考基准的图像恢复试验方法和流程如图8所示，说明如下：

1）用相机拍摄一张退化的图像，同时用惯性参考基准系统测得光学系统的像移信息；

2）基于像移信息对像移模型进行重构，得到积分时间内像移综合退化模型；

3）基于综合退化模型，用自研的图像恢复软件对退化的图像进行恢复，得到清晰图像；

4）分别计算退化图像和复原图像在奈奎斯特频率处的MTF值，进行定量判断。

图8 基于惯性参考基准的图像恢复试验方法和流程

图像复原方面，非盲复原算法取得了长足的发展。几种具有代表性的图像非盲复原算法如维纳滤波算法[23]、总变分（Total Variation，TV）正则化图像复原算法[24]等，都在各自适用的领域获得了理想的图像复原效果。另外，文献[25]提出了一种分段局部正则化RL（Richardson-Lucy）方法，构建了一种新型的正则项，使得复原图像中的噪声和边缘振铃效应得到有效控制。

本文研制的图像恢复软件提供了三种算法，分别是TV（Total Variation，总变分）方法、分段局部正则化RL方法和一种盲恢复方法。在本文的图像恢复过程中，比较了三种图像恢复算法的效果，结论如下：TV方法对噪声和振铃的抑制效果明显，但图像细节损失较大；盲恢复方法在一定程度上能抑制振铃，但会产生较大噪声，且会引入伪信息；分段局部正则化RL方法较真实地保留了图像细节，并可较好地抑制振铃，产生的噪声也不明显，是图像恢复效果最好的一种算法。因此，本文中的图像恢复均采用了分段局部正则化RL方法。

4.2 基于惯性参考基准的图像恢复

针对建筑靶标进行了图像恢复试验，试验原图如图9所示。试验结果如图10和图11所示，分别给出了不同振动激励工况下，退化图像与复原图像的对比图：图10试验工况条件为20Hz定频激励，抖动量3.5像元，积分时间80ms；图11试验工况条件为110Hz定频激励，抖动量2像元，积分时间80ms。从视觉上定性判断，恢复后的图像无论是对比度还是锐度都得到了明显提升，无明显振铃，噪声也在可控范围内。两种工况下，图像的MTF值分别可提升至原图的1.52和1.38倍。可见，当像元的抖动量在3.5个像元以内，基于惯性参考基准的像移测量方法可明显提升图像品质。

图9 试验用靶标原始图像

图10 MTF从0.044提升至0.067

图11 MTF从0.037提升至0.051

5 结束语

本文针对提出的基于惯性参考基准的像移测量方法，研制了一套相应的试验验证系统。基于该系统开展了多种工况的像移测量试验，并利用获得的像移数据对退化的图像进行了复原，结果表明：基于惯性参考基准的像移测量方法实现了较高的测量精度，与哈特曼传感器的测量数据相比，相对误差不超过0.12像元（RMS）；当像元的抖动量在3.5个像元以内，基于惯性参考基准的像移测量方法可明显提升成像品质，图像的MTF可提升至原图的1.38~1.52倍；获得的像移数据还可以反馈给稳像镜，实时补偿星上微振动对成像品质的影响，有效提升光学遥感卫星图像品质。该方法具有测量精度高、速度快、不受地面光照条件影响、可全天时工作的优点，可用于其余有高精度光轴抖动测量需求的场合。

[1] Wikipedia.GeoEye-1[EB/OL]. [2020-10-17]. https://en.wikipedia.org/wiki/GeoEye-1.

[2] Wikipedia.WorldView-4[EB/OL]. [2020-10-17]. https://en.wikipedia.org/wiki/ WorldView-4.

[3] 王殿中, 何红艳. “高分四号”卫星观测能力与应用前景分析[J]. 航天返回与遥感, 2017, 38(1): 98-106. WANG Dianzhong, HE Hongyan. Observation Capability and Application Prospect of GF-4 Satellite[J]. Spacecraft Recovery & Remote Sensing, 2017, 38(1): 98-106. (in Chinese)

[4] 李贤, 胡渝. 星间光通信中振动抑制的研究[J]. 宇航学报, 2002, 23(3): 77-80. LI Xian, HU Yu. Vibration Suppression in Optical Inter-satellite Communications[J]. Journal of Astronautics, 2002, 23(3): 77-80. (in Chinese)

[5] PARK G, LEE D O, HAN J H. Development of Multi-degree-of-freedom Micro Vibration Emulator for Efficient Jitter Test of Spacecraft[J]. Journal of Intelligent Material Systems and Structures, 2014, 25(9): 1069-1081.

[6] TOYOSHIMA M, TAKAYAMA Y, KUNIMORI H, et al. In-orbit Measurements of Spacecraft Micro Vibrations for Satellite Laser Communication Links[J]. Optical Engineering, 2010, 49(8): 083604.

[7] HE S, XU Z, WANG X, et al. Design and Testing of a Parallel Manipulator for Space Micro-vibration Simulation[C]∥Conference Towards Autonomous Robotic Systems, July 19-21, 2017, Guildford, UK. Springer, 2017: 86-100.

[8] PRASHANT A R, MADHESWARAN M, KARTIK V, et al. System Development for Micro Vibration Measurements on Spacecrafts[C]∥International Conference on Control, Instrumentation, Communication and Computational Technologies (ICCICCT), December 16-17, 2016, Kumaracoil, India. New York: IEEE, 2016: 98-103.

[9] 葛任伟, 吴清文, 王运, 等. 基于联合变换相关器的像移测量方法研究[J]. 计算机仿真, 2010, 27(3): 215-219. GE Renwei, WU Qingwen, WANG Yun, et al. The Study of Image Motion Measurement Based on Joint Transform Correlator[J]. Computer Simulation, 2010, 27(3): 215-219. (in Chinese)

[10] 刘海秋, 徐抒岩, 王栋. 基于空间相机时间延迟积分传感器拼接区图像的像移测量[J]. 光学学报, 2014, 34(2): 108-114. LIU Haiqiu, XU Shuyan, WANG Dong. Space Camera Image Motion Measurement Based on Images from Time Delayed Integration Sensors Overlapped Area[J]. Acta Optica Sinica, 2014, 34(2): 108-114. (in Chinese)

[11] HAYDEN W L, MCCULLOUGH T, RETH A. Wideband Precision Two-axis Beam Steer Tracking Servo Design and Test Results[J]. Proceedings of SPIE, 1993, 1866: 271-279.

[12] JANSCHER K, TCHERNYKH V. Optical Correlator for Image Motion Compensation in the Focal Plane of a Satellite Camera[J]. Space Technology, 2001, 21(4): 127-132.

[13] VALERIJ T, SERGEI D, KLAUS J, et al. Smartsan Hardware Test Results for Smart Optoelectronic Image Correction for Push Broom Cameras[J]. Proceeding of SPIE, 2002, 4814: 264-272.

[14] TCHERNYKH V, BECK M, JANSCHEK K. Optical Correlator Based Optical Flow Processor for Real Time Visual Navigation[M]//Goro Obinatn, Ashish Dutta. Vision Systems: Applications. I-Tech Education and Publishing, 2007.

[15] YI H, ZHAO H, LI Y, et al. Improved Digital Processing Method Used for Image Motion Measurement Based on Hybrid Opto-digtial Joint Transform Correlator[J]. Chinese Optics Letters, 2010, 8(10): 989-992.

[16] NAYAR S K, BEN-EZRA M. Motion-based Motion Deblurring[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(6): 689-698.

[17] 樊超, 李英才, 傅洪亮, 等. 光学相关法测量空间相机像移的性能研究[J]. 光学学报, 2011, 3(7): 1-5. FAN Chao, LI Yingcai, FU Hongliang, et al. Research on Measurement Method of Image Motion of Space Camera Based on Optical Correlator[J]. Acta Optica Sinica, 2011, 3(7): 1-5. (in Chinese)

[18] MCEWEN A, BANKS M, BAUGH N, et al. The High Resolution Imaging Science Experiment (Hirise) During MRO’S Primary Science Phase (PSP)[J]. Icarus, 2010, 205(1): 2-37.

[19] BELY P Y, LUPIE O L, HERSHEY J L. Line-of-sight Jitter of the Hubble Space Telescope[J]. Proceedings of SPIE, 1993, 1945: 55-61.

[20] MATTSON S, BOYD A, KIRK R L. HiJACK: Correcting Spacecraft Jitter in HiRISE Images of Mars[J]. Health Management Technology, 2009, 33(5): A162.

[21] WANG M, FAN C, PAN J, et al. Image Jitter Detection and Compensation Using a High-frequency Angular Displacement Method for Yaogan-26remote Sensing Satellite[J]. ISPRS Journal of Photogrammetry & Remote Sensing, 2017, 130: 32-43.

[22] TONG X H, XU Y S, YE Z, et al. Attitude Oscillation Detection of the ZY-3 Satellite by Using Multispectral Parallax Images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(6): 3522-3534.

[23] GONZALEZ R C, WOODS R E. Digital Image Processing[M]. 2nd ed. Publishing House of Electronics Industry, 2002.

[24] RODRIGUEZ P, WOHLBERG B. Efficient Minimization Method for a Generalized Total Variation Functional[J]. IEEE Transactions on Image Processing: A Publication of the IEEE Signal Processing Society, 2009, 18: 322-332.

[25] 董文德. 基于光纤陀螺颤振探测的图像复原技术研究[D]. 杭州: 浙江大学, 2013. DONG Wende. Research on Image Restoration Based on Vibration Detection Using Fiber Optic Gyroscope[D]. Hangzhou: Zhejiang University, 2013. (in Chinese)

Image Motion Measurement and Image Restoration Based on the Inertial Reference

YUE Ronggang1WANG Shitao1WANG Humei1YIN Ke1JIN Ting1ZANG Jie2YAN Tingfei3LI Huan4TANG Shaofan4

（1 Institute of Remote Sensing Satellite, Beijing 100094, China）（2 Beijing Institute of Spacecraft System Engineering, Beijing 100094, China）（3 Beijing Institute of Spacecraft Environment Engineering, Beijing 100094, China）（4 Beijing Institute of Space Mechanics & Electricity, Beijing 100094, China）

There are lots of high, medium and low frequency micro vibration sources on the satellite, which cause optical axis jitter of the optical load, resulting in the degradation of remote sensing image quality. Aimed to that question, a method of image motion detection and image restoration was proposed based on an inertial reference, and the principle and the key components of the method was introduced. To verify the performance of the method, a test system was developed, including a space camera, an inertial reference unit, a Hartmann sensor, an integrating sphere, a simulated image target, a parallel light pope, a vibration isolation platform with the vibration generator, a six degrees of freedom platform, and the software of image restoration. The background noise of the test environment was measured, and the image motion measurement accuracy test was carried out. Based on that work, the verification tests of image restoration under various working conditions were completed. The test results show that the error of image motion detection is less than 0.12 pixels (Root Mean Square, RMS). Using the image motion data to improve the image quality, MTF (Modulation Transfer Function) of the restored image was improved to 1.38-1.52 times of the original image MTF. The image motion data can be used as a feedback to the fast steering mirror to compensate the satellite jitter in real time, which helps to get high quality images directly.

inertial reference; micro vibration; image motion; image restoration; remote sensing satellite

V447+.1

A

1009-8518(2021)01-0125-10

10.3969/j.issn.1009-8518.2021.01.015

岳荣刚，男，1980年生，2010年获北京航空航天大学机械电子工程专业博士学位，高级工程师。主要研究方向为遥感卫星、移动机器人。E-mail：beijing2008-v@126.com。

2020-09-18

国家重点研发计划（2016YFB0500502）

岳荣刚, 王世涛, 王虎妹, 等. 基于惯性参考基准的像移测量与图像复原[J]. 航天返回与遥感, 2021, 42(1): 125-134.

YUE Ronggang, WANG Shitao, WANG Humei, et al. Image Motion Measurement and Image Restoration Based on the Inertial Reference[J]. Spacecraft Recovery & Remote Sensing, 2021, 42(1): 125-134. (in Chinese)

（编辑：庞冰）