基于FPGA的星上影像正射纠正

张荣庭 周国清* 周祥 刘德全 黄景金1,



基于FPGA的星上影像正射纠正

张荣庭1,2,3周国清1,2,3*周祥2,3刘德全3黄景金1,3

（1 天津大学精密仪器与光电子工程学院，天津 300072） （2 桂林理工大学广西空间信息与测绘重点实验室，桂林 541004） （3 天津大学遥感研究中心，天津 300072）

传统的遥感影像正射纠正需要等待遥感影像下传到地面接收站后才能处理，这已不能满足用户对影像处理时效性的要求，为了解决这一问题，文章研究了一种基于现场可编程门阵列（Field Programmable Gate Array，FPGA）的星上正射纠正实时处理平台。基于FPGA的正射纠正平台采用模块化设计，主要包括外方位解算模块、旋转矩阵计算模块、坐标转换模块和插值模块。通过对SPOT6影像数据进行实验，比较了基于FPGA平台的正射纠正和基于高性能计算机平台的正射纠正的纠正精度和处理速度。实验结果表明基于FPGA平台的正射纠正的精度在1个像素以内，满足纠正要求；基于FPGA平台的正射纠正速度是基于高性能计算机平台的正射纠正速度的4.3倍。利用FPGA进行正射纠正能够提高纠正速度，并能保证纠正精度，具有广阔应用前景。

正射纠正 现场可编程门阵列 硬件实现 实时性 共线条件方程 航天遥感

0 引言

随着遥感技术的发展，遥感影像在许多领域中扮演者重要的角色，例如：土地资源调查、自然灾害监测和环境变化分析等。由于受传感器内部状态变化、外部状态（如姿态变化）及地表状况的影响，原始的遥感影像存在不同程度的畸变和失真。因此，在遥感影像应用于这些领域之前，遥感影像需要进行正射纠正来消除或减小影像的畸变。遥感影像的正射纠正是影像应用于各领域的先决条件。正射纠正后的遥感影像不仅包含一般图像的特征，还包含地图的几何性质[1]，可以直接用于影像的判读、测量和专题制图，也可以服务于资源调查、地图更新等。然而，传统的遥感影像正射纠正都是基于地面平台上的软件进行的，如可视化图像环境平台（Environment for Visualizing Images, ENVI）和地球资源数据分析系统（Earth Resources Data Analysis Systems, ERDAS）。遥感影像必须下传到地面接收站之后才能进行正射纠正。由于这个过程有很长的时间延迟，不能迅速地将获得的影像实时转化为可利用的图像资料，在应急响应方面，不能快速的获得正射影像，给后续的遥感图像的应用带来不便。

为了实现遥感影像的实时处理，学者们把注意力集中在了星上遥感影像实时处理。随着现场可编程门阵列（Field Programmable Gate Array, FPGA）的快速发展和广泛应用，这使得星上的遥感图像实时处理成为可能。因为FPGA芯片能够为它自己的流水线结构和细粒度的并行性提供高度灵活的设计、可扩展的电路以及高效率的数据处理能力。此外，在尺寸、质量和功耗方面，FPGA相对于图形处理器（Graphics Processing Unit, GPU）和中央处理器（Central Processing Unit, CPU）有着明显的优势。

近20年，学者们对基于FPGA的图像处理进行了大量的研究。例如，Kumar等[2]研究了用FPGA在动态环境下实现实时图像纠正和制图；Thomas等[3]、Kalomiros等[4]提出了软硬件结合的图像处理系统，对影像数据进行快速处理，明显提高了影像纠正和拼接的速度；王庆元等[5]提出了一种适合机载应用的基于FPGA的图像实时压缩系统，实现了机载遥感图像的无损和近无损图像实时压缩；Greisen等[6]采用FPGA流水线的处理方式，对立体影像视频的色彩进行纠正；Tomasi等[7]提出了一种基于FPGA的立体视觉算法，实现了对57帧/s帧率的视频图形阵列（Video Graphic Array, VGA）影像的纠正。Jóźwiak等[8]实现了多功能并行图像处理器的组合设计，解决了图像处理中通信和时序控制问题；Colodro-Conde等[9]则在硬件平台上实现了距离评价算法处理立体像对的设计，兼顾了硬件资源和处理速度；Malik等[10]利用FPGA搭建了视频影像快速处理的硬件平台，使图像处理效率达到390帧/s、大小为640像素×480像素的视频影像。在航拍成像相机的镜头畸变研究中，徐芳[11]和江洁等[12]对摄像机采用广角成像方式时产生的镜头畸变量进行了纠正，在FPGA上实现了部分纠正。这在一定程度上提高了纠正的速度，但是由于存在剩余畸变量，纠正后的影像只使用于图像的拼接，在后续的工作中仍需再次对影像进行纠正。陈文艺等[13]提出了四邻域像素的图像存储和插值的硬件实现算法，设计了基于FPGA的视频图像几何纠正系统，使视频延时小于1帧。范斌等[14]利用FPGA实现了一种硬件友好型的自动图像增强算法，并实时地对彩色图像进行自动增强。Huang等[15]提出了一种基于FPGA的星上角点检测和匹配的快速而简单的算法框架。Qi等[16]提出了一种基于FPGA的星上图像实时预处理（包括相对辐射校正和几何校正）的架构。

从国内外研究图像实时纠正系统的现状来看，目前对于影像的纠正硬件系统集中在视频图像实时纠正和立体像对实时纠正、几何纠正实时处理等方面，而针对遥感领域对地理空间位置要求较高的正射纠正实时处理的研究较少。

鉴于以上背景，本文提出了一种基于FPGA的星上影像正射纠正平台。由于传统的正射纠正算法（共线条件方程）的复杂度高，本文对共线条件方程算法进行了优化以便在FPGA上进行实现。本文所提出的基于FPGA的星上影像正射纠正平台主要分为外方位元素求解模块、旋转矩阵系数计算模块、坐标转换模块和插值模块。

1 正射纠正模型

在过去的几十年中，学者们已经提出了许多正射纠正模型（例如文献[17-19]）。根据影像类型和影像覆盖区域的地形地貌特征，人们可以选择一种适当的模型来进行遥感影像的正射纠正。本文利用基于共线条件方程的严格物理模型在FPGA硬件上实现遥感影像的正射纠正。与机载的框幅式成像方式不同，当前主流光学卫星大多采用线阵电荷耦合器件（CCD）推扫的成像方式。线阵CCD推扫的成像方式为行中心和列平行投影的结合，每一扫描行都对应着一组外方位元素。卫星在太空环境中的运行相对平稳，卫星的传感器位置和姿态可认为是随飞行时间而变化的。因此，在时刻，扫描行的构像方程为：

式中和为图像平面坐标，在时刻为0；为瞬时焦距；G、G和G为大地坐标；C()、C()和C()为时刻的投影中心的坐标；s()、e()和w()（=1，2，3）为时刻影像扫描行的旋转矩阵中的元素。旋转矩阵可通过（3）计算得到，

式中()、()和()分别为在本体坐标系中时刻绕、和轴旋转的角度，即外方位元素中的角元素。

一般地，每一景线阵CCD卫星遥感影像的外方位元素可以表示为时间的一次项函数[20-22]：

式中0、0和0为每一景影像的初始扫描行的旋转角；C0、C0和C0为每一景影像的初始扫描行的投影中心坐标；′、′、′、′C、′C和′C为外方位元素的变化率。

图像平面坐标可由式（5）求得

式中为扫描线的时间间隔；为CCD探测像元的大小；0为影像初始描行的成像时刻。

在进行大地坐标向图像平面坐标转换之前，需对内外方位元素进行求解。内方位元素一般可提前测定。外方位元素的详细求解过程可参照文献[20-21]。利用控制点，通过最小二乘平差进行求解，即可得到影像的外方位元素。

2 正射纠正模型优化

由于传统的共线条件方程的算法复杂度高，不适合用FPGA直接实现。因此，为了能够更好的在FPGA上实现正射纠正的快速处理，本节对共线条件方程进行了优化。

2.1 大地坐标向图像平面坐标的转换

在传感器成像时，地面点、投影中心和像点处于同一直线上。根据它们的共线关系，可建立共线条件方程来获取地面点的图像平面坐标（，）。为了能够在FPGA上实现大地坐标向图像平面坐标的转换，需要对共线条件方程进行优化。优化后的共线条件方程可分为三级运算，即

第一级：

第二级：

第三级：

式中N（=1，2，……，6）为中间变量。

2.2 图像平面坐标向像素坐标的转换

在获得图像平面坐标（，）之后，图像平面坐标需要转换为像素坐标（，）。图1定义了图像平面坐标和像素坐标系统。在图1中，为图像平面坐标原点，和分别为图像平面坐标系统的横纵坐标轴；和分别为像素坐标系统的横纵坐标轴。

图1 像素坐标系统和图像平面坐标系统

假设CCD探测像元的大小为，那么图像平面坐标与像素坐标有如下关系[22]：

式中i=CLM/2，j=ROW/2，（i，j）为图像平面坐标系原点在像素坐标系中的坐标，ROW和CLM为影像的行列的大小。

2.3 双线性插值

正射影像的像素灰度值可通过根据所得到的像素坐标（，）来确定。由于所得到的像素坐标不一定处在像素的中心，因此插值过程是必不可少的。综合考虑插值效果、算法的复杂度以及FPGA的资源量，本文所使用的插值方法为双线性插值方法，即

式中和为插值权重，它们的取值在（0，1）范围内；(，)为像素点（，）的灰度值。

双线性插值公式在形式上很复杂。式（10）包含8次乘法、3次加法以及2次减法。由于乘法器相对于加法与减法会占用较多的硬件资源，因此式（10）需要做适当的优化，如式（11）所示。式（11）只包含了3次乘法、3次加法和3次减法。这在一定程度上减少了插值模块所需使用的资源。

式中 GREY1，GREY2，GREY3和GREY4为原始影像的灰度值；GREY11和GREY12为中间变量；GREY5为插值的结果；=|–int()|和=|–int()|为插值的权重，其中int()和int()为取整运算。

3 FPGA实现优化后的正射纠正模型

为了实现星上实时正射纠正，本文提出了一种基于FPGA的正射纠正框架。如图2所示，本文所设计的硬件结构主要分为外方位元素求解模块、旋转矩阵系数计算模块、坐标转换模块和插值模块。图2中的0和0为图像平面坐标改正数；GC（geodetic coordinate）为大地坐标；IC（image plane coordinate）为图像平面坐标；PC（pixel coordinate）为像素坐标；CLOCK为时钟信号；RESET为重置信号；ENABLE为使能信号；RAM（random access memory）为随机存取存储器；GTI为大地坐标向图像平面坐标转换的模块；ITP为图像平面坐标向像素坐标转换的模块。

各个模块的具体功能如下：

1）外方位元素求解模块主要是利用姿态和轨道数据、控制点数据、相机参数等信息来求解外方位元素。输出的外方位元素会被存储在RAM中。外方位元素中的角元素作为旋转矩阵系数计算模块的输入。

2）旋转矩阵系数计算模块根据角元素进行方向余弦的计算，然后把获得的旋转矩阵系数存储在RAM中。

3）外方位元素中的线元素、旋转矩阵系数以及大地坐标和内方位元素会在同一时钟周期被传送到坐标转化模块中。坐标转换模块包含了大地坐标向图像平面坐标转换的模块GTI和图像平面坐标向像素坐标转换的模块ITP。

4）在同一时钟周期获得的像素坐标(，)会被传送到缓存原始影像灰度的RAM中以获取像素(，)的4个邻域的像素的灰度值GREY1，GREY2，GREY3，GREY4。另外，像素坐标(，)还会被传送到插值模块中，与4个邻域的像素的灰度值一起参与计算。最后输出正射纠正影像的灰度值。

图2 基于FPGA的正射纠正模型硬件结构

3.1 外方位元素求解模块

对于利用FPGA实现外方位元素的求解，我们在之前的工作已进行了相应研究，详细信息请参照文献[23]，在此不再赘述。

3.2 旋转矩阵系数计算模块

为了计算式（7）中的4、5和6，旋转矩阵的系数，即s()、e()和w()（=1，2，3）应先根据式（3）计算出来。为了使用FPGA来计算旋转矩阵的系数，本文设计了如图3所示的并行计算硬件模块。

图3 旋转矩阵系数计算模块的硬件架构

在本模块中，s()、e()和w()（=1，2，3）可通过3个旋转角（()，()和()）的正弦和余弦函数得到。通过使用坐标旋转数字计算算法（Coordinate Rotation Digital Computer, CORDIC）的知识产权（Intellectual Property, IP）核，3个旋转角的正弦和余弦函数可在FPGA上被使用。为了能够在同一时钟获得s()、e()和w()（=1，2，3），延迟元件被加入到了硬件模块中。在如图3的硬件模块中，12个乘法器和4个加法器被使用。

3.3 坐标转换模块

（1）大地坐标到图像平面坐标

根据式（6）、式（7）和式（8），本文设计如图4所示的硬件实现架构来实现大地坐标到图像平面坐标的转换。

图4 大地坐标到图像平面坐标转换的硬件架构

如图4所示，大地坐标、外方位元素中的线元素和旋转矩阵系数在同一时钟被接收。为了保证数据的同步性，延迟元件被加入到所设计的架构中。在计算的过程中，所设计的架构使用了11个乘法器、11个加法器和2个除法器。

（2）图像平面坐标到像素坐标

由于除法器会占用FPGA中大量的资源，为了减少除法器的使用，在FPGA上实现图像平面坐标到像素坐标的转换时，式（9）需要进行适当的变形。由于CCD大小为常数，可将其倒数1/提前计算储存在RAM中，因此式（9）中的除法即转换为乘法。此外，在求（i，j）时，只需对行列的大小（ROW，CLM）进行简单的向右移1位即可，而不需要进行除法计算。因此本文设计了如图5所示的硬件架构来实现图像平面坐标到像素坐标的转换。在计算的过程中，所设计的架构使用了2个乘法器、2个加法器。像素坐标（，）会在同一时钟周期获得，并传送到插值模块中。

图5 图像平面坐标向像素坐标转换的硬件架构

3.4 插值模块

根据式（11），本文设计了如图6所示的插值模块的硬件架构。

图6 插值模块的硬件架构

由于本文所使用的是双线性插值算法，因此需要对原始图像进行缓存。通过像素坐标（，）在缓存中来获取像素坐标（，）的4个邻域像素的灰度值。在图6的插值模块的硬件架构中，3个乘法器、3个减法器以及5个加法器被使用。

4 实验与分析

4.1 实验

为了验证本文所提出的基于FPGA的正射纠正平台的精度和处理速度，本文选取了某地区的SPOT6数据来进行验证。实验区的影像大小为1 024像素×1 024像素，CCD探测像元的大小为8.337 2 μm。所选用的SPOT6影像为全色波段（450~745 nm）影像，分辨率为1.5 m。

本文所使用的硬件平台是基于Xilinx公司的Artix-7系列的AC701 Evaluation Kit，FPGA的型号是Xilinx Artix-7 XC7A200T FBG676ACX1349 D4658436A ZC；设计工具为ISE4.7和System Generator；仿真工具为ModelSim SE10.1a。为了验证本文所提出的基于FPGA的正射纠正平台，所使用的正射纠正算法在MATLAB 2015a软件上也被实现了。所使用的高性能计算机装配了Windows 7操作系统，Intel(R) Core(TM) i7-4790 CPU @ 3.6GHz和8 GB的RAM。系统的结构图如图7所示。

SDRAM（Synchronous Dynamic Random Access Memory）为同步动态随机存储器；FLASH为闪存；UART（Universal Asynchronous Receiver/Transmitter）为通用异步收发传输器；JTAG（Joint Test Action Group）为联合测试工作组；LED（Light Emitting Diode）为发光二极管；POWER为电源。

4.2 结果与分析

在把已知参数分别输入到基于FPGA的正射纠正系统和基于MATLAB的正射纠正系统后，实验区的正射纠正的结果即可分别被获取（如图8所示）。

图8 实验区的正射纠正结果

（1）误差分析

为了定量地评价本文所提出的方法在进行正射纠正时的精度，均方根误差（Root-mean-square Error，RMSE）[24]被用来定量的分析本文所提出方法的纠正误差。沿像素坐标系的轴方向的RMSE为Δ，沿像素坐标系的轴方向的RMSE为Δ，平面的RMSE为Δ，它们可分别由式（12）和式（13）计算得到。

式中′和′为由本文所提出的方法纠正得到像素坐标；i和j为由基于MATLAB的正射纠正方法得到的像素坐标；为检查点序号，为检查点的数量，=1，2，…，。

为了计算RMSE，在实验区选取了22个检查点来进行验证。检查点在实验区的分布情况如图9所示。

图9 检查点在实验区的分布情况

根据式（12）和式（13），Δ，Δ，Δ的计算结果如表1所示。除了RMSE，本文同时统计了坐标差值的绝对值的最大值、最小值、均值以及标准差等统计量。如表2所示，像素坐标差值的绝对值的|′-|、|′-|坐标的最大值分别为0.67和0.57；最小值为0.002和0.001；均值分别为0.041和0.034。通过对误差进行的分析，可以说明基于FPGA的正射纠正精度能够满足在实际应用中的要求。

表1 沿坐标轴和坐标轴方向的RMSE及平面的RMSE

Tab.1 The RMSE of plane coordinates along i- and j- axis, and the RMSE of plane 像素

表2 像素坐标差值的绝对值的统计量

Tab.2 The absolute values of difference values of image coordinates 像素

（2）处理速度的比较

星上正射纠正处理的另一个重要评价指标就是处理速度。本文使用了一种标准化度量标准，即吞吐量来评价和比较本文所提出的基于FPGA平台的正射纠正方法与基于MATLAB平台的正射纠正方法的处理速度。吞吐量表示的是平台每秒钟能处理的像素量的能力。基于FPGA平台的正射纠正方法的吞吐量约为1.12×107像素/s；基于MATLAB平台的正射纠正方法的吞吐量为2.58×106像素/s。在纠正实验区的影像数据的整个过程，基于FPGA平台的正射纠正方法分别用了9.3ms；而基于MATLAB平台的正射纠正方法分则用了40ms。因此，基于FPGA平台的正射纠正方法比基于MATLAB平台的正射纠正方法快了大约4.3倍。

（3）资源利用率

资源利用率的多少是衡量硬件设计的一个重要指标。一般地，如果资源的利用率达到60% ~ 80%，这就表明所选择的器件能满足设计的需要。本文分别对坐标转换模块和插值模块在设计时使用到的缓存器（Buffer，BUF）、输入输出单元（Inputs and Outputs，IOs）以及查找表（Lookup Tables，LUTs）等资源的利用率进行了分析。对于坐标转换模块，主要的硬件资源包括1 062个BUF、312个IOs以及36 342个LUTs。对于插值模块，主要的硬件资源包括45 764个触发器、291个IOs以及75 779个LUTs。寄存器在坐标转换模块和插值模块中的利用率分别只有34%和24%。寄存器在两个模块中的利用率相对较低。然而查找表在这两个模块中的利用率分别为27%和56%，查找表在插值模块的利用率是坐标转换模块中的查找表利用率的2倍。这主要是由插值模块需要存储邻域像素的灰度引起的。总的来说，通过以上的综合分析，这可以说明本文所选择的FPGA器件的资源能够满足本文所提出的基于FPGA的正射纠正方法的要求。

5 结束语

本文提出了一种基于FPGA的正射纠正方法。通过对正射纠正模型进行优化，并充分考虑硬件模块内部的潜在并行度，该方法相对于地面处理平台的处理速度提高了约4.3倍，并能够保证纠正精度在1个像素之内。此外，FPGA器件的资源能够满足设计要求，例如坐标转换模块和插值模块对LUTs的利用率分别为27%和56%。因此，利用FPGA来实现星上的实时图像处理是可行的，具有广阔的应用前景。

[1] ZHOU G, CHEN W, KELMELIS J, et al. A Comprehensive Study on Urban True Orthorectification[J]. IEEE Transation on Geoscience and Remote Sensing, 2005, 43: 2138-2147.

[2] KUMAR P, SRIDHARAN K. VLSI-efficient Scheme and FPGA Realization for Robotic Mapping in a Dynamic Environment[J]. IEEE Transactions on Very Large Scale Integration (VLSI) Systems, 2007, 15(1): 118-123.

[3] THOMAS U, ROSENBAUM D, KURZ F, et al. A New Software/Hardware Architecture for Real Time Image Processing of Wide Area Airborne Camera Images[J]. Journal of Real-time Image Processing, 2008, 4: 229-244.

[4] KALOMIROS J, LYGOURAS J. Design and Evaluation of A Hardware/Software FPGA-based System for Fast Image Processing[J]. Microprocessors and Microsystems, 2008, 32: 95-106.

[5] 王庆元, 王琨, 武文波. 机载高分辨率遥感图像实时压缩系统研究[J]. 航天返回与遥感, 2010, 31(5): 56-64. WANG Qingyun, WANG Kun, WU Wenbo. Study on Airborne High Resolution Remote Sensing Image Real-time Compression System[J].Spacecraft Recovery & Remote Sensing, 2010, 31(5): 56-64. (in Chinese)

[6] GREISEN P, HEINZLE S, GROSS M, et al. An FPGA-based Processing Pipeline for High-definition Stereo Video[J]. EURASIP Journal on Image and Video Processing, 2011, 2011(18): 1-13.

[7] TOMASI M, VANEGAS M, BARRANCO F, et al. Real-time Architecture for A Robust Multi-scale Stereo Engine on FPGA[J]. IEEE Transactions on Very Large Scale Integration (VLSI) Systems, 2012, 20(12): 2208-2219.

[8] JÓŹWIAK L, JAN Y. Design of Massively Parallel Hardware Multi-Processors for Highly-demanding Embedded Applications[J]. Microprocessors and Microsystems, 2013, 37: 1155-1172.

[9] COLODRO-CONDE C, TOLEDO-MOREO F, TOLEDO-MOREO R, et al. Evaluation of Stereo Correspondence Algorithms and Their Implementation on FPGA[J]. Journal of Systems Architecture, 2014, 60: 22-31.

[10] MALIK A, THORNBERG B, IMRAN M, et al. Hardware Architecture for Real-time Computation of Image Component Feature Descriptors on a FPGA[J]. International Journal of Distributed Sensor Networks, 2014, 2014: 1-14.

[11] 徐芳.基于FPGA的航空CCD相机图像畸变校正技术研究[D]. 长春: 中国科学院研究生院(长春光学精密机械与物理研究所), 2013. XU Fang. Research on Correcting Image Distortion of Aerial CCD Camera based on FPGA[D]. Changchun: University of Chinese Academy of Sciences, 2013. (in Chinese)

[12] 江洁, 张广军, 周富强, 等.大视场角物镜畸变的实时数字纠正[J]. 仪器仪表学报, 2004, 25(2): 174-178. JIANG Jie, ZHANG Guangjun, ZHOU Fuqiang, et al. Distortion Correct ion of the Wide-angle Objective Lens with Real-time Digital Technology[J]. Chinese Journal of Science Instrument, 2004, 25(2): 174-178. (in Chinese)

[13] 陈文艺, 田科, 周娟.基于FPGA的实时视频图像几何校正系统设计[J]. 电视技术, 2014, 38(3): 66-69. CHEN Wenyi, TIAN Ke, ZHOU Juan. Real-time Video Images Geometric Correction System Based on FPGA[J]. Video Engineering, 2014, 38(3): 66-69.

[14] 范斌, 于起峰. 一种硬件友好型自动图像增强算法与实现[J]. 航天返回与遥感, 2016, 37(6): 46-56. FAN Bin, YU Qifeng. Design and Implementation of a Hardware-friendly Automatic Image Enhancement Algorithm[J]. Spacecraft Recovery & Remote sensing, 2016, 37(6): 46-56. (in Chinese)

[15] HUANG J, ZHOU G, ZHOU X, et al. A New FPGA Architecture of Fast and BRIEF Algorithm for On-Board Corner Detection and Matching[J]. Sensors, 2018, 18: 1014-1031.

[16] QI B, SHI H, ZHUANG Y, et al.On-board, Real-Time Preprocessing System for Optical Remote-sensing Imagery[J]. Sensors, 2018, 18: 1328-1345.

[17] YANG G, ZHU X. Ortho-rectification of SPOT 6 Satellite Images Based on RPC Models[J]. Applied Mechanics and Materials, 2013, 392: 808-814.

[18] REINARTZ P, MÜLLER R, SCHWIND P, et al. Orthorectification of VHR Optical Satellite Data Exploiting The Geometric Accuracy of TerraSAR-X Data[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2011, 66: 124-132.

[19] AGUILAR M, SALDAÑA M, AGUILAR F. Assessing Geometric Accuracy of the Orthorectification Process from GeoEye-1 and WorldView-2 Panchromatic Images[J]. International Journal of Applied Earth Observation and Geoinformation, 2013, 21: 427-435.

[20] ZHOU G, LI R.Accuracy Evaluation of Ground Points from High-resolution Satellite Imagery IKONOS[J]. Photogrammetric Engineering and Remote Sensing, 2000, 66:1103-1112.

[21] 苏文博. 航天线阵CCD传感器在轨几何定标技术研究[D]. 郑州: 解放军信息工程大学, 2010. SU Wenbo. Research on Techniques for On-orbit Geometric Calibration of Space Linear CCD Sensors[D]. Zhengzhou: PLA Information Engineering University, 2010.

[22] 饶艳伟, 唐新明, 王华斌, 等.SPOT HRG影像无控制正射纠正实验与精度分析[J]. 测绘科学, 2008, 3: 82-84. RAO Yanwei, TANG Xinming, WANG Huabin, et al. The SPOT HRG Images Ortho-rectification Experiment and Pricision Analysis without GCPs[J]. Science of Surveying and Mapping, 2008, 3: 82-84.

[23] ZHOU G, JIANG L, HUANG J, et al. FPGA-based On-board Geometric Calibration for Linear CCD Array Sensors[J]. Sensors, 2018, 18: 1794-1812.

[24] REINARTZ P, MÜLLER R, LEHNER M, et al. Accuracy Analysis for DSM and Orthoimages Derived from SPOT HRS Stereo Data using Direct Georeferencing[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2006, 60: 160-169.

Ortho-rectification for Remote Sensing Image Using FPGA

ZHANG Rongting1,2,3ZHOU Guoqing1,2,3*ZHOU Xiang2,3LIU Dequan3HUANG Jingjin1,3

（1 School of Precision Instrument and Opto-electronic Engineering, Tianjin University, Tianjin 300072, China）（2 Guangxi Key Laboratory for Spatial Information and Geomatics, Guilin University of Technology, Guilin, 541004, China）（3 The Center for Remote Sensing, Tianjin University, Tianjin 300072, China）

By traditional ortho-rectification method, the remote sensing (RS) imagery cannot be processed until it is downlinked to ground receiving station. Therefore the traditional method has been unable to meet the user requirements on image processing timeliness. To solve this problem, a new ortho-rectification method is proposed in the paper based on field programmable gate array (FPGA) platform, and then the (near) real-time ortho-rectification algorithm on board is implemented. The proposed platform adopts modular design, including the calculation of exterior orientation elements module, the calculation of rotation matrix module, the transformation of coordinate module, and interpolation module. SPOT6 image is used to validate the correction accuracy and the processing speed of the proposed method. Compared to the traditional ortho-rectification method, i.e. the personal computer (PC)-based ortho-rectification, the ortho-rectification results of the proposed method show that the correction accuracy is less than 1 pixel; and the processing speed is 4.3 times faster than that by PC-based method. In summary, the method using FPGA to perform ortho-rectification can improve the correction speed and accuracy.

ortho-rectification; field programmable gate array; hardware implementation; (near) real-time performance; collinear condition equation; space remote sensing

TP75

A

1009-8518(2019)01-0020-12

10.3969/j.issn.1009-8518.2019.01.003

张荣庭，男，1989年生，2015年获桂林理工大学地质资源与地质工程专业硕士学位，现为天津大学精密仪器与光电子工程学院博士研究生，主要研究方向为摄影测量与遥感。E-mail：zrt65@tju.edu.cn。

周国清，男，1965年生，1994年获武汉测绘科技大学（现为武汉大学）摄影测量与遥感专业博士学位，教授。主要研究方向为摄影测量与遥感。E-mail：gzhou@glut.edu.cn。

2018-08-18

广西创新驱动发展专项（科技重大专项）（桂科AA18118038）；国家自然科学基金重点项目（41431179）；国家重点研究发展计划（2016YFB0502500）；国家自然科学基金（41601365）；广西空间信息与测绘重点实验室主任开放基金（桂科能163802506，163802530）；广西自然科学基金（2015GXNSFDA139032）。

（编辑：庞冰）