基于单FPGA+LPDDR2的高性能低功耗红外图像处理技术∗

周 燕

（华中光电技术研究所-武汉光电国家研究中心 武汉 430073）

1 引言

在红外图像处理领域，为了获取高质量成像，需要具备较高的数据带宽能力、更多的资源、更高的处理速度，如何在较小的尺寸、较低功耗条件下具备更高的图像处理性能，需要有针对性地研究高性能低功耗的硬件架构，同时需要针对硬件架构特点进行软件算法处理的适应性迭代升级［1～4］。

本文基于低成本、低功耗单FPGA（内嵌软核处理器）+LPDDR2的主图像处理架构，持续研究了高性能低功耗红外图像处理技术，主要包含硬件和软件两方面技术研究工作。硬件上需要设计高速、大容量、小尺寸、低功耗的高性能红外图像处理电路，软件上不仅需要实现640×512@200Hz的实时红外图像处理，包括非均匀校正、坏元处理、图像滤波、图像增强、灰度变换、Gamma校正等算法，还要进一步支持1280×1024甚至更高分辨率红外成像的实时红外图像处理功能［5～10］。

2 硬件设计

在整个硬件架构中，核心技术是高速数字信号处理电路。高性能小尺寸图像处理电路采用Altera公司的低功耗、低成本Cyclone V系列的FPGA芯片作为处理器，采用单FPGA+单LPDDR2的图像处理架构进行相关的图像处理工作，并辅以其它外围电路完成相应的功能［11～12］，高速数字信号处理电路原理如图1所示。

图1 高速数字信号处理电路原理框图

在硬件电路设计上，本文采用基于Cyclone V+LPDDR2的全新图像处理技术构架，需平衡高性能与低功耗的矛盾，要做好LPDDR2+FPGA的技术设计，因LPDDR2访问频率可达数百兆，要特别注意信号线等长、传输匹配、屏蔽干扰等技术细节［13～14］。

高速数字信号处理电路按功能划分主要包括前端接口电路设计、高速数字信号处理电路设计、模拟视频输出电路设计、功能扩展电路设计等功能单元。

2.1 前端接口电路设计

前端接口电路设计主要完成高速数字信号处理电路与前端模拟电路及红外探测器之间的接口互连功能。满足红外探测器的时序控制需求及接口电平要求，从前端模拟电路读出探测器输出的原始图像数据并发送给数字图像处理单元进行图像处理。

选用的高速数字信号处理电路与模拟板之间的连接器为高密度、低堆叠高度接插件，减小了占用体积。

2.2 高速数字信号处理电路设计

高速数字信号处理电路需要能够支持原始图像数据缓存、非均匀性校正、坏元处理、图像滤波、图像增强、灰度变换等功能的硬件支持。本系统采用的QSYS系统构架相较于广泛采用的DSP（或单片机）＋FPGA系统构架在硬件电路上更为简化，在电路板上减少了一片处理器芯片，减少了处理器与FPGA及外部存储器之间的大量电路导线连接，降低了对FPGA的通用I/O数量需求。原始图像数据缓存、非均匀性校正、坏元处理等功能需要大容量的存储器，目前的FPGA主流芯片的片内存储器容量有限，而且在同样的存储器容量的情况下FPGA片内的存储器要比单独的RAM芯片的成本要高的多，因此系统需要在FPGA芯片的外围扩展RAM和Flash等器件。为了进一步降低电路板功耗、减少电路板面积，采用FPGA+DRAM的图像处理架构实现所有图像处理功能，在降低系统体积、成本和功耗的同时，能够满足系统的复杂、实时、高速图像处理任务。

鉴于手持/便携式中小移动平台对高性能、低功耗的技术需求，本系统采用单FPGA+LPDDR2的图像处理方案，LPDDR2存储器内核供电电压低至1.2V，IO访问电平标准也为单端/差分1.2V，其功耗与DDR2存储器相比有明显降低。

基于QSYS的实时红外图像处理系统与基于DSP（或单片机）＋FPGA图像处理系统在硬件上相比，不同点在于本系统采用单QSYS处理器来替代DSP＋FPGA处理器构架来完成相关的红外图像处理任务，采用LPDDR2存储器大幅度增加了外设内存空间，为处理复杂图像算法提供平台。

3 软件设计

本系统的软件开发基于高性能小尺寸图像处理电路，在Quartus II软件平台上完成图像处理模块的程序设计及QSYS系统的综合、优化、适配、远程下载和硬件系统调试，采用HDL语言（硬件描述语言）来完成RTL级程序设计任务。为满足红外图像处理系统的实时性要求，需要采用并行流水线处理的方式来实现某些计算量较大的图像处理任务。QSYS系统的图像处理架构框图如图2所示。

图2 QSYS系统的图像处理框图

与传统的基于DSP（或单片机）＋FPGA的图像处理系统相比，基于QSYS的实时红外图像处理系统与在软件开发上有三个优点。

1）其软核处理器Nios II的外设配置灵活；

2）对复杂算法采用硬件加速，可以将某些复杂算法生成硬件加速电路，作为Nios II处理器的自定制指令；

3）QSYS系统共用同一套开发环境、同一套调试设备、同一段程序代码，更有利于系统调试、升级和维护。

红外成像组件的图像处理主要包括图像采集缓存、总线切换控制、非均匀性校正、坏元处理、时域滤波、竖纹滤波、图像增强、灰度变换、连续电子变倍、控制管理等功能［15］。

1）图像采集缓存

图像采集单元为模拟板提供AD转换时钟源，并按时序驱动规则生成LPDDR2乒乓切换地址，将模拟板AD转换后的原始图像数据按探测器行列输出顺序将有效像素数据提取出来，将相邻两帧红外图像乒乓写入对应的外部LPDDR2地址区域，供后端图像处理乒乓读出使用。

2）非均匀性校正

红外探测器的图像即使经过再好的前端校正控制也无法使每个像元在各种工作条件下的输出响应均接近理想值，必须对红外原始图像进行后端非均匀性校正。在硬件电路上常用的实时校正方法主要包括一点校正、基于两点温度的两点校正、基于两点积分时间的两点校正及相关的改进型校正方法等。

国产红外探测器的像元响应均匀性较差、噪声较重，需要使用比较复杂的校正方法才能达到较好的图像效果。为了用户体验使用方便，需对前端校正和后端非均匀性校正进行存表，每次上电、手动校正或工作环境温度改变时能够自动调取相应的校正表，再执行一次校正操作修正偏移量即可。根据不同的探测器特性可能需要研究更好的校正方法，而且前端校正表和后端校正表为了适应更宽的工作稳定范围可能需要存储多个校正表。

3）坏元处理

红外探测器由于制作工艺的原因，原始图像中会带有小比例的坏元，本文中，由于坏元数目教少，坏元簇内的坏元数量一般不超过5个像素，采用领域替代法进行坏元处理，以较小的资源代价取得了较好的坏元处理效果。

4）时域滤波

基于LPDDR2的时域滤波算法，有效抑制横滚、椒盐等噪声，对提升图像质量和NETD等指标有显著改善效果。

5）竖纹滤波

红外探测器受限于材料、工艺机理，不可避免地存在时空域的条纹噪声，本系统所研究的通用型竖纹滤波能有效改善图像中的竖纹，对提升MRTD指标有一定的作用。

6）图像增强

红外图像数字细节增强（DDE）技术通过增强目标与背景之间细微结构（如边缘、轮廓、纹理等）的对比度来提高对细小目标的探测和识别能力，本文的DDE算法在多种场合均取得较好的图像增强效果［16～18］。

7）灰度变换

与可见光图像相比，红外热成像系统具有信噪比低、对比度差等特点，针对传统显示设备显示灰度级较小（256级），研究非线性压缩方法，将空域高动态范围（比如14bit）红外图像映射到8bit并获得适合人眼观察、判断、识别的显示。直方图均衡化（HE）是一种提高图像对比度的有效方法，它利用变换函数修正输入图像的直方图，其实质是增强占有较多像素的灰度级、抑制占有较少像素的灰度级，占有较少像素的灰度级被合并，灰度范围缩小，实际有效灰度级必然小于或等于原图像的有效灰度级［19～21］。

8）全屏连续变倍

全屏连续变倍是对图像的大小进行调整的过程，需要在处理效率及结果的平滑度、清晰度上做一个权衡。

本文采取双线性插值的方式进行全屏连续变倍，实现横向分辨率独立调整、纵向分辨率独立调整、电子放大三个功能。

9）控制管理

控制管理单元实现与模拟板、系统通讯功能，对热像仪的一些参数进行控制，包括图像亮度、对比度、图像极性、滤波方法、增强方法、校正方法、分划显隐、通道切换、显示模式和基本参数的读写等功能状态参数。通过基于QSYS的内嵌Nios处理器来实现与系统、模拟板通讯，Nios通过QSYS系统的Avalon总线与FPGA内的逻辑单元连接，还可直接访问LPDDR2和Flash，执行实时性要求不太高的复杂算法。

10）菜单字符显控

小型化低功耗红外成像组件应用在某些综合类观测设备，该观测设备还包括激光测距传感器、白光CCD传感器、北斗定位、数字罗盘定向等功能模块，红外组件不仅要实现红外成像的基本功能，还要在红外机芯上按要求同时完成多模块开机自检信息显示、实时状态显示、逐级显示各级菜单字符界面等功能。

4 结语

本文在硬件设计上采用了单FPGA+LPDDR2的架构，提供了高度、大容量、低功耗的LPDDR2存储单元，为后续的算法升级提供了空间。单FP⁃GA+LPDDR2图像架构的存储容量大于2Gb、数据吞吐速率大于20Gbps、尺寸小于 3.5×3.5cm2、功耗小于1.6W等。单FPGA+LPDDR2图像处理平台已在国产640×512红外机芯成功应用并得到验证，不仅实现了原有图像处理算法，还在该平台上新增了时域滤波、竖纹滤波、全屏连续变倍等复杂实时图像算法，有效提升了图像质量及NETD等关键指标。

本文阐述的方案只需少量适应性修改即可推广到其他产品，也可支持1024甚至更高分辨率的红外图像处理，能够快速提升红外成像相关产品的图像质量、轻量化和长续航能力，其采用的电子技术对激光测距、光电导航、吊舱警戒、跟踪预警等领域的小型化、低功耗设计也有较强的参考价值。