基于DSP+FPGA框架的实时目标跟踪系统设计

高 文，朱 明，刘 剑，汤 洋

(中国科学院 长春光学精密机械与物理研究所，吉林 长春 130033)

1 引 言

随着我国武器研制水平的不断提高，高速度、高机动能力的武器装备越来越多，这就要求对于有目标跟踪功能的型号武器有能够对快速运动的战场目标能够稳定跟踪，同时对于目标与型号武器的相对运动较大导致的目标尺度变化大、速度快等情况都有很好的鲁棒性，这些都要求目标跟踪系统有更高的处理速度以及更复杂稳定的跟踪算法[1-3]。而对于工程应用中的目标跟踪算法受到嵌入式系统[4]的限制，对于浮点运算较多、计算量较大的如SIFT特征点匹配[5]、基于主成分分析(PCA)[6-7]的目标跟踪、基于snake模型[8-9]的目标跟踪等都很难在嵌入式系统上实现实时处理，现有的工程应用成熟的重心跟踪和相关跟踪对于复杂情况存在跟踪丢失等问题。基于以上分析，本文设计了一种基于TI TMS320C6455+ FPGA的实时目标跟踪系统，并将其应用在实际工程中。实验表明对于目标快速运动以及目标多尺度变化有稳定跟踪效果的同时，处理时间每帧仅需13.5 ms，能够满足工程实时性要求。

2 系统结构与工作原理

2.1 系统结构

本目标跟踪系统采用的是DSP+FPGA的框架，其中DSP采用世界上最大的DSP芯片商——德州仪器(TI)公司的TMS320C6455，其主频为1.2 GHz，相较于目标跟踪系统中常用的主频为1 GHz的TMS320C6455，不仅处理速度有很大提升，片上存储空间也提升至了2 Mbyte。

TMS320C6455是该公司新推出的高端DSP芯片，也是目前单片处理能力最强的定点DSP。它建立在增强型C64X+DSP内核基础之上，该内核添加了专用新指令与基于TI当前高级C64X DSP架构的代码，代码尺寸平均缩短了20%～30%，周期效率提高了20% 。新指令包括复杂的32位宽乘法以及同步加减法指令，提高了快速傅里叶变换(FFT)以及离散余弦变换(DCT)的性能。TMS320C6455时钟频率为1.2 GHz，16位定点处理能力为9 600 MMAC/s。推出TMS320C6455前，TI的DSP单片处理能力较强，但是芯片间的数据传输问题没有解决，构建多处理器平台比较复杂。而新推出的TMS320-C6455采用了SerialRapidIO接口技术，互连速率高达25 Gbit/s，很好地解决了芯片间的数据传输问题，搭建多处理器平台变得简单方便。C6455用了两级高速缓存，片内存储容量为2M字节，一个64位总线宽度的EMIFA(外部存储器接口)，一个参数RAM内对应的事件可灵活配置的8个32 bit 字64 个独立通道的增强型直接存储器访问 EDMA3，以及HPI、PCI、I2C、千兆以太网口(EMAC)、可控制的数据I/O口(MDIO)等多种集成外设。由于内部没有ROM存储器，需要挂载一片FLASH用于外部引导。

FPGA采用ALTERA公司的高端StratixII系列芯片，型号为EP2S系列EP2S60-F1020C5，该芯片具有逻辑单元60 440个，RAM总数为318 024 kbit，DSP blocks 36个，18 bit×18 bit 乘法器144个，PLL12个，最大使用IO数718个。视频编解码芯片分别使用3M公司的DS90CR285和DS90CR286实现。

2.2 工作原理

本系统的结构原理框图如图1所示。

图1 系统原理图Fig.1 Block diagram of system

实时图像跟踪领域，实时性差将导致脱靶量滞后、以及当帧计算不完造成的脱靶量错误甚至目标丢失，这会给后续的伺服系统带来未知甚至是灾难性的后果。基于DSP+ FPGA框架图像处理系统是当前一种比较成熟、稳定且应用广泛的硬件结构。

本系统中FPGA完成时序控制及调度等工作，算法部分在DSP中运算完成。

图2 系统工作流程图Fig.2 Flowchart of system working

相机接入视频解码芯片将CameraLink格式的数据信号转换成TTL信号，接入FPGA，FPGA将实时采集的图像数据存入SDRAM中；经过FPGA进行图像预处理将采集到的图像存入SDRAM，当SDRAM存入一帧图像后，连同产生的像素时钟和行、场同步信号经由DSP的EMFA口传入DSP的片上存储空间中，DSP启动DMA从SDRAM中读入内部内存，进行目标跟踪的相关处理，DSP每次计算结束后将跟踪结果通过串口芯片ST16C752传给控制计算机或者传动装置；与此同时将计算得出目标位置传给FPGA，FPGA叠加字符和跟踪框在图像上并存入SDRAM中，再将SDRAM中的图像送入编码芯片进行编码，生成标准视频输出给监视器。

本系统的工作流程如图2所示。

3 目标跟踪算法

均值漂移(MeanShift)[10]算法是一种基于核密度直方图的无参数估计方法，其采用核直方图作为目标模板的描述，用巴氏系数作为相似性度量，采用均值漂移向量迭代的方法得到目标的最优位置，其计算量相对小，直方图的计算易于硬件实现，但是其缺点是：(1)当目标两帧间的运动超过目标的半径时，均值漂移算法将失效，因此其不适用于快速目标运动的情况；(2)并且当目标选择过大导致有大量背景在目标模板建立过程中参与计算，而使得目标跟踪过程受背景影响较大导致偏移甚至丢失等情况。本文采用金字塔的方法对其进行改进，并且针对(2)中分析的情况在模板的直方图建立时进行了背景加权处理。

3.1 均值漂移目标跟踪算法

均值漂移算法中对目标的描述采用核直方图如公式(1)所示。

(1)

其中：C为归一化常数，k为核函数，Bhattacharyya系数定义如下：

(2)

其中:p为候选目标区域核直方图，q为模板的核直方图，那么均值漂移向量为公式(3)所示。

(3)

其中：x表示候选区域的像素位置，w为该位置的权值，其公式如(4)所示:

(4)

3.2 金字塔均值漂移目标跟踪算法

均值漂移算法应用在目标跟踪中有一个限制，就是当目标在前一帧与当前帧的运动范围超过目标的半径时，算法将失效，如图3(a)所示，图中间的浅灰色圆圈代表当前目标的真实位置，A点代表上一帧目标的位置，在当前帧的计算是从A点开始计算的，黑色虚线框就是计算的最大漂移范围，而目标的真实位置不在该范围内，所以计算肯定会不正确，图(b)是按照采样频率为2进行向下降采样，仍然可以看到目标真实位置不在计算范围内，当再向下采样得到2级金字塔图像时，目标的真实位置在计算范围内则能够正确计算得到目标位置，因此对于均值漂移算法在目标跟踪中的限制可通过金字塔进行解决。

图3 金字塔均值漂移示意图Fig.3 Diagram of pyramid MeanShift

对于工程实际中，目标通常取为64×64，目标候选区域即波门大小通常为256×256，那么取2级金字塔即向下采样两次则能够适应各种快速变化。

假设物镜组件采用透射式设计，有效孔径30 mm、镜头焦距95 mm(长焦模式)、视场角为2.4°×1.8°，CCD的有效像素数为720×576。以小型指挥机构或车辆为例，其结构尺寸大致在5 m×5 m×5 m量级，在距离目标5 km时，单个像素对应的目标尺寸约为0.29 m，即至少需要20×20个像素。由于模板的大小在跟踪开始时一般应该是目标的3～10倍，即理论上对于此类目标，其对应的模板大小至少应为60×60。考虑到算法最终将被移植到嵌入式系统中，本文将模板大小取为64×64，这是因为64与2存在整次方倍数关系，便于DSP指令的流水线操作。

当目标的运动速度为90 km/h时，即25 m/s，以模拟视频帧频为25 Hz为例计算，每帧目标的运动速度在1 m，大约相当于4个像素，可见波门范围选择是合理的。

3.3 背景加权的目标初始化模型建立

考虑到目标点选过大时背景的影响，采用背景直方图加权的方式进行改进，模板的公式如下：

(5)

其中：v为背景权值，其通过模板周围2倍大小的区域计算直方图ou得到,omin为其直方图ou的非零最小值。

(6)

4 实验结果

为了验证本文算法的有效性，我们在基于DSP C6455+FPGA框架的嵌入式系统上进行了实验，相机采用分辨率为1 024×768的3CCD相机，处理得到的带有跟踪框的图像通过千兆网传输，我们利用千兆网盒将图像采集到计算机上进行显示。

图4为一组实验结果。图中红色十字丝为图像的中心，红色方框为当前帧的目标跟踪结果，从图4(a)、(b)中可以看出，目标在两帧过程中发生了快速运动，本文算法能够稳定跟踪目标，并且对一定程度的模糊有鲁棒性，到图4(e)、(f)时目标出现了尺度变化以及超平面旋转，一直到50帧时目标变大为原来的1.5倍，本文算法都能够稳定跟踪。

本文算法在DSP TMS320C6455上实现，平均运行时间为每帧13.5 ms，对于工程上30帧的视频图像能够完成实时处理，满足实时性要求。

图4 实验结果Fig.4 Experiment results

5 结 论

设计了一套基于DSP+FPGA的嵌入式实时目标跟踪处理系统，该系统实现了一种金字塔均值漂移算法，通过实验结果表明，该系统对于目标快速运动、尺度变大、变小、超平面旋转以及一定程度的模糊均有很好的稳定性，每帧的平均处理时间在13.5 ms，能够满足工程中对于实时性的要求。

[1] 贺柏根,刘剑,马天玮.基于DSP+FPGA的实时图像去雾增强系统设计[J].液晶与显示,2013,28(6):968-972.

He B G, Liu J, Ma T W. Real-time image defogging and enhanced system designed based on DSP+FPGA [J].ChineseJournalofLiquidCrystalsandDisplays, 2013, 28(6):968-972.(in Chinese)

[2] 朱秋平,颜佳,张虎,等.基于压缩感知的多特征实时跟踪[J].光学 精密工程,2013,21(2):437-444.

Zhu Q P, Yan J, Zhang H,etal. Real-time tracking using multiple features based on compressive sensing [J].Optics and Precision Engineering,2013,21(2):437-444.(in Chinese)

[3] 龚俊亮,何昕,魏仲慧,等.采用改进辅助粒子滤波的红外多目标跟踪[J].光学 精密工程,2012,20(2):413- 421.

Gong JL,He X,Wei Z H,etal. Multiple infrared target tracking using improved auxiliary particle filter[J].Opt.PrecisionEng.,2012,20(2):413-421. (in Chinese)

[4] 张云峰. 基于DSP的实时图像拼接技术[J]. 液晶与显示，2013,28(6)：963-967.

Zhang Y F. Realtime image mosaic technology based on DSP[J].ChineseJournalofLiquidCrystalsandDisplays,2013,28(6): 963- 967.(in Chinese)

[5] 苏可心，韩广良，孙海江.基于SURF的抗视角变换图像匹配算法[J].液晶与显示，2013,28(4):626-632.

Su K X, Han G L, Sun H J. Anti-viewpoint changing image matching algorithm based on SURF [J].ChineseJournalofLiquidCrystalsandDisplays, 2013, 28(4):.626-632.(in Chinese)

[6] Roweis S. EM algorithms for PCA and SPCA [M]//AdvancesinNeuralInformationProcessingSystems,MIT Press,1997: 626-632.

[7] 孙晓燕,常发亮. 梯度特征稀疏表示目标跟踪[J]. 光学 精密工程,2013,21(12):3191-3197.

Sun X Y, Chang F L. Object tracking based on sparse representation of gradient feature [J].Opt.PrecisionEng., 2013,21(12):3191-3197.(in Chinese)

[8] 王丽佳,贾松敏,王爽,等. 采用改进Mean Shift算法的移动机器人行人跟踪[J].光学 精密工程,2013,21(9):2364-2370.

Wang L J, Jia S M, Wang S,etal. Person tracking of a mobile robot using improved Mean Shift [J].Opt.PrecisionEng., 2013,21(9):2364-2370. (in Chinese)

[9] 匡金骏,柴毅,熊庆宇.结合标准对冲与核函数稀疏分类的目标跟踪[J].光学 精密工程, 2012, 20(11): 2540- 2547.

Kuang J J, Chai Y, Xiong Q Y. Visual object tracking combined normal hedge and kernel sparse representation classification[J].Opt.PrecisionEng., 2012, 20(11): 2540- 2547.(in Chinese)

[10] Comaniciu D, Ramesh V, Meer P. Kernel-based object tracking[J].IEEETransactiononpatternanalysisandmachineintelligence, 2003,25(5):564-577.