一种高速总线的采集与回放系统的设计

于晓庆，向才炳

(1.中国电子科技集团公司第五十四研究所，河北 石家庄 050081；2.中国人民解放军320021部队，北京 100094)

0 引言

当今时代科学技术日新月异，数据采集、数据数据分析的应用范围也越来越广，各个领域对数据分析技术都提出了更高的要求，尤其在雷达通信、卫星探测及电子侦察等，掌握数据高速采集析技术更显得至关重要[1]。

可编程逻辑器件和大规模集成电路飞速发展，数字化信号处理方法在高速数据处理过程中发挥着越来越重要的作用，这对于数字采集提出了更高的要求。数据采集与回放系统通常可以分为2类：一类实时存储记录数据并完成信号处理[1]，一般适用于高速、大容量的信号处理现场，通过采集到的信息实时处理结果，从而做出相应措施。例如拦截敌方目标时，从发现攻击导弹目标起，就要求预警系统实时进行数据处理，确定跟踪目标，计算目标飞行轨迹，保证拦截导弹对敌方目标精准拦截[2]；另一类则不要求实时进行信号处理,主要是记录现场数据，事后将采集记录的数据进行分析[3]。例如弹载和机载雷达系统，外场试验成本较高难度较大，需要将大量数据存储记录以供后期去分析处理[4]。

在现代导航系统中，由于导航信号波形越来越复杂，带宽不断提高，测试难度变大，对导航信号进行采集、记录和分析处理研究显得尤为重要。因此本文研究的高速采集与回放系统正是一种对导航实时采集记录与分析系统,整个系统基于VPX架构实现，保证数据可靠稳定的传输。

1 总体设计

随着通信技术的不断发展，通信设备在数据处理速度上逐渐向高速高精度发展，目前VPX总线技术广泛应用[4-6]，为通信系统获得更高的性能和带宽。因此本文采集回放系统采用高速的VPX架构平台，该平台主要在真实的环境下进行采集与回放。导航信号采集回放系统由主控计算机板、信号采集回放卡、高速信号存储卡和固态存储卡组成，其总体方案如图1所示。

图1 采集与回放系统的硬件设计方案

主控计算机板采用基于VPX架构的控制器实现，为采集、回放和存储功能单元提供高速数据互联接口。信号存储单元采用基于VPX总线的固态存储单元构成，存储单元由固态存储模块组成RAID5，实现高速海量存储。信号采集回放卡完成对4路70 MHz/300 MHz中频信号实时采集与回放，当回放时从磁盘阵列读取采集数据，并利用数模转换器生成原始信号进行回放。

结合导航信号的特点，对采集回放系统提出如下指标要求：

① 采集信号中心频率：70 MHz，300 MHz；信号带宽与输入信号带宽匹配；

② 回放的时间码和数据对齐关系<10 μs；采集回放时延稳定性优于1 ns;

③ 回放速率≥400 Msps；

④ 输入、输出信号电平：-20～+10 dBm；

2 硬件设计

采集与回放系统在硬件设计过程中充分考虑了该平台的通用性和可移植性，从芯片选型、接口预留、资源分配、通信标准制定采用模块化设计理念，详细介绍各模块硬件选型及实现[7-8]。

信号采集回放板[9]：主要实现对A/D信号的采集与缓存、完成对DDR3、PCIe协议实现，并且通过D/A完成数据回放功能。

信号采集回放板由VPX总线接口底板和2块FMC接口AD和DA子卡组成。底板核心器件选用xilinx公司Vertex-7系列XC7V690T。时钟电路主要芯片为ADI公司的AD9517-0和AD9508，FMC接口AD和DA子卡上AD9517-0产生4路时钟信号。

VPX主控计算机板[10]：主要完成通过网络接口和远程控制中心实现数据互通和远程监控。主板通过XMC接口扩展2路万兆网口，可通过万兆网接口导出数据VPX计算机主板为半定制高性能计算机主板。

计算机主板[11]选用Intel第三代I7四核八线程高性能处理器，提供了可支持全网状交换的高速数据通道，其中P1，P2各支持 4 个 PCIe x4 Gen3总线接口。该产品具有很强的扩展性，可以很好满足多负载多节点的应用需求。

固态存储卡[12-13]：主要实现2 GB/s以上的存储和回放速度，固态盘阵列选用Intel SSD DC S3520系列的SSD，采集回放设备项目采用Intel SSD DC S3520系列SATA接口SSD，单盘容量为960 G，磁盘阵列挂载16个SSD组成RAID5模式，总容量为14 TB，实际测试传输带宽可达3 GB/s。

VPX机箱背板是整个信号采集系统数据传输枢纽，是各功能模块之间的数据交互的基础，还为各模块间的数据高速传输提供通道。

3 软件设计

采集与回放系统软件架构采用模块化的设计架构，采集回放板中FPGA完成时钟芯片AD9517的配置、AD采集芯片接口、数据缓存、数据编码、PCIE数据通信、数据解码及DA回放芯片接口等工作。

采集回放板FPGA总体结构框图如图2所示。

图2 FPGA部分结构框图

3.1 时钟配置模块

时钟配置模块主要是配置AD9517工作参数和回读工作参数，产生AD采集芯片的采集时钟、DA回放芯片的工作时钟以及判断时钟芯片AD9517工作状态。

FPGA通过SPI接口对AD9517进行配置或回读参数。配置模块结构框图如图3所示。

图3 配置模块结构框图

3.2 AD采集模块

AD采集模块主要接收和转换AD采集芯片的数据，然后进行数据位宽转换和缓冲处理，再输出到DDR3缓存模块。

AD采集芯片输出的是14位LVDS信号，AD采集模块先将LVDS信号转换为单端信号，取高12位，采用独立时钟FIFO对数据进行位宽转换以匹配DDR3缓存模块输入位宽，同时处理AD采集时钟与FPGA内工作时钟不同步问题。

为保持B码数据与AD数据的同步，在采集AD数据的同时也采集B码信号。采集模块的结构框图如图4所示。

图4 采集模块结构框图

3.3 DDR3缓存模块

在采集过程中，DDR3缓存模块缓存AD采集数据，在回放过程中，DDR3缓存模块缓存DA回放数据。因为采集和回放不是同时工作，采集和回放缓存共用DDR3缓存模块。

系统要求4路AD采集独立可设置，因此DDR3缓存AD数据时要求每路数据严格区分，设计2组DDR3存储单元，每组DDR3存储单元对应一个DDR3缓存模块，每个DDR3缓存模块缓存2路独立的AD数据。

DDR3缓存模块接收两通道数据，DDR3读写控制将输入的突发数据及时写入外部DDR3内存芯片中，防止输入前端数据溢出，同时DDR3读写控制及时从外部DDR3内存中读出数据及时写入后级输出FIFO中，防止后端数据断流。

DDR3缓存模块结构框图如图5所示。

图5 DDR3缓存模块结构框图

3.4 编码模块

编码模块将独立的四路数据按协议进行打包处理，通过FIFO发送给PCIe模块，PCIe模块将数据向主控计算机发送。

为了严格区分4路数据，存储过程中也需要将4路数据独立存储，为了保证主控计算机读写盘的效率，设定每路数据传输的最小单元为8 MB，每个数据传输单元的数据头中包含数据通道信息，时间信息等。

4路数据通道中任何一路输入数据达到8 MB的数据量，数据打包控制模块将读取该路的8 MB数据形成一个数据包，并为该数据包添加通道信息及时间信息。数据包通过输出FIFO向PCIe模块发送，编码模块结构框图如图6所示。

图6 编码模块结构框图

3.5 解码模块

解码模块接收来自PCIe模块下发的数据，根据数据包的包头信息，解析出数据及时写入对应通道的输出FIFO，然后输出到DDR3缓存模块进行缓存，解码模块结构框图如图7所示。

图7 解码模块结构框图

3.6 DA回放模块

DA回放模块接收来自于DDR3缓存模块的数据，解析出DA数据和B码数据，DA数据通过输出差分驱动器发送给DA，B码数据通过接口对外输出。DA回放模块结构框图如图8所示。

图8 DA回放模块结构框图

4 上位机软件设计

上位机系统软件包含驱动程序软件和应用程序软件，驱动程序软件负责在操作系统的底层与各板卡进行数据通信，应用软件负责和驱动程序通信。

驱动程序的设计直接关系到系统稳定性和系统效率，为了保证达到PCIe 2.0的峰值速度，驱动设计必须进行优化，支持统一的访问接口，支持多线程操作，具体要求如下：操作系统：Windows 7 64位； 驱动程序类型：WDM；DMA类型：Packet DMA；

DMA大小：4 MByte ；DMA通道数：2 channel；

PCIE接口：2.0 。

应用程序软件负责与驱动程序交互，设计统一应用程序访问接口和用户程序界面，实现采集与回放系统的状态和通信链路的状态。为了保证稳定的数据传输速率，应用程序采用多线程的方式设计，支持不同通道乒乓操作。应用程序通过DMA方式把数据传到主存当中，同时要把主存中的数据通过DMA方式传输到存储卡。为了保证传输速率，存储过程为主线程，采集过程开辟新的线程，实现多线程操作，提升系统的数据存储速率。具体要求如下：应用程序设计软件：VC++ 2012；采集卡访问接口：DLL；多线程操作：支持；与服务机通信方式：Socket；

支持操作：采集、回读、存储、导出和实时显示。

应用层软件主要实现任务管理、操作控制、数据管理、远程管理、状态监视及系统管理6个功能模块，具体软件架构如图9所示，用户界面如10所示。

图9 应用层软件架构图

图10 应用层软件架构图

5 系统测试与功能验证

本文对高速总线采集与回放系统进行总体方案设计和详细的介绍软硬件模块，在此设计的基础上开发软件平台和搭建系统的测试平台，完成对系统功能的测试与验证。测试仪器包括：采集回放设备、信号发生器、频谱仪、时码同步源，具体测试原理图如图11所示。

图11 采集与回放系统测试原理图

经进行系统功能和指标测试，表明采集与回放系统能够采集70 M，300 M中频信号且回放的时间码和数据对齐关系为5 μs；采集回放时延稳定性优于1 ns，符合系统要求，验证了方案、软件设计的正确性和系统的实时性、同步性。

6 结束语

新一代的总线VPX具有很高的传输速率和带宽，因此本文以VPX架构平台为基础实现高速采集与回放系统的设计，硬件平台设计方案是可行的，经测试指标均满足系统要求，达到了预期成果。本文只对中频信号进行的采集与回放，后续可增加射频方案设计进行过研究，实现支持北斗各频点信号采集。