基于FC-SCSI的多通道高速信号采集与实时存储系统

盛 丁，邢钱舰，马振国，赵 备，2

（1.浙江大学生物医学工程与仪器科学学院，杭州310027；2.杭州电子科技大学计算机学院，杭州310027）

基于FC-SCSI的多通道高速信号采集与实时存储系统

盛 丁1，邢钱舰1，马振国1，赵 备1，2

（1.浙江大学生物医学工程与仪器科学学院，杭州310027；2.杭州电子科技大学计算机学院，杭州310027）

传统的多通道信号采集与存储系统面对庞大的数据采集任务，缺乏足够的传输带宽以及实时存储能力。为此，提出一种以光纤通道-小型计算机系统接口（FC-SCSI）为核心的实时采集存储方案。运用链式查找表结构以及动态流控技术，提高FC-SCSI软件协议存储速率，解决多通道同步采集的大容量流数据实时落盘问题，实现具备大数据量采集、实时可靠存储、便携性能好的综合数据处理存储系统。实验结果表明，在2.125 Gb光纤通道条件下，该系统可靠稳定存储速率为186.6 MB/s，达到2.125 Gb光纤通道理论速率的94.7%，与传统FC-SCSI存储方案的167.1 MB/s速率相比提升了11.7%。

光纤通道；现场可编程门阵列；多通道信号采集；高速信号；实时存储；动态流控

1 概述

随着现代测量技术的迅猛发展，系统测量精度不断提高，传统单一传感器模块很难满足高精度、大范围的测量需求。各类传感器阵列、传感器网络应运而生，导致大容量多通道测量数据实时采集与存储技术面临挑战，各种新机理、高性能信号处理存储平台的研制受到广泛的重视［1］。单一的PCIExpress总线接口已经难以满足高速数据传输、运算及存储的综合需求。例如，文献［2］提出一种基于PCI Express总线和Aurora协议的高速数据传输系统设计方案，支持双单工同时收发以及PCIExpress通信模块8管道工作模式，采用光纤通道传输存储，数据传输速率达1.25 Gb/s。但是，随着对系统带宽与实时性的要求不断提高，PCI Express总线技术带宽较低，在存储领域的应用存在瓶颈。文献［3］设计一种基于闪存的高速海量存储模块，符合嵌入式实时存储领域对存储带宽与容量的要求，运用高密度的NADN FLASH存储阵列以及大规模的现场可编程门阵列（Field Programmable Gate A rray，FPGA）与数字信号处理器（Digital Signal Processor，DSP），实现了海量数据的超高速存储。尽管闪存在存储带宽方面表现优异，但是其外部接口的单一性，降低了系统的通用性与可扩展性，另外，较高的成本也成为了限制闪存大规模运用的制约因素。而光纤通道-小型计算机系统接口（Fibre Channel-small Computer System Interface，FC-SCSI）技术最初诞生于高速存储需求，随着硬盘矩阵和光纤通道（Fibre Channel，FC）技术的逐步成熟，FC-SCSI以其高可靠性、高带宽、低延迟等优点，更适合成为高性能存储领域主流协议。同时FC-SCSI存储方案能与PC机上高性价比的SCSI总线硬盘很好兼容，具有良好的通用性与易扩展性，应用前景广阔。文献［4］提出一种光纤通道高性能协议引擎设计方案，在FPGA平台上实现了2.125 Gb/s的光纤通道硬件核心模块，为其在高性能信号处理系统中的应用提供硬件基础，系统光纤通道存储速率达160 MB/s。但FC-SCSI协议效率同样是系统性能的重要影响因素，系统在软硬件交互与FC-SCSI协议效率方面仍然存在优化空间。

以上述研究为基础，本文提出一种基于FPGA和FC的多通道高速信号采集与实时存储系统，包括多通道采集技术与光纤通道高速存储技术，并针对系统的存储速率开展系统测试。

2 系统框架设计

本节提出一种高速大容量数据采集与实时存储的解决方案，总体框架结构如图1所示，主要由数据采集模块、信号处理模块以及上位机PC组成。数据采集模块负责数据的采集与发送，总共有16路同步高速采集通道与两路信号发送通道。其中，16路高速ADC同步采集产生的实时数据流量高达每秒几百兆字节甚至几千兆字节，对于链路带宽和可靠性要求较高。VPX总线引入了目前最新串行总线技术，在背板互联性能上具备更高带宽以及更为强大的交换能力，满足信号处理模块与数据采集模块之间通过机箱背板相连的需求，实现了大容量数据的高速传输、处理及控制［5］。

图1 系统总体框架结构

信号处理模块选取FPGA作为系统处理模块的核心组成部分。FPGA具备其他硬件资源无法比拟的灵活性，拥有时钟频率高、内部延时小、运行速度快等优点［6］，为系统功能自定义、现场快速反应提供了平台基础。此外，由于过大数据带宽，FPGA内部的Block RAM资源虽然具备较好的灵活性，但是兆级别的缓存空间难以满足系统几百兆字节带宽的缓存需求，因此系统配备了大容量DDR2作为流数据的高速缓存，合理运用乒乓缓存技术，努力克服系统性能波动带来存储速率的影响，进一步保证了系统的实时性与可靠性。

为了提高系统数据存储速率与可靠性，充分发挥信号处理平台的高效性，克服系统在存储性能上的瓶颈，设计采用光纤通道作为系统存储的传输媒介，以实现信号处理模块与上位机PC的互连。相比于传统的iSCSI存储互联技术，光纤通道具有可靠性高、传输速率快、延迟低等优点，可以更好地应对大容量带宽、高实时性的任务需求，满足大部分高速传输存储系统设计。另外，TCP/IP在结构上存在缺陷导致其存在潜在的安全攻击，而FC则不存在这样的问题，利用FC网络进行数据传输，可靠性更好。尤其是FC-SCSI协议的成熟，使得FC成为了存储领域的主要互联技术之一，为系统大容量数据实时存储提供链路保障。

3 多通道采集技术

数据采集模块主要实现对16通道中频模拟信号的高精度数字化处理以及2通道数据的模拟化回放，板卡由4片模拟数字转换器（Analog-to-Digital Converter，ADC）、1片数字模拟转换器（Digital to Analog Converter，DAC）及其外围电路构成。其中，ADC是一款4通道、14位高速串行输出的模数转换器，最高转换速率可达125 M s/s。DAC则是一款16位高动态范围的数模转换器DAC。

复杂的电磁环境对信号采集系统的可靠性要求很高［7］，16个通道采集的数据必须保证严格同步，否则后期的数据协同处理将失去意义。尽管采用了高度同步的时钟以及高精度的ADC，而制作工艺、走线长度、外界干扰、高时钟频率等因素的影响，都对通道间的同步提出了更高的要求。以板上走线为例，研究发现，对于典型的FR4材料PCB板，其信号传播速度存在以下公式［8］：

其中，Vp代表信号在FR4材料板子上的传输速率；C代表光在真空中的传播速率；在非磁性介质中μ= 1；εr代表介电常数，FR4材料的典型值约为4.2。

根据公式估算得到，信号的传播速度约为0.5倍光速，即1.5×108m/s。由于通道数量多，通道之间信号线长差异不可避免，假定2个通道之间走线长度相差15 cm，根据公式，计算得出线路延迟为1 ns。若FPGA的处理时钟频率为200 MHz，则周期为5 ns，延迟占比高达20%，增加FPGA时钟对信号的正常采集的难度。

为了在数据分析之前，统一消除各因素带来的通道间延迟，采取延迟补偿的方式修正。FPGA提供的输入输出延迟补偿模块是FPGA上自带的可编程绝对延迟单元，允许各输入信号有独立延迟，具备3种可选工作模式，使用灵活方便。若是FPGA工作时钟频率较低，对多路信号间相位差异的容忍度较好，可以通过调整FPGA内部时钟资源的相位来尽可能达到所有通道采样要求。但是在高频率工作时钟下（超过200 MHz），难以通过统一调整FPGA内部时钟来满足所有信号的正常采集。这时就需要借助FPGA提供的输入输出延迟补偿模块进行链路训练。FPGA输入输出延迟补偿模块提供信号进入处理模块前的最后修正，为到达时间较早的信号通道提供相应的延时补偿，可以统一消除之前包括制作工艺、走线长度、外界干扰等所有因素带来的共同影响，最终保证FPGA内部时钟采集到各通道数据基本同步，确保FPGA内部数据处理的准确性。经分析得出，输入输出延迟补偿模块接收200 MHz信号时钟，内部分为64拍，调节步长为78.125 ps。修正后的通道延时小于80 ps，占时钟周期的比例仅为1.6%，对于数字信号处理而言，其影响基本可以忽略［9］。

4 光纤通道高速存储技术

4.1 FC-SCSI软件协议研究

系统中的高速信号采集部分运用相对高性能的器件以及合理的组织架构，足以满足带宽性能需求。存储速率的限制成为了系统的瓶颈，存储方案的选择至关重要。FC协议具有可靠性高、传输速率快、延迟低等优点，最早用于提高磁盘存储的传输带宽，随着FC SAN的大规模应用，FC在成为了存储领域主要互联协议之一。SCSI是一种计算机与智能设备之间的通用接口，如今已经发展成为一种独立的接口标准。其中，最为典型的就是SCSI硬盘，具有接口速度快、缓存容量大、CPU占有率低等优点，同时硬盘本身还支持热插拔，大大提高了系统的灵活性与可扩展性。方案选择FC与SCSI的结合FC-SCSI作为系统存储的核心解决方案，一方面利用FC的高带宽提高系统存储速率，另外充分发挥SCSI接口的灵活性，合理裁剪系统资源、分配磁盘大小，系统落盘的数据直接存储于PC机硬盘当中，提高系统的便携性，同时，通过硬盘数量的热插拔扩展，也可以进一步提升存储系统的容量与续航能力。本节首先对传统的FC-SCSI协议进行探索与分析，随后分别从协议开销和动态流控的角度提出了相应的优化方案。

FC-SCSI负责SCSI界面协议与FC-4层协议相互映射，其交互方式如图2所示。发送方发起FCCmd命令，告知接收方将要发送的数据大小，并等待接收方的回应FC-XRdy。双方握手完成之后，正式开始发送数据。每次发送数据包最大为2 MB，之后等待接收方的FC-XRdy，确认数据已经正确接收。当最后一个数据包发送完毕之后，接收方根据接收到的所有数据进行简单校验，确认无误之后发送FCStatus帧，表明整个数据分组发送结束。

图2 FC-SCSI协议交互流程及开销

在实时操作系统VxW orks中实现FC-SCSI协议，测试结果表明，光纤通道接收并处理一个2 MB数据包的时间大约为10 368μs，而一次握手（即一次FC-Cm d操作）的时间长达5 126μs，若整个数据分组仅发送一个2 MB数据包，协议开销占比高达33%。

FC-SCSI协议规定了较为复杂的交互流程，虽然在一定程度上提升了传输数据的可靠性，但是在数据流量比较松散的随机存储环境中，存储效率低下，直接移植FC-SCSI协议，并不能发挥系统的最佳性能，需要在协议实现上做一定的优化。禁用FCCmd是业界常用的一种直接有效提升FC-SCSI协议效率的方法［10］，但是FC-Cm d作为FC-SCSI协议的核心组成部分，对数据的可靠性、稳定性起到了至关重要的作用。放弃FC-Cmd，在链路状况不佳情况下，FC-SCSI协议的端到端数据无差错传输很难得到保证。

4.2 链式查找映射结构

协议开销的大小依赖于有效数据与协议内容的比例，一次分组操作中，有效数据的传输量越大，其传输效率越高。然而，由于系统缓存区大小的限制，一次传输的有效数据量也将受限，一次性申请一块较大内存失败的可能性也会更高，另外过大的缓存空间还会提高系统的延迟。为了尽可能获得灵活合适的缓存区大小，提高写存操作的隔离性与并行性，本文采取了链式缓存结构。缓存结构设计方案如图3所示。由多个分散的小缓存区，映射到一张链表组成一块较大的缓冲区。一方面，链式结构相对连续存储结构更加灵活，可扩展性更好；另一方面，分块缓存，提供了更好的并行操作，提高系统资源利用效率。

图3 链式查找映射结构设计方案

查找映射结构软硬件交互流程如下：

Step1 构建一张链表用于查找分散映射的内存地址，并初始化硬件处理队列（Hardware Queue，HWQ）与软件处理队列（Software Queue，SWQ）。

Step2 底层HW任务接收到存储请求FCCm d，并呈递给上层，SW队列回复FC-XRdy，告之发送方数据接收准备完成。

Step3 HW队列通过PCIe以DMA的方式将光纤通道接收到的数据迅速调入内存，并填充可用链表节点，随后发起中断。

Step4 SW队列捕获到相应中断以后，查找填充的链表信息，并定位到内存。最后发起SCSI存储命令，将内存中的数据有序搬到硬盘。与此同时，系统继续并行执行Step3。

采用查找映射结构，不仅解决了缓存空间限制，硬件操作的分离，也提供了更好的并行性。根据协议开销占比公式：

已知处理2 MB数据包的时间Tdata约为10 368μs，FC-Cmd操作的时间Tprotocol约为5 126μs。综合考虑系统缓存空间大小及延时相关因素，尽可能减少FCSCSI软件协议带来的上层开销，如果选取查找队列映射空间为32 MB，即Lqueue=16，则计算得到理论效率η约为97.0%。理论有效传输速率与理论效率存在以下关系：

其中，v′代表FC无损速率，计算结果为192.9 MB/s。在32 MB查找空间下，最终理论有效传输速率为187.1 MB/s。

4.3 用户层动态流控技术

链式查找映射结构在一定程度上缓解了FCCmd握手带来的协议开销，提高了FC-SCSI协议的实现效率。但是，仍然无法解决每一个2 MB数据包带来的FC-XRdy开销。尤其当数据包出错时，引起长时间的数据校验，延迟了FC-XRdy的回复时间。采取的解决办法是模仿FC流量控制机制，采用基于信用度（Credit）的缓存区策略［11］，如图4所示，即双方收发数据前，协定允许的最大信用度（类似TCP/ IP协议中的窗口大小）。在信用度内持续不断发包而不用等待接收方的确认，来避免因为某个数据包的出错带来的整条链路延迟。此外，实验测试发现，SCSI总线的磁盘阵列，存储性能上存在巨大的波动。最高存储速率可以超过200 MB/s，而最差情况下只有140 MB/s～150 MB/s。过大的Credit在磁盘阵列效率低下的情况下，会给缓存区带来巨大的压力，甚至溢出导致丢包现象。而采取较为保守的Credit策略，则无法发挥磁盘阵列的最大效益。所以，本节提出一种动态流控技术，合理平衡缓存区的压力，同时兼顾磁盘阵列的性能。

图4 基于信用度的流控机制

有关研究表明，瞬时的信用度与FC数据发送以及处理速度存在以下关系［12］：其中，Creditn代表该时刻的信用度大小；Creditn-1代表前一时刻的信用度大小；u代表Host端FC数据发送速率；v代表Slave端FC数据接收处理速率；Δt取值为发送端与接收端之间链路的单程传播时延；LFC为FC数据的长度；M为一个开关量，用于判断链路信用度是否为0，取值如下［12］：

对式（5）稍作化简得到：

假定链路单程传输时延Δt相对固定，每次发送的FC数据长度LFC也一致。信用度的变化量取决于，上一时刻Slave数据处理速率与本时刻Host数据发送速率的速率差。磁盘矩阵存储性能不稳定，即v存在巨大波动，若是v迅速减小，信用度有可能迅速变为0，导致发送方停止发数，而接收方缓存仍然留有余量。

为了最大化避免此类现象的发生，根据4.2节中的查找队列长度对式（5）进行修正，即在协议上层对流控策略进行动态修正，使其尽可能发挥最大性能。修正后的结果如式（8）所示。其中，Lmax代表查找队列最大长度；Lqueue为队列当前长度。与式（5）相比，采用分段动态流控技术，即设定流控阈值为一半查找队列长度。当查找队列满负荷，立即将信用度置0，停止发数。在查找队列空间相对较为充足但超过阈值时，根据双方速度对比确定信用度。处理速率慢于发送速率，保持信用度不变，使查找队列缓存稳步增长，以保证其充分利用；否则，强制扩大信用度至阈值大小，争取在磁盘阵列性能爆发点获得高效率，提高系统整体性能。

5 系统测试

5.1 测试环境

高性能信号采集处理存储系统测试平台如图5所示。图中2台模拟信号发生器（字母A），为射频发射器提供基频信号源，字母B是一块射频传感器阵列，板上总共包含16个射频传感器，产生16个通道数据，字母C代表数据采集模块，通过VPX背板与前面的信号处理板（字母D）相连，D板完成数据处理之后，通过光纤通道，将数据实时传输至光纤通道适配卡（字母E），E卡置于机箱的PCIe槽位中，作为主机的PCIe设备，发起SCSI操作将数据存人磁盘阵列（字母F）。

图5 系统测试平台

5.2 缓存区实验

根据FC-SCSI协议效率分析得知，对于协议开销而言，缓存区空间越大，一次完整的数据分组操作所传输的有效数据量就可能越大，相应的协议开销就能更小。然而，对于实时数据处理系统而言，系统延迟大小也是系统的重要性能指标，随着缓冲区空间的不断增大，必然带来系统延迟的提高与不确定性。

为了充分了解缓存区与协议效率以及系统延迟这三者之间的关系，寻找合理的缓存空间大小，本文进行了缓存区大小实验，结果如图6所示。

图6 缓存区实验结果

实验结果中缓存区大小以2的幂次方增长，为了方便观察，已经将缓存区大小坐标轴做了对数处理。在缓存区空间较小区域，随着缓存区不断增大，系统存储延时提升并不明显，FC-SCSI协议开销相当大，即有效数据存储效率很低。缓存区空间2 MB～32 MB范围内，FC-SCSI协议开销从80%左右迅速下降到10%以下，与此同时，系统存储延时提升依旧不明显，系统整体性能逐步变好。

但是，在缓存区空间大于32 MB数据段，情况则刚好相反，系统存储延时迅速攀升，而FC-SCSI协议开销降低十分有限，系统整体性能不升反降。

综上所述，系统缓存区在32 MB大小左右能够获得系统的最佳性能。

5.3 光纤通道存储速率测试

光纤通道存储速率测试平台在图5的基础上，加入光纤通道分析仪实时监控速率，并记录流数据的最低平均速率作为参考指标。分别对8 KB～2 MB大小的数据包做了存储性能测试，结果如图7所示。图7记录了3种不同情况下的存储速率，分别对应未做优化的FC-SCSI协议存储实现，采用32 MB查找结构实现的FC-SCSI存储，以及在此基础上加入动态流控技术的实现。

图7 光纤通道存储速率对比

观察结果发现，纯FC-SCSI实现方案整体速率偏低，直接使用难以满足项目需求。在采用查找结构优化之后，整体性能较纯FC-SCSI有了较大提升，尤其是中小数据包大小性能提升更为明显。然而，1 MB以上的较大数据包存储速率却并不理想，与纯FC-SCSI差别不大。而动态流控技术带来的性能提升则更多地体现在大数据包方面。

纯FC-SCSI实现方案速率的测试结果与4.1节给出的分析基本吻合，性能主要受制于协议开销。查找结构为FC数据传输提供了更加灵活的缓存以及更高的并行性。但是由于磁盘阵列存储速率的不稳定性，导致存储速率难以突破170 MB/s。

动态流控技术尝试以缓存队列作为反馈，动态调节信用度，以克服磁盘阵列性能波动带来的影响，提高磁盘阵列使用效率。在2 MB数据分组大小点，存储速率由167.1 MB/s上升到186.6 MB/s，与理论速度187.1 MB/s基本相符，速率提升11.7%。文献［4］提出的FC处理方案，其速率最终典型值为1.280 Gb/s，即160 MB/s，同样是在2.125 Gb光纤通道条件下，本文系统方案速率提升16.6%。另外，根据FC协议，考虑FC协议存在的8 bit～10 bit编码与首部开销，2.125 Gb FC的理论有效带宽约为197 MB/s。系统实际测试有效带宽为186.6 MB/s，带宽利用率达到94.7%，符合设计需求。

6 结束语

本文介绍一种基于FC-SCSI的多通道高速信号采集与实时存储系统设计与实现方案。系统具备多通道同步采集、高速实时存储，便携性好等特点，具备广泛的适用性。其中，2.125 Gb FC的平均存储速率达到186.6 MB/s，系统测试结果符合理论估计，满足项目使用需求。今后将结合高速固态硬盘技术进一步提高系统性能。

［1］ 吴长瑞，孔 超，冀映辉，等.宽带相控阵雷达高性能信号处理系统［J］.计算机工程，2012，38（9）：240-243.

［2］ 丁元明，李花芳，刘春玲，等.卫星通信高速数据传输系统设计［J］.计算机工程，2012，38（9）：252-254.

［3］ 王立峰，胡善清，刘 峰，等.基于闪存的高速海量存储模块设计［J］.计算机工程，2011，37（7）：255-257.

［4］ 赵 备，余 锋，胡 璇，等.基于FPGA的光纤通道协议引擎的设计与实现［J］.浙江大学学报：工学版，2009，43（9）：1604-1608.

［5］ 廖兴文.基于VPX的数据处理平台实现［D］.成都：电子科技大学，2012.

［6］ 邵 磊，倪 明.基于FPGA的高速数据采集系统设计与实现［J］.计算机工程，2011，37（19）：221-223.

［7］ 饶家宁，安军社.星载高速数据处理单元的设计与实现［J］.计算机工程，2012，38（7）：203-206.

［8］ Eric B.信号完整性分析［M］.李玉山，李丽平，杨 刚，译.北京：电子工业出版社，2012.

［9］ Xilinx.Xilinx Virtex-5 FPGA User Guide（UG190）［EB/OL］.（2009-03-19）.http：//class.ece.iastate.edu/cpre583/ref/EDK/ Virtex5-ug190.pdf.

［10］ 童 薇，袁小燕，冯 丹，等.光纤通道的高速低延迟RDMA协议研究［J］.华中科技大学学报：自然科学版，2011，39（6）：71-74.

［11］ 查 翔，南建国.光纤通道中缓冲区分配策略的优化［J］.计算机工程与设计，2012，33（2）：450-454.

［12］ 秦磊华，周敬利，余胜生.一种改进的光纤通道存储扩展流量控制方法［J］.电子学报，2009，37（10）：2343-2347.

编辑 刘 冰

Multi-channel High-speed Signal Acquisition and Real-time Storage System Based on FC-SCSI

SHENG Ding1，XING Qianjian1，MA Zhenguo1，ZHAO Bei1，2
（1.School of Biomedical Engineering&Instrument Science，Zhejiang University，Hangzhou 310027，China；2.School of Computing Science and Technology，Hangzhou Dianzi University，Hangzhou 310027，China）

Traditional multi-channel signal acquisition and storage system is facing a huge task of data collection，the lack of adequate transmission bandwidth and storage capacity in real-time.This paper proposes a Fibre Channel-small Computer System Interface（FC-SCSI）as the core of the real-time acquisition and storage solutions.It uses chain lookup table structure and dynamic flow control technology to improve the FC-SCSI software protocol storage efficiency，focusing on solving a large-capacity multi-channel synchronous stream data off the disk in real-time acquisition problem s，and it realizes a large amount of data acquisition，real-time and reliable storage，portability and good performance integrated data processing storage system s.Experimental results show that under 2.125 Gb Fibre Channel（FC），reliable and stable storage speed is 186.6 MB/s，which is 94.7%of 2.125 Gb theoretical rate of FC，and the speed is enhanced by 11.7%com pared with 167.1 MB/s of traditional FC-SCSI storage solutions.

Fibre Channel（FC）；Field Programmable Gate Array（FPGA）；multi-channel signal acquisition；high-speed signal；real-time storage；dynamic flow control

盛 丁，邢钱舰，马振国，等.基于FC-SCSI的多通道高速信号采集与实时存储系统［J］.计算机工程，2015，41（11）：120-125，130.

英文引用格式：Sheng Ding，Xing Qianjian，Ma Zhenguo，et al.Multi-channel High-speed Signal Acquisition and Realtime Storage System Based on FC-SCSI［J］.Computing Engineering，2015，41（11）：120-125，130.

1000-3428（2015）11-0120-06

A

TP391

10.3969/j.issn.1000-3428.2015.11.021

浙江省自然科学基金资助项目（Y1101336）。

盛 丁（1991-），男，硕士研究生，主研方向：高性能嵌入式平台；邢钱舰、马振国、赵 备，博士。

2014-11-24

2014-12-18 E-m ail：369430825@qq.com