基于Storm的数字信号流式处理平台的研究与实现

张 保，刘世颖，张华冲，顾 旭，于浩洋

(中国电子科技集团公司第五十四研究所，河北 石家庄 050081)

0 引言

近年来，现代无线通信和频谱侦察监视领域中电磁环境日益复杂，新体制信号不断涌现，对电子信息装备平台的高效集成、灵活扩展等方面提出了更高的要求；另一方面，为提升电子信息装备的全空域、全时域和全频域的多维快速感知能力，要求在线实时或离线处理的数据量越来越大。因此，把硬件作为无线通信的基本平台，而把数据处理尽可能多地用软件实现的基于软件无线电技术的分布式并发处理的新型数字信号处理平台[1-2]成为了研究热点。

传统的数字信号处理平台中，通过配置大容量存储，将数据采集存储于磁盘之中，在处理时，采用将数据批量导出的方式进行离线处理。此种数字信号处理平台的缺陷在于：① 随着设备采集能力的提升，数据产生的速度远高于数据处理的速度，对磁盘存储能力的要求越来越高，系统设计的硬成本也随之提升；② 数据离线处理的方式拥有较大的信息情报获取延迟，而数据本身的价值也随信息获取时间的增长而逐步降低。为解决该问题，需建立一套流水线式的数字信号处理平台[3-5]，能够以较低的时延处理流式数据，在快速获取信息情报的同时，减少非必要数据的存储需求。

Storm[6-7]中间件是一个并行分布式数据流处理框架，适用于处理无边界的数据流，被广泛应用于各类数据流处理场景中，具备可扩展、高容错、与编程语言无关等特性，可以与Kafka[8]、Zookeeper[9]等技术协同工作，构建一套完善的并行分布式数据流处理系统。……