外场感知设备的数据采集技术研究

田闯+张萍

[摘 要]企业常常面对大量分布分散的终端设备数据，这些数据在传输到数据处理服务器的过程中，以流数据的方式向上汇聚。为了能够快速处理流数据，本文设计基于Esper的插件化流数据处理框架，以提高工作效率。

[关键词]流数据；Esper；插件化

doi：10.3969/j.issn.1673 - 0194.2017.12.077

[中图分类号]TP391.44；TN929.5 [文献标识码]A [文章编号]1673-0194（2017）12-0-02

1 研究背景

流数据的特点是数据持续到达，且速度快、规模宏大、格式各异。目前，在进行外场感知设备的数据采集处理时，通常要同时对接不同的外场感知设备。由于不同的感知设备其通信协议不同，甚至差别较大，而传统的做法一般都是针对不同的外场感知设备的数据采集，通常进行专门的开发。

本文对外场感知设备的数据采集技术进行了分析与研究，并基于Esper设计实现了一个能够适用于多协议流数据处理平台SCP（Stream Computer Platform）。

2 外场感知数据采集

2.1 流数据

近三十多年来，数据库技术发展迅速且得到了广泛应用。一方面，数据建模形式多样，从层次数据库、网状数据库、关系数据库、对象数据库到关系对象数据库等；另一方面，数据规模也越来越大。传统数据库技术的一个共同点是：数据存储在介质中，可以多次利用；用户提交数据操纵语言（Data Manipulation Language，DML）来获取查询结果。尽管传统数据库获得了较大的成功，但是在20世纪末，一种新的应用模型却对它提出了挑战。一种名为流数据（Streaming Data）的应用模型广泛出现在众多领域，例如金融应用、网络监视、通信数据管理、Web应用、传感器网络数据处理等。……