自适应数据采集组件设计

刘永芬 陈志安 赖晓燕

摘要：数据采集作为数据分析的基础起着重要的作用。文章针对现有的大数据信息采集技术方案中存在的采集设备性能数据不可配置、采集容量小等问题，提出了一种性能好、可配置、自适应的数据采集解析方案。该方案可以适配多种网络拓扑及多厂家设备，最大限度地提高数据采集规模，还可以自动调整采集策略，以避免出现单源采集阻塞问题，保证整个采集平台的有效运行。

关键词：自适应;数据采集;组件设计

中图分类号;TP39 文献标识码：A 文章编号：1006-8228（2020）07-63-04

0引言

在大数据时代，人们的日常生活都离不开网络，各内容提供商及其所使用的设备每天都会产生海量数据。设备上的数据类型多种多样，不仅有与设备运行信息相关的数据，也有与企业、用户相关的数据，如软/硬件系统日志数据、设备接口流量数据、用户上网行为数据等，这些数据中蕴藏着丰富的信息等着我们去挖掘。因此，我们通过不同的数据采集技术获取数据是进行数据挖掘的先决条件。

所有设备都在采集平台的管控中，为了监控所有设备的健康状态及统计设备接口的流量信息，需要每隔一定时间（假设：x分钟）采集所有设备的CPU、内存、温度、以及设备接口的相关指标数据。假设，有m台设备是属于跨公网采集，有k台设备的接口数大于250，这两类设备的采集速度会明显慢于常规的采集速度。典型的数据采集场景网络拓扑描述如图1所示。

拓扑图是典型的数据采集场景，使用常规的采集方案可能存在如下问题：当m+k的值大于采集线程并发数时，可能导致整个采集组件阻塞。……