Spark环境下网络数据安全监测技术

2021-11-07 09:17:54林丽星
安阳师范学院学报 2021年5期
关键词:环境

林丽星

(闽西职业技术学院 信息与制造学院,福建 龙岩 364021)

0 引言

Spark集群环境使用内部分布数据集,不仅具备常规的数据交互查询功能,还对工作环境负载产生一定程度的优化作用,因此Spark集群在众多数据采集监测领域得到广泛应用。随着计算机网络技术日益优化,网络安全形势日益严峻,黑客企图通过入侵等方式获得私密的网络数据信息[1]。因此,Spark环境下网络数据安全监测问题亟待解决和优化。Spark集群继承了 Hadoop中Mapreduce的全部优越性能,适用于数据挖掘算法的运行。为此在Spark环境下布置了并行式的K-mean聚类模型以挖掘当前数据是否存在危险因素,进而监测网络数据的安全性能。

1 基于K-mean聚类算法的Spark环境网络数据安全监测技术

1.1 Spark环境下网络数据采集

Spark环境下网络数据采集的结构布局如图1所示,主要包括Spark集群、无线网络、Spark服务集群、数据采集单元等关键部分。其中,Spark集群由多个从节点、一个主节点构成,均通过交换机与数据采集单元进行指令传达与信息交互[2];数据采集单元包括数个数据流量采集节点,采集后的数据传输到Spark服务集群进行安全处理与存储,以网络为介质传输到用户端以供数据分析使用。

Spark大数据集群环境下数据采集由采集单元部署的大量节点完成,是网络数据安全监测的基础,数据流采集完毕将会进行安全存储以供安全监测环节使用。Spark环境下采集的数据流包括结构化数据与非结构化数据两种,采集节点需要零散布局在复杂的网络之中,通过并行化节点管理策略将分散的数据采集节点集中起来统一管理,以优化网络数据采集效果与效率。……

登录APP查看全文

猜你喜欢
环境
长期锻炼创造体内抑癌环境
一种用于自主学习的虚拟仿真环境
孕期远离容易致畸的环境
不能改变环境,那就改变心境
环境与保护
环境
孕期远离容易致畸的环境
高等院校环境类公选课的实践和探讨
掌握“三个三” 兜底环境信访百分百
我国环境会计初探
中国商论(2016年33期)2016-03-01 01:59:38