网络安全分析中的大数据技术应用

付盼晴 褚含冰

摘要：现阶段网络信息数据存有量不断增长且速度加快，对目前的网络安全分析工作提出了更高的要求，而大数据技术作为一种新型技术，在网络安全分析工作中得到了广泛应用.本文从大数据技术在网络安全分析中的意义、应用情况和基于大数据技术应用的网络安全分析平台三大方面，对网络安全分析中的大数据技术应用进行了深入探析.

关键词：网络；安全分析；大数据技术；应用；信息数据

中图分类号：TP393 文献标识码：A 文章编号：1673-260X（2019）03-0054-03

伴随着现如今计算机网络技术的不断发展升级，网络世界中的数据存有量呈现出逐步扩大趋势，在信息数据向多元化、复杂化方向发展的同时，也暴露出了诸多网络安全问题，而这一问题与人们的个人隐私乃至于国家安全息息相关，所以有必要提高对网络安全分析工作的重视度.传统的网络安全防护技术在当前形势下显得不够完善，过多漏洞的暴露也导致预防效果减弱，对于信息安全而言形成了严重威胁[1].而大数据技术作为一种新型技术，有信息吞吐量大、内容更新速度快且非结构化的特点，加之现如今大数据技术一直处在升级改进形势中，在网络安全分析工作中得到了广泛应用，能够全面提升网络安全性.

1 网络安全分析中的大数据技术应用意义

1.1 提升数据存储容量

面对非结构化的海量且复杂数据的分析处理，大数据仍旧能够确保其高效性，在保证数据信息的大容量存储的同时，还能够保障数据信息的完整与安全.

1.2 有效降低投入成本

分布式数据库是大数据技术的主要特点，这一数据库形式的投入成本要比结构化数据库的投入成本更低，同时对硬件标准不做过高要求，即便是硬件设备性能偏低，同样可保证运行的稳定性，从而确保网络安全分析平台构建的经济性.

1.3 提升运行效率

通过应用大数据技术，可保证网络安全分析平台实现对异构数据的有效分析处理与存储，并且速度极快，大幅提升了数据信息的分析处理效率；

1.4 提升数据处理精度

在网络安全分析中应用大数据技术可收获到显著效果，有着重要的应用意义.大数据技术的应用可从不同层级、不同角度对数据信息进行关联分析，以此提升网络安全分析平台对数据处理的准确度.

2 大数据技术在网络安全分析中的应用

大数据技术在网络应用中可以将网络日志数据与流量数据进行数据整合，并且通过大数据采集与挖掘功能的发挥，去实现对数据的存储聚集，进而通过大数据技术对所有数据展开检索，将其中暗藏安全隐患的数据剔除，最终保障网络世界的安全性[2].大数据技术在网络安全分析中的应用，大大缩减了分析工作的时间，同时降低了信息数据的遗漏概率，由传统的被动防御向主动防御升级.

2.1 采集数据信息

大数据技术可使用Chukwa、Flume、Scribe等工具开展数据信息的采集工作，一方面可采取分布式采集法去做好日志数据采集工作，该采集方法在工作效率方面表现良好；另一方面可采取镜像数据策略方法对流量数据予以采集，相对来讲该采集方法全面性表现更好.

2.2 存储数据信息

数量多、种类复杂、应用方式多元化等是大数据具备的基本特点，为了确保网络安全分析能够符合大数据存储的需求，则需要进一步提升网络安全分析的工作效率，因此需要用到多样化的存储手段对各类数据信息进行有效存储.比如，针对日志信息数据等内容的检索有用原始信息数据的需求，在此应用Hbase手段存储数据，此方法的数据处理速度较快；对经过处理的安全信息数据，选用Hahoop分布法展开数据构架计算，并存储运算结果在列式存储中[3]；如果安全信息数据需继续实时化分析，可继续用Spark或是Stom流式计算法对数值计算分析，并进一步将存储运算结果在列式存储中.

2.3 检索数据信息

可采取基于MapReduce的查询检索框架来实现，主要将数据查询情况分布在不同的计算节点中，应用时用户输入相应检索信息，这一架构即可以将检索信息自动传送不同的分析节点展开处理，用分布式计算方式来提升安全数据的检索效率，以此来保证海量的原始安全数据条件化查询速度提升至秒级响应.

2.4 分析数据信息

对于实时数据的分析，可采用Spark或是Stom等流式计算法用为数据信息分析的根本，并通过电联分析、CEP技术的互相融合，来达到实时的监控分析数据信息，此分析方法能够及时且精准地捕捉到网络中出现的异常行为数据；而针对非实时性数据而言，则可采取分布式计算或是存储的手段，还可与多种数据信息处理技术相结合，展开更深层次的离线处理，目的则是为了全面分析数据信息的潜藏风险，并找出影响安全性的攻击源头.

2.5 分析复杂数据信息

就数据信息的存储、检索与分析等性能而言，在大数据技术的应用加持下有了大幅提升，尤其是针对负载数据信息的分析，大数据技术不仅能够将多源异构数据精准且快速地挖掘出来并予以分析，同时还能对整个系统中暗藏的安全危机与攻击性行为有效分析.其中，针对僵尸网络首先基于DNS访问特征与流量数据信息着手，综合数据源展开关联分析，这样的分析策略不仅效率高，且更为全面[4].此外，倘若系统当中还存有隐藏的安全问题，还需对关联主机进行全面复查，确认相同问题是否存在，之后便可采取针对性措施补救，进而确保整个网络系统的安全性.

3 基于大数据技术应用的网络安全分析平台

通过对大数据技术在网络安全分析中应用可知，底层大数据采集、存储、分析与检索等各类技术的相互融合，能够全面提升安全分析工作效率，但要想從海量安全数据信息中准确捕捉到安全隐患，还需结合不同的攻击场景去设置关联分析方法，进而在大数据技术的分析与存储优势发挥下，更深层次地对数据源展开关联分析.

3.1 应用大数据技术搭建网络安全分析平台

3.1.1 数据源模块.平台利用分布式采集器对内部各硬件设备与软件展开信息采集操作，之后将结果存储在存储部分当中.随着计算机数据处理的水平不停地提升，网络安全系统中存储的数据信息源逐渐增多，不仅有以前防火墙、访问检测等部分，还包含服务器、存储器等计算机硬件设备的运维以及对平台软件、数据库等维护信息.

3.1.2 数据采集和存储模块.基于大数据技术，可将数据与原始数据进行分离，能够对数据信息的采集与存储进行合理优化，从而获得分布式数据基础.这类数据存储方式可确保数据从诞生到消失，都能够实现正常稳定的访问与存储，这一点对于现如今数据量逐渐扩张的时代而言，在确保网络安全中发挥着重要作用，可全面提升网络安全分析平台的数据存储容量及数据库的稳定性.

3.1.3 数据分析模块.大数据技术的应用可确保平台在分析实时数据与历史数据的过程中都能体现出良好的工作效率.基于大数据分布式处理手段，进行数据分析模块的搭建，其数据分析处理能力会更加高效且稳定，进而确保平台能够在短时间内运算完一系列的高难度数据分析处理，像多维度与联合分析处理等类.

3.1.4 数据呈现模块.此模块最为重视的是用户体验，保证用户通过该模块可高效地应用网络安全分析平台，确保各项功能得以实现.

3.2 网络安全分析平台中应用到的大数据技术

3.2.1 数据采集技术.在搭建的网络安全分析平台中，所采用的数据采集技术通常是以Stom、Kafka、Flume等方式实现数据信息采集功能的，比如Flume则负责采集安全数据，同时实现对安全数据信息的整合与传送，相较于其他方式而言，有着更高的可靠性与实用性，之后便可展开数据定制，保证数据传送者能够采集到不同源数据信息[5].而在处理流式数据的过程中，Kafka则能为数据采集和流式数据处理提供重要缓存.

3.2.2 数据存储技术.在应用大数据技术的网络安全分析平台中的数据存储可以HDFS的形式存在，这一技术有着吞吐量大、容错性高的优势，能够保证数据信息存储的完整性与安全性.

3.2.3 数据分析技术.重点采用了Hive的手段去分析数据，这一技术中的HiveQL语言有助于提高HDFS对非结构式数据的检索工作效率.另外技术的运用还能遵循数据信息的类别差异进行分析处理，用构建结构化、半结构化以及非结构化的数据安全事件关系序列库，进而全面提高数据信息的复杂程度，保证了数据信息的安全性.同时，这一数据分析技术还能够在大体量数据信息中捕捉到安全隐患，同样大幅度降低了网络潜藏的安全风险.

4 结束语

综上分析可知，计算机大数据技术在网络安全分析中的高效应用，显著地提高了安全分析工作效果.伴随着互联网技术在生活、生产中的深入应用，互联网信息数据的体量也在逐年的不断增加，这也对目前的网络安全分析工作提出了更高的要求，随着大数据技术的深入运用，一方面提升了计算机互联网数据的处理速度，同时也为新时期更为安全的网络数据分析平台增加了更为稳定的维护基础.文章通过对网络安全分析中的大数据技术应用进行深入探析，希望能够为相关从业人员提供参考与借鉴.

参考文献：

〔1〕吴世嘉，李言鹏.大数据技术在网络安全分析中的应用[J].网络安全技术与应用，2018（08）：56+76.

〔2〕刘德松.大数据技术在网络安全管理中的应用分析[J].通讯世界，2018（06）：110-111.

〔3〕张宁，盛武.基于CiteSpace的大数据时代信息安全研究现状[J].华北水利水电大学学报（社会科学版），2018（03）：156-160.

〔4〕费思源.大数据技术在配电网中的应用综述[J].中国电机工程学报，2018（01）：85-96+345.

〔5〕王長杰，王卫华.大数据时代下信息安全保护研究[J].清远职业技术学院学报，2016（01）：42-47.