浅谈网络安全分析中的大数据技术应用

◆陈小波

浅谈网络安全分析中的大数据技术应用

◆陈小波

（国网福州供电公司 福建 350000）

网络安全指的是网络系统中对硬件、软件及相关数据进行保护，运用大数据技术是当前保护网络安全不受到破坏、泄露和篡改的主要措施。基于此，本文分析网络安全中引入大数据技术的必要性，并从信息的采集与存储、信息的检索与数据分析、多源数据与多阶段组合的关联分析等方面举例阐述大数据技术在网络安全分析中的应用，同时也详细说明网络安全平台的相关技术支持。

网络安全分析；大数据；技术应用

0 引言

网络安全具有保密性、完整性、可用性、可控性和可审查性的特点。网络安全问题，应该如同家家户户的防火防盗问题一样，做到防范于未然，威胁一旦发生，就会造成巨大的损失。因此，合理利用大数据技术有利于为网络安全提供保障，有效提高网络安全防护的作用，在进行网络安全分析时提供帮助，有利于企业的信息安全，也有利于人们日常生活中的隐私安全。

1 网络安全分析引入大数据技术的必要性

网络分析是整个系统运行中的网络管理者，它能够在各种网络安全的问题中找到合适的网络管理方案，对系统中所有传输的数据进行检测、诊断和分析，帮助广大用户规避风险，提高网络安全性能，为用户创造一个和谐无污染的网络环境。目前，随着大数据技术的应用，管理者不再担心网络事故无法解决，大数据技术可以帮助企业和用户将故障和风险降到最低，安全性能提升到最高。由此，网络安全分析引入大数据技术的必要性如下：

（1）容量大，大数据技术支持海量异构数据在运行中的计算与存储，整个过程中信息是安全可靠的。

（2）成本低，与传统数据库的价格相比，分布式数据库成本低廉，且可以适用所有硬件的扩展。

（3）速度快，对数据的存档和检索速度加快，采集信息和检测响应的速度也快了许多。

（4）精度高，对数据的挖掘能力不断提升，支持多维多阶段的关联分析，提升了数据分析的深度和广度。

2 大数据技术在网络安全分析中的应用

2.1信息的采集与存储

运用大数据技术，通过Flume、Scribe等相关工具对网络系统中所有数据进行分布式的采集，每秒内可以完成百兆以上的采集工作，尤其是对用户的日志数据信息进行处理时有着良好的作用。此外，还可以利用传统模式数据镜像采集，对全系统进行全方位的流量数据采集。例如，利用大数据技术门户网站可以每天自动采集成千上百的指定网站中的数据内容，对上千媒体进行新闻信息采集，想要观看什么随时随地都能看到，不少用户在双十一期间准备淘宝抢购，就是利用大数据的技术每天自动采集淘宝网上价格的信息和更新变化情况，甚至产品的说明和图片也能一目了然。

信息的存储技术可以利用HDFS开展数据采集后的存储，如果在一段时间内文件数据量过大，要想保证数据的处理和分析效率，在存储时可以通过HDFS进行，实现所有文件能够达到64兆字节。例如新闻媒体都要自动采集成千上万个指定网站上的新闻内容，并对这些内容进行来源和数量上收集存储。随后相关工作人员通过对该地区情况的整合，按照专题编写当日的新闻内容，每天内容在发布后都要进行存储，以方便日后的检索和总结，就是因为这种大数据技术，用户在该网站进行新闻信息查询时轻松就可以找到[1]。

2.2信息的检索与数据分析

对于信息的检索，可以采用Map Reduce作为架构形式，输入具体的检索要求，并且系统进行分析和处理，计算后大幅度提高了信息的检索能力，由此可见大数据技术在信息检索方面也有着积极的作用。例如，企业想要开会前寻找到一些有用的信息做参考，就可以利用大数据技术进行信息检索，实时而准确地采集国内外相关行业新闻和技术性文章，并找到竞争对手和供应商的新闻、产品、人事、价格等信息，以此做对比。同时，大数据技术还能够采集行业论坛中的信息，了解到消费者的需求与反馈，并准确地在网络公共信息中采集到销售线索，甚至通过这种大数据检索功能可以挖掘出潜在客户的资料。

数据分析也称数据解析，该技术利用HIVE方法对数据进行展开分析，使用SQL中HIVEQL语言使HDFS和HBASE可以对不能构成结构式的数据进行检索，此外，大数据技术下还能够利用Mahout达到以H adoop为前提的机械研究，所有数据能够进行深度挖掘与整理解析。例如，政府机关或者军队可以实时跟踪并采集相关国内外的新闻数据，并通过这些数据整理出该地方的政策法规和经济产业信息，还能利用大数据技术解决与因特网隔离的重要部门对于因特网的信息需求问题解决政府主网站对各地级子网站的信息采集与整合问题[2]。

2.3多源数据与多阶段组合的关联分析

多源数据和多阶段组合的关联分析过程是繁琐而又有规律的，首先确定采集任务，针对不同的目标数据源进行采集配置，以确保可以采集到数据；随后对任务进行调度，与目标站点同步更新、增量采集，采集到的结果完成数据异构到同构的过程；最后通过发布服务器，将数据发布到应用平台。大数据技术能够不断增强数据的存储和解析效率，及时发现并解析多源数据，从而防止发生安全隐患并制止网络攻击行为产生。如果一个计算机中存在安全隐患，甚至还会有攻击现象，通过大数据技术可以查看其它计算机系统是否同样有相似的情况，这样在最短的时间能找到问题产生的原因，并采取相应措施保证所有机器系统的安全运行。例如，美国国家卫生研究院的生物科技信息中心(NCBI)公布的大量基因相关数据，这些数据的来源可以实时跟踪、采集相关的国内外科技信息与新闻，对科研数据在各个网站网页中进行整合，再通过本地文本数据抽取最后整合出完整且有实际作用的最终数据。

3 网络安全平台实现的技术支持

随着计算机技术的发展和信息化技术的普及，大数据技术越来越多的参与到网络安全平台的建设活动当中，并为网络安全平台提供了相关技术支持：

（1）大数据技术的网络安全平台框架建立，从采集层、存储层、分析层到最终的呈现层，整个平台框架构造完善，数据采集层可以运用分布式的方法对所有用户进行身份信息的收集，为了保障网络运行安全，部分机构还会对用户进行安全事件的信息收集。存储层能够对信息进行永久的数据存储，并实现结构化的存储模式，通过均衡算法让数据具有实时性，在所有相应的文件夹中分布，以此加快用户检索的速度。

（2）平台实现的技术支撑，数据同样有采集层、存储层、解析层和显示层，其他层同大数据平台架构一样，解析层的功能却更加突出，网络安全系统进行分析时对实时数据进行解析关联、解析情况，并掌握其中的特征，从而发现安全事件，是否有潜在的威胁和攻击性行为存在，如果存在则分析原因进行解决。此外，数据显示层可以将分析后的数据显现出来，利用多个维度表现出网络安全此时此刻的状态。

（3）基于数据的挖掘与分析，平台一般使用M ahout完成机械学习，针对事件流的关联和分析，平台运用CPE，将系统数据作为事件类型，在有关联性的时间里解析，分门别类的将简单事件转化为高级事件，从海量信息资源中查询到网络安全隐患问题。

（4）网络安全平台中的安全性问题关系到未来网络应用的深入发展，它涉及安全策略、移动代码、指令保护、密码学、操作系统、软件工程和网络安全管理等内容。建议内部网络与公用网络进行隔离并采用“防火墙”技术，这种防护技术是计算机硬件和软件的组合，将互联网与区域内部网络之间建立一个安全网关，保护内部网络的安全，免遭外部非法侵入和篡改。

4 总结

总而言之，在当今大数据时代发展下，人们越来越重视网络安全问题，对大数据技术的研究不断深入，多方技术结合力求网络环境的和谐和上网过程中安全可靠，无论是信息的采集还是收集，甚至是最后的解析与呈现，大数据的应用造福了所有企业与用户，保护了所有人的隐私，提供了海量的共享信息，为生活提供了便利，有效的提升了网络世界的安全防御能力。

[1]刘梦飞.大数据背景下计算机网络信息安全风险及防护措施[J/OL].现代工业经济和信息化, 2017.

[2]王帅, 汪来富, 金华敏等.网络安全分析中的大数据技术应用[J].电信科学, 2015.

[3]管磊, 胡光俊, 王专.基于大数据的网络安全态势感知技术研究[J].信息网络安全, 2016.

[4]刘兰, 林军, 蔡君.面向大数据的异构网络安全监控及关联算法研究[J].电信科学, 2014.