大数据技术在网络安全分析中的应用

韦俊旭

【摘要】21世纪我国已经进入了网络建设的全新时代，在网络的安全运行过程，对于大数据技术的应用一定要重视起来。能够注重对流量数据和分散日志的集中化管理，同时，通过储存，采集，检索等方式来提高网络数据的处理速度和效率，关注到网络的安全问题，尽可能地减少安全分析的时间。本文首先了解了大数据技术与网络安全分析，随后分析了大数据技术在网络安全分析领域的应用意义，最后探究了大数据技术在网络安全分析中的应用。

【关键词】大数据技术;网络安全分析;重要意义;应用

中图分类号：TN92                       文献标识码：A                 DOI：10.12246/j.issn.1673-0348.2021.22.033

结合网络信息技术发展特点，在网络信息技术发展的背景下，网络框架呈现出复杂性的发展变化，网络资源内容呈现出细致性以及多元化的变化，若在网络信息技术使用中，缺少网络安全意识，会降低网络安全性，无法满足不同行业的信息化发展需求。所以，在网络安全分析中，通过大数据技术的运用，不仅可以实现数据量大、速度快的使用优势，也可以满足网络系统利用的安全性，展现网络安全防护的价值。

1. 大数据技术在网络安全分析领域的应用意义

1.1 网络安全分析应用大数据技术的重要性

为了改善和提高互联网网络信息安全的精确度和准确率，就必须采取更多的方法。网络安全分析中，利用大数据技术在网络上的应用主要集中于分析数据，传统的对于数据信息进行传递的技术已经满足不了越来越多人日益扩展的需求。而且大数据技术可以在海量、没有一定规律的信息处理中仍旧能够很好地保证其效率与准确度，这些都是传统的信息技术所做不到的。因此为了有效地保障信息安全，就必须要求大数据技术在企业中得到广泛的运用。大数据技术可以有效地提升网络安全性分析系统的内部存储和管理能力。由于网络的信息复杂、巨大，要把这些海量信息进行集中、分析和存储，这就必然需要互联网和大数据技术的协助。并且，大数据技术在网络安全方面的运用，可以有效地降低网络维护和安全管理的成本。大数据所采用的结构化数据库方式较之于传统结构化的数据库方式效率更好，对硬件的要求低，成本更低。

1.2 大数据技术在网络安全分析领域的应用优势

1.2.1 分析资料更加详实

网络安全问题涉及到诸多影响因素，涉及到与整个网络运行密切相关的各种流程和节点。它要求我们广泛收集和分析网络世界中可能产生的各种海量信息数据。然而，传统的大数据分析技术不能完全满足这项技术的要求。一般只围绕具体问题收集和分析数据，这严重制约了网络安全分析结果的准确性，其工作价值无法得到保证。

大数据技术的发展是为了有效解决网络上数量众多的、非结构化数据的采集和处理问题。利用这项技术，我们可以广泛收集和处理网络世界中人类产生的各种海量信息，这显然在很大程度上增加了丰富的分析数据，我们的研究结论也变得更加可靠。

1.2.2 提升分析效率

与其他大数据技术方法相比，传统的数据处理方法和手段主要是处理具有结构和形态多样性的大规模复杂信息，分析和处理这些数据的效率相对较低。我们的网络安全分析基于移动互联网的应用领域。网络世界的每一个地方都会收集到大量与安全密切相关的信息，这就导致了以往传统数据处理技术中所存在的不利局面，阻碍了我们工作效率的提高。基于此，要加强大数据技术在互联网安全分析等新技术领域的实际应用，特别是加强基于大数据技术的信息分析平台的建设和运营，通过分布式数据采集获得的各种海量异构数据资源进行分布式存储和并行计算，全面提升大数据的综合处理能力和效率。

1.2.3 降低数据处理成本

信息数据的采集可以通过对现有的网络基础设施进行微小的改动直接实现，信息数据的采集可以通过移动终端直接完成。由于大部分数据处理任务都安装在云端，本地人员无需部署大量计算机和计算机分析资源，有效降低了系统的运营成本。

2. 大数据技术在网络安全分析中的应用

2.1 信息的采集

在对数据分析过程中可以将信息的采集作为基本条件，需要结合网络安全的需求科学合理的采集数据信息，大数据技术在信息采集阶段的应用十分必要，信息采集作为信息整合与分析的前提基础，完善采集工作板与后续工作的顺利开展。在大数据技术的采集阶段应用汇总，其常见的技术手段有Flume、Kafka、Storm技术，以便于大数据进行各种分布式的采集。这种数据采集的方式比较高效，其采集的速度可以达到每秒内数百兆左右，从而使得它们在对各种日志数据信息等进行处理的过程中得以获得显著成效。这几项信息采集技术的应用会将所采集信息中有价值的信息分离出来，再讲分离出来的价值信息进行重新整合与分析，最终生成数据报告和完成数据传输工作。需要强调的是，在最终生成的数据传输工作前，其数据要进行检查和分类，确保数据格式的正确性能够符合消费者所需服务的要求。

2.2 信息的储存

能否有效地存储安全的信息和数据，是我们衡量网络安全分析的一个重要环节，信息的收集和存储对于互联网网络安全的分析来讲很重要，而且在实际中运用到了大数据技术就能够通过多种形式采取不同的存储手段来处理和应对不同类型的信息和数据，从而大幅度地提升了數据的查询与存储的顺利性以及其工作效率。在信息的存储过程中，必须要考虑到数据信息的类别和数量，信息的存储一方面要确保数据信息分类的科学性，另外，在存储量上一定要确保容量，确保数据存储的安全稳定不易丢失，只有明确好这些才能够选择最为合适的存储方法，以便提高数据的查询速度和存储效率。在网络组织架构的计算过程中，必须要考虑到安全实施的标准，把分布式作为依据，在数据的设置和分析过程中，要注重节点上的计算，使用脚本挖掘来更好地分析网络的安全级别，通过列式的方式存储数据，把需要分析的数据资源放到每一个计算的节点中，系统在此就会对其进行快速的分析，并且完成信息的统计工作，最后再通过流式的方式把分析的结果放在数据库当中。

2.3 数据的检索

数据的检索是在数据分类存储的基础上进行的，通过对数据信息进行检索有利于促进网络安全数据分析工作的顺利进行，科学合理的检索信息，从而使得使用者通过查找关键词的方式即可查询到所需数据信息，能够提升网络安全分析的性能，同时在数据分析质量提升方面起着举足轻重的作用。在开展网络安全分析工作过程中，有必要检索数据信息，通常使用MapReduce方法对数据进行检索，把提出的查询请求传送到各个处理节点，然后将查询请求进行有效处理，接着采用分布式计算，可以加快相关数据信息的检索。检索速度的提高有利于促进网络安全数据分析工作的顺利进行，同时在网络安全性能提升方面发挥着至关重要的作用。

2.4 数据的分析

数据信息的分析是指对于收集存储信息的梳理和预判，数据的整理和预判大致可以划分为两类，一种是对于实时数据的整理和预判，另一种则是对于历史资料的整理和预判。结合考虑到网络安全问题，对于网络中实时信息和数据的分析我们可以采取流式进行计算，然后利用关键分析算法、CEP技术等手段来辅助进行分析，最终分辨出当下传播的信息是否属于或可能成为网络安全问题。对于历史数据的分析，主要使用分布式存储和计算方法。为了深入分析网络中的历史数据，我们还可以考虑在处理时使用分布式存储和计算方法。这种信息处理方法是为了更好地深入收集数据，规避风险，从而有效判断当前或未来需要收集的信息，实现网络安全控制。

2.5 构建基于大数据分析技术的网络安全平台

在了解各种网络安全设备、构建一套网络安全防护体系的基础上，我们还需要构建基于大数据分析技术的网络安全平台。网络安全平台的建设分为数据采集层和数据处理层。数据信息采集层分为数据信息分析采集层和大数据技术信息存储层，数据处理层分为数据挖掘层、分析层和显示层。在这些层面内能够对所得到用户各式各样的数据信息展开逐一分类，以方便对这海量数据的量化存储。至于展示层就是通过大数据分析技术对数据进行特定的检索，并将其可视化，最后将安全规范数据多维度的空间模型来呈现网络的安全性。基于大数据分析技术网络安全平台的构建在运行期间通常会采用Hive的方式来统计和分析所得到的海量数据，通过分析、检索得到的数据可存储在HDFS内。对于数据挖掘层而言，可采取基于Hadoop技术的机械化数据挖掘技术（对于海量的静态数据而言，Hadoop技术对数据的处理速度要远远大于Spack技术），对于海量数据进行深度挖掘与整理，并且能够按照数据分析所引用的事件流来进行特殊化分析工作。在最后可以采用CPE技术来对平台内的不同类型、不同时间的数据加以分析，并且能够较好帮助建设关系库，从而更好实现平台对数据处理的整体性，以保障网络环境的安全与防范。

我们国家的经济社会正在蓬勃发展，科技也正在飞跃。而这种网络安全的问题其实也就是一种网络信息安全的问题。任何一项个人信息在互联网上的披露对我们个人、社会都有很大的威胁。传统网络安全分析方法采用的技术已经不适合当今时代的技术水平。大数据技术的深入应用已经是中国移动互联网迅猛发展的一个重要象征。大数据技术目前应用广泛，效果明显，能有效提高工作效率，节约成本。将先进的大数据技术应用于网络安全分析，可以有效提高网络安全性，为用户提供良好的生活和工作环境。

參考文献：

[1]王昱辉，温志鹏.浅谈网络安全分析中的大数据技术运用[J].大科技，2018，000（024）：316-317.

[2]丁晨.大数据和人工智能技术在银行网络安全风险管理中的实践——日志安全审计分析业务[J].中国信息化，2019（5）：023.

[3]赵川，孙华利，王国平.基于大数据的电力信息系统网络安全分析[J].电子设计工程，2019，27（23）：148-152.

[4]董超，刘雷.大数据背景下安全分析的网络安全技术发展趋势研究[J].网络安全技术与应用，2019（8）：62-63.

[5]王帅，汪来富，金华敏，等.网络安全分析中的大数据技术应用[J].电信科学，2020（07）：139-144.

[6]崔玉礼，黄丽君.网络安全分析中的大数据技术应用[J].网络空间安全，2020（6）：75-77.

[7]毛乾旭.网络安全分析中的大数据技术运用探析[J].计算机产品与流通，2020（5）：76.

[8]郭伟登.大数据时代的计算机网络安全及防范措施[J/OL].电子技术与软件工程，2019，（06）：201