物联网网络流量分析系统设计

摘要：随着物联网技术迅速发展，网络数据激增，对数据分析和网络安全提出挑战。数据可视化技术在物联网网络流量数据分析中发挥关键作用。本文设计一个专注于物联网网络流量数据的可视化系统，整合各类数据可视化工具，建立高效分析平台。该系统实际部署后能有效识别和分析网络流量数据，为研究人员提供强大支持。通过数据可视化技术，用户能够更直观地了解大规模网络流量的特征、趋势和异常，为不断变化的网络环境提供全面可靠的解决方案。

关键词：物联网；网络流量；网络安全；数据可视化

引言

数据可视化技术在物联网网络流量数据分析中扮演关键角色，提升了网络安全和分析人员对通信模式及异常的识别效率[1]，对物联网网络研究和监管至关重要，有助于检测异常、了解流量特征和趋势。随着物联网网络节点增多，结构复杂，流量数据不断增加，网络管理和安全分析面临巨大挑战。数据可视化技术减轻了分析人员工作负担，避免了资源和时间成本的浪费。物联网网络安全可视化技术通过将抽象网络数据转化为图形和动画，结合人机交互技术进行网络安全事件分析，有助于实现网络安全态势感知，发现入侵和异常，促进未知安全事件的研究[2]。

将可视化技术应用于网络安全领域将带来许多优势。首先，可视化技术使得网络安全数据信息更易于获取。通过可视化技术，研究和管理人员能够更快速地感知网络安全数据信息，迅速识别数据模式和数据差异，从而更深入地发现数据异常。其次，可视化技术使对威胁的感知更加直观敏捷。它可以方便地对网络入侵事件进行聚类识别，从海量数据信息中发现新的攻击模式和规律，进而对攻击趋势进行预测并提前进行防御。

物联网安全可视化的方向大体可分为以下几种：首先是物联网安全管理的可视化，该方法实现了对物联网安全运维全过程的跟踪和管控，通过拓扑表达方式支持设备管理、策略管理及部署，图表数据暴露了更深层次的物联网安全信息和线索。其次是信息安全的可视化，解决了不同物联网安全产品产生的异构安全信息的融合问题，整理分析出真正对物联网安全分析人员有意义有价值的信息，增强物联网安全产品和网络系统之间的联系。最后是数据可视化，通过二维或三维空间的直观反映，解决了日志数据信息受到数据集特征限制的问题，使信息更直观立体，达到更好的显示效果。

Keim等人[3]引入Radial Traffic Analyzer系统，以同心圆形式可视化网络流量的源/目的IP地址和端口，协助分析人员监控流量、捕捉通信模式。Lakkaraju等人[4]设计TNV系统，基于时序进行全局网络流量分析，避免底层细节过度关注。Cappers等人[5]提出SNAPS系统，结合深度数据包检查和异常检测，协助安全分析人员评估消息层异常对网络层安全的威胁。Ball等人[6]提出VISUAL系统监控内部网络，通过网格表示内外部节点，展示访问行为和强度。Xiao等人[7]将网络流量可视化与陈述式知识表达法相结合，通过迭代发现网络攻击模式，并更新知识库。Mansmann等人[8]提出可交互的TreeMap布局网络地图系统，对IP地址空间分层处理，实现大规模网络直观分析。

本文专注于研究物联网网络流量数据可视化和网络安全可视化，设计并建立物联网网络流量数据可视化系统，并利用可信赖的网络异常流量数据集CIC-IDS-2017进行系统测试，通过构建后台管理平台，整合了模拟攻击、数据收集和图表展示等功能。

1. 系统设计

在庞大的物联网网络流量数据中，有针对性地进行全面的可视化模拟与分析，对于不同研究领域和具体平台环境至关重要。尽管已存在多种网络数据可视化技术，却缺乏一个综合的平台架构，为数据可视化提供更大的发展空间。本文提出了一个与物联网网络数据深度结合、兼具视觉效果和高性能操控感的物联网网络流量数据可视化系统平台。

该系统整合了数据可视化、后台管理和模拟网络攻击等功能，涵盖了数据集研究、真实数据反馈和跨平台数据交互等需求。从对数据集的研究到对真实环境下网络流量数据的分析，该系统满足了数据分析管理人员学习与工作的多方面需求。

物联网网络流量数据可视化系统涉及两个主要信息来源：一是网络安全数据集的信息，通过对不同网络安全数据集进行数据可视化，降低研究人员的工作难度，以更直观有效的方式获取全面的数据集信息；二是网站后台的真实网络流量数据，通过对真实流量数据的研究分析，深入了解网络流量数据的各个方面，帮助实际网站运营者提供准确的网络安全洞察，以便网络安全人员更好地理解网络攻击和威胁。

2. 系统实现

2.1 PC前端部分

PC前端数据可视化部分的核心基础是Web技术，其主要功能是实现数据可视化，使研究人员能以更直观清晰的方式研究网络数据集，发挥数据可视化在网络安全研究学习中的作用。

PC端数据可视化部分的主要功能流程如下：用户注册登录，本功能为系统基础功能，用于用户的注册和登录，用户可分为管理员和普通用户，管理员可以在后台进行设置，目前为了系统的通用性，系统所有功能设置对所有用戶可见，之后会加强系统的安全性和可维护性，添加隐私机制。用户通过注册和登录进入系统，系统分为系统首页与实验案例两部分。在系统首页，用户可以根据需要查看基于某些数据集的网络攻击数据展示。此外，用户也可根据自身需求上传自有数据进行可视化操作。PC端数据可视化部分的建立涵盖两个主要方面：网络攻击数据展示和数据上传处理操作。

在系统的架构中，采用了Python的Tornado作为Web服务器兼Web应用框架，同时利用Nginx进行反向代理，并通过Supervisor进行监控。在Handlers中，包含了系统所有页面的处理逻辑。通过向web.Application类的构造函数传递static_path参数，系统能够从文件系统的特定位置提供静态文件。为便于部署，静态文件目录被命名为static。我们配置了静态文件的URL，并设定了模板文件的路径。在Methods部分，使用PyMySQL进行数据库连接的配置，并利用MySQL处理相关的数据库操作。这种系统架构充分发挥了Tornado的异步性能、Nginx的反向代理特性，并通过Supervisor进行监控，从而使系统具备高性能、可伸缩性和稳定性。

本系统的主要功能包括网络攻击数据的展示和数据上传操作。在网络攻击数据展示功能页面中，详细呈现了数据集中的攻击类型统计、攻击源IP和目的IP，以及时间戳对IP的关联（由于数据集中时间戳过于集中而省略此功能）、时间戳对其他、其他对其他（根据数据集中的特征标签来命名功能）。在数据上传操作功能页面中，包括攻击源IP和目的IP，以及时间戳对其他这两个功能，其他功能由于实用性不高而被舍弃。在数据上传操作功能中，用户可以上传经CICFlowMeter处理过的csv文件，生成相应的可视化图表。

2.2 后台管理部分

该系统将采用React构建后台管理部分的用户界面，使用Koa作为后台管理系统的Web框架，并选择MySQL 8作为数据库支持。监控方面将使用PM2，同时通过Nginx进行反向代理。系统还嵌入了tcpdump、CICFlowMeter等工具，以实现网络攻击模拟、网络流量数据整理和数据预处理等功能的整合。

后台管理部分的主要功能流程如下：用户首先进行注册或登录，然后进入后台管理平台。系统展示各项功能，其中重要的功能包括素材管理、文件下载和检测操作。在各功能模块中，用户可以根据需要自行更改系统所需的素材，或查看并下载PC端数据可视化子系统生成的文件。tcpdump在系统中的嵌入涉及文件下载系统的实现。目前，系统主要利用tcpdump实现数据包的自动捕获，并将数据包保存到pcap文件中，然后使用CICFlowMeter获取csv文件。流程包括在服务器端运行shell脚本启动tcpdump自动捕获程序，自动捕捉数据包并保存到指定位置以供系统调用，在实验中可停止捕获。

本平台的后台管理系统采用了React-Antd-Admin框架，该框架适用于构建简单通用的后台管理系统，可在开源基础上引入更多的框架更新和功能扩展优化。主要功能包括用户注册登录、系统首页、用户管理以及文件下载。用户注册登录是系统的基础功能，分为管理员和普通用户，管理员可在后台进行设置。目前，为了系统通用性，所有用户都可以看到所有功能设置，但未来将加强系统的安全性、可维护性，并添加隐私机制。系统首页设有侧边导航栏，显示具体功能，并在右上角设置了用户中心，用于管理用户信息。用户管理功能用于管理使用本系统的用户。文件下载功能用于与PC端数据可视化子系统交互，可下载适用于PC端数据可视化系统操作的数据，包括csv文件和pcap文件，这些文件由tcpdump在项目所部署的服务器上捕获的流量数据文件。

3. 系统测试

本文实验过程中使用CIC-IDS-2017数据集进行测试。CIC-IDS-2017数据集全面覆盖了11种常见攻击的必要标准，包括DoS、DDoS、Brute Force、XSS、SQL注入、过滤、端口扫描和Botnet等。该数据集经过完全标记，通过使用CICFlowMeter软件提取和计算了所有良性和入侵性流量的80多个网络流量特征。该软件已在加拿大网络安全研究所的网站上公开提供[9]。

CIC-IDS-2017数据集捕获期为五天，分别为星期一至星期五。星期一为正常流量，其余四天分别实施多种攻击，如FTP Patator、SSH Patator、DoS、Heartbleed等。使用CICFlowMeter提取了80个流量特征。在线模式可实时监控并生成特征，监听结束后可保存结果或通过离线模式提交pcap文件，并获取包含特征的csv文件，如表1所示。

为确定每种攻击的最佳特征集，使用了Scikit-Learn的随机森林回归模型类。首先，对整个数据集中的每个特征进行重要性评估。接下来，在每个类别上，将每个特征的拆分平均标准化值与相应特征重要性的乘积计算得出。这一过程最终产生了综合结果，通过将平均标准化值与特征重要性相乘，有效地捕捉了每个类别内各个特征的贡献，从而提供了综合而有针对性的评估。数据集攻击数据样本统计表展示效果如表2所示。

结语

数据可视化技术是帮助人们挖掘大规模数据中潜在特征的重要手段，在多个领域得到广泛应用，包括物联网网络流量数据分析。物联网网络流量数据可视化有助于提升网络安全人员和分析人员对通信模式及异常情况的识别和定位效率。作为网络数据的重要组成部分，物联网网络流量数据对于网络研究和监管人员侦测网络异常、了解网络流量特征和趋势等具有重要意义。物联网网络安全可视化的实现离不开网络数据，因为网络数据源在可视化流程中至关重要。各类网络数据中蕴含着多样的网络信息，为网络安全可视化在不同领域的应用奠定了基础。本文以物联网网络流量数据为研究对象，通过分析不同系统，探讨了先前的网络安全可视化工作，构建了基于Web的网络流量可视化系统，提出了线上网站与安全数据监测分析相结合的方案，并进行了線上部署和实验验证。在未来研究中，将专注于深入研究实时数据交互和分析，以提供实用的数据可视化方案，同时力求摆脱特定数据集的限制，进行更广泛通用的可视化技术研究。

参考文献：

[1]穆逸诚，柯珊珊.网络安全的可视化分析[J].科技创业月刊，2017，30（3）：20-22.

[2]Becker R A，Eick S G，Wilks A R.Visualizing Network Data[J].IEEE Transactions on visualization and computer graphics，1995，1（1）：16-28.

[3]Keim D A，Mansmann F，Schneidewind J，et al..Monitoring Network Traffic with Radial Traffic Analyzer[C].IEEE Symposium.Visual Analytics Science and Technology，2006：123-128.

[4]Lakkaraju K，Yurcik W，Lee AJ.NVisionIP：Netflow Visualizations of System State for Security Situational Awareness[C].ACM Workshop Visualization and Data Mining for Computer Security，2004：65-72.

[5]Cappers B C M，Wijk J J V.SNAPS：Semantic Network traffic Analysis through Projection and Selection[C].IEEE Workshop Visualization for Computer Security，2015：1-8.

[6]Ball R，Fink G A，North C.Home-Centric Visualization of Network Traffic for Security Administration[C].ACM Workshop Visualization and Data Mining for Computer Security，2004：55-64.

[7]Xiao L，Gerth J，Hanrahan P.Enhancing Visual Analysis of Network Traffic Using a Knowledge Representation[C].IEEE Symp.Visual Analytics Science and Technology，2006：107-114.

[8]Mansmann F，Keim D，North S，et al.Visual analysis of network traffic for resource planning，interactive monitoring，and interpretation of security threats[J].IEEE transactions on visualization and computer graphics，2007，13（6）：1105-1112.

[9]Sharafaldin I，Lashkari A H，Ghorbani A A.Toward Generating a New Intrusion Detection Dataset and Intrusion Traffic Characterization[C].The 4th International Conference on Information Systems Security and Privacy，2018：108-116.

作者簡介：张轩，博士研究生，工程师，研究方向：物联网。