◆孔德艳 陈 磊
(深圳华威世纪科技股份有限公司 广东 518029)
互联网作为当前信息化发展的核心力量,与传统工业、电子商务、金融业等服务业全面融合,已成为推动经济发展的核心力量。随之而来的网络应用多样性与网络信息规模的爆炸性增长,特别是其海量、多源、异构的网络数据给网络资源与流量的监控带来了前所未有的挑战。如何保证互联网络的有序、安全,实现高效的网络管理与网络控制,已成为各界的研究热点。
网络流量分类0是指按照网络的应用类型(如FTP, P2P,WWW等),将基于TCP/IP协议的网络通信双向TCP/UDP流进行分类。准确地识别网络流量信息并进行精细化的管理,是实现有效流量监控、网络优化、态势分析和安全检测的重要基础。Spark是基于内存的新一代并行计算框架,其在计算性能方面较MapReduce有更为出色的表现。本文综合考虑新形势下网络流量分类及特征选择所面临的问题,通过构建基于大数据处理的网络流量分类系统模型,为当前海量数据的处理提供整体思路。
模式匹配与机器学习均是当前较为常见的流量分类方法,前者实现较为简单,但应用范围有限;后者通过将流量分类过程抽象为各类机器学习场景,在具备较高准确率的同时提高了方法的适用范围。模式匹配即针对待分类流量的相关参数,如端口号、特征字段等信息,通过与已知的参数进行对比,从而确定其类别。由于各类模式匹配方法处理流量时具有较大的局限性,因此难以进行规范化的推广使用。……