基于Spark-ML+Conv-LSTM的混合入侵检测系统

杨吉鹏， 谢辉

(杭州网易云音乐科技有限公司，浙江 杭州 310052)

0 引言

随着信息和通信技术的飞速发展，网络安全威胁不断增加。入侵检测系统(IDS)在检测网络安全威胁方面发挥重要作用[1]。传统IDS采用机器学习(ML)方法监视特定网络的所有出入站数据包，忽略了特征选择和分类的重要性[2]。因此，许多已知的攻击流量仍然无法识别并逐渐构成潜在威胁。此外，由于大规模的网络基础设施产生海量数据，传统方法无法灵活处理且不具有可扩展性。

根据动态检测方法，IDS可分为恶意攻击检测、异常流量检测和状态协议检测3种类型[3-4]。根据体系结构，IDS又可分为主机入侵检测系统(HIDS)、网络入侵检测系统(NIDS)和混合IDS3种类型[5]。其中，混合IDS结合了NIDS和HIDS的优点，并且具有很高的灵活性和可拓展安全机制。文献[6]利用深度学习(DL)非线性结构分析了异常流量复合数据。文献[7]利用CNN和LSTM(Conv-LSTM)网络混合方法识别了恶意攻击的类型。在流量的特征提取和入侵分析方面，单一的使用异常流量检测和恶意攻击检测技术都具有局限性。

为了提高IDS的学习能力和检测性能，本文提出基于Spark-ML+Conv-LSTM方法的混合IDS。利用Spark-ML的经典机器学习模型进行异常流量检测，并结合Conv-LSTM网络识别恶意攻击，从而解决全局和局部潜在威胁特征。混合方法结合了两者在深层学习和浅层学习的优点，提高了系统的综合检测性能。在ISCX 2012数据集上验证了所提出混合方法的有效性，并用Spark分析了数据包捕获文件。与现有基于传统ML的IDS相比，本文的IDS能够在97.29%的情况下准确地识别网络入侵，并且在10倍交叉验证测试中优于其他方法。……