基于Hadoop的网站入侵检测与分析系统设计

张晓明， 王玉鑫， 王 广， 张戈彤， 武瑞江

(北京石油化工学院 信息工程学院 计算机系，北京 102617)



基于Hadoop的网站入侵检测与分析系统设计

张晓明， 王玉鑫， 王 广， 张戈彤， 武瑞江

(北京石油化工学院 信息工程学院 计算机系，北京 102617)

基于大规模数据的入侵检测分析具有重要的研究意义和实用性。针对现有系统的仿真和离线分析不足，设计和实现一套真实的网站入侵检测综合分析系统，能够将入侵检测系统和大数据分析系统结合起来。通过网络构建和软件设计，可以完成真实网站的入侵检测、数据存储、数据清洗和数据挖掘等功能。通过定时和主动两种方式，系统将入侵检测数据传输到数据库中，然后导入到Hadoop系统中。设计了人机交互软件，能够完成Hadoop系统和Mahout技术的大数据分析。实验结果表明，该系统能够快速完成随机森林模型的构建和测试，获得了满意的检测效果。

入侵检测； Hadoop； 大数据； Mahout； 分类； 随机森林

0 引 言

随着网络攻防技术的发展，网站安全的防护要求越来越高，单一的入侵检测系统(Intrusion Detection System, IDS)已不能完全满足这种需要。例如，文献[1] 设计了一种IDS测试的实验系统，能够开展网络流量仿真和攻击仿真，并完成了包捕获率和检测率的实验。文献[2]提出了基于 Snort 的入侵检测实验方案，在实验室搭建了实验环境。但是，文中采用的集线器设备已很少使用，而且Snort软件是基于规则匹配的，在复杂攻击方面难以防范。目前的主要发展方向之一是利用大规模数据资源，通过数据挖掘算法找出规律，形成更为有效的入侵规则，从而为入侵预测提供依据。……