分布式网络异常节点挖掘检测方法仿真

梁 硕,韩翔宇,李 慧,王书强

(1. 邯郸学院河北省光纤生物传感与通信器件重点实验室,河北 邯郸 056005;2. 邯郸学院信息工程学院,河北 邯郸 056005;3. 河北工程大学信息与电气工程学院,河北 邯郸 056038)

1 引言

人类正处于信息社会的伟大时代,网络信息的飞速普及,使其在各个领域均得到广泛应用。人类利用信息网络可以实现购物以及通信等。通过信息化全面推进我国社会的进步以及经济的发展,网络进步的同时各种安全隐患也日益明显。作为网络安全保障体系结构的重要组成部分,分布式网络异常节点检测可以在网络系统中的若干关键点收集信息,同时分析网络节点是否存在异常情况[1-2]。

国内相关专家针对分布式网络异常节点检测方面的内容展开了大量研究,例如卢光跃等人[3]通过传感器位置构建近邻图信号模型,将滤波处理前后图信号的平滑度比例作为依据构建统计检验量,通过统计检验量完成网络异常节点检测。神显豪等人[4]对正常数据和注入故障后形成的异常数据归一化后映射形成灰度图片,将其作为卷积神经网络输入特征,通过卷积层自主学习数据特征,进而实现网络节点异常数据检测。董书琴等人[5]将流量检测准确率为依据,对隐藏层层数和每层节点数量寻优处理,获取搜索空间内最优SDA结构,引入小批量梯度下降方法对优化后的SDA训练处理,同时构建异常检测分类器,通过分类器完成异常检测。但以上方法存在检测率以及检测时间不足的问题。

为了解决以上方法中存在的问题,提出一种基于数据挖掘的分布式网络异常节点检测方法。实验结果表明,所提方法不仅能够准确检测网络异常节点,同时还能够有效降低检测耗时。

2 方法

2.1 异常节点特征提取

在分布式网络异常节点检测领域,通常情况下,使用的数据具有比较高的区分能力。引入数据挖掘技术的提取网络异常节点特征,优先需要设定数据维度,通过数据挖掘方法在训练集中提取n维数据,将其转换为k维数据。将数据集合中的样本聚合处理形成k个不连续的簇,同时提取不同簇的簇中心,获取在对应阶段的簇中心。

经过不同阶段的操作后,将获取的数据集Dk利用一种随机分类算法建立一个挖掘模型。在执行任务数据分类过程中[6-7],需要将数据集Dk转换为全新的数据,根据挖掘模型获取对应的分类结果。

经过上述分析可知,数据集中的样本是以单位展开训练操作。将分布式网络异常节点数据自动划分为多个簇,详细的操作步骤为:

1)在数据集Dk中随机选择k个数据样本作为k个簇的初始簇中心集合,对应的集合表达式如下:

(1)

2)对于初始簇中心集合Ck中的各个样本而言,需要计算样本和各个簇之间的距离,对比获取距离最近的簇d(i,j)min,对应的计算式为:

(2)

式中,V(s,t)代表簇中心总数;Cq(u)代表各个簇中心的距离总和。

3)重复上述操作步骤,直至全部簇中心不再发生任何变化,以均方误差作为判定依据,构建以下形式的目标函数U(x,y):

(3)

式中,ux,y代表平方错误函数。

在完成目标函数的建立后,需要将原始数据集转换为全新的数据集,同时将维度为n的特征向量应用到不同的簇中心内,直至形成全新的数据样本,确保特征空间内的数据样本维度和数量完全一致。

为了准确描述不同类型样本在特征空间内的距离远近,通过欧式距离计算随机两个数据样本(x1,x2,…,xn)和(u1,u2,…,un)之间的距离dis(x1,u1),对应的计算式如下:

(4)

在一个已经完成簇类划分的数据集中,样本xi中的距离是由dis(x1,u1),…,dis(xk,uk)来计算。具体而言,将属于训练集Dk的数据样本距离Dist(xj,uj)定义为式(5)的形式:

(5)

经过数据集转换处理后,将获取的全新训练数据集构建挖掘模型[8-9],通过构建的挖掘模型提取分布式网络异常节点特征,详细的操作步骤如下所示:

(6)

(7)

上式中,mj代表数据样本的总数。

3)计算分布式网络中任意两个数据样本之间的相似程度Sim(xj,uj),也可以通过随机两个簇之间的相似程度衡量,对应的计算式为:

(8)

4)将全部数据样本从高维转换到低维空间内,通过计算一个数据样本和簇对应中心的距离之和形成全新的特征,也就是获取分布式网络异常节点特征。

2.2 分布式网络异常节点检测

通过BP神经网络完成分布式网络异常节点检测主要模型两个部分[10-11],分别为分类器建立和分类器训练。将分布式网络划分为训练集和测试集两种。在分类器建立阶段,将训练集引入到BP神经网络中展开训练,当其达到设定的迭代次数或者满足精度需求,则终止训练。

BP神经网络是由三个部分组成,分别为输入层、隐含层、输出层。

设定a={a1,a2,…,an}代表神经网络的输入数据,则神经元的输出loj可以表示为式(11)的形式:

(9)

式中,φij代表神经网络输入数据维数;θ(m,n)代表神经网络的连接权值。

设定输出层的输出为b={b1,b2,…,bn},输出层各个神经元的输出bn可以表示为式(10)的形式:

(10)

式中,αij代表神经网络隐含层的阈值;u(m,n)代表神经网络的输出层阈值。

通过不同层输出可以获取对应层的连接权值矩阵W1和W2,如式(11)和式(12)所示:

(11)

(12)

经过上述分析,BP神经网络在完成一次正向学习过程,输出层形成对应的输出结果,将获取的实际输出结果和预测结果两者对比,假设两者的差值比较大,则误差呈反向传播[12-13]。

随机给定一组学习样本数据,设定f代表数据样本实际输入,g代表给定输入对应的预期输出结果。当任意一条数据输入到BP神经网络后,BP神经网络的实际输出和预期输出两者之间的差值即为网络误差,则误差可以表示为式(13)的形式

(13)

式中,G(t,v)代表网络误差;τx代表随机一条数据的方差;p(u,v)代表神经元的预期输出。

在实际应用过程中,输入数据是无数条的,产生的误差也是无限个,所以需要考虑全部产生的总体误差。展开BP神经网络训练的主要目的就是将总体误差下调至最低。所以,总体误差可以称为全部数据的方差和,为了确保分类器的性能,必须对总体优化展开优化调整。

设定υ代表BP神经网络中的随机一个连接权值,通过梯度下降方法求解BP神经网络权值的修正量Δτ(x,y):

(14)

式中,Δτ(x,y)代表BP神经网络权值的修正量;β(x,y)代表学习率;ρ(u,v)代表训练总次数;η(x,y)代表预期输出差距;l(x,y)代表期望输出差距。

在BP神经网络中,需要对数据样本多次学习有效提升模型的泛化性,其中,模型对样本学习的次数就是迭代次数。每次迭代均代表模型对样本特征的学习程度。在学习过程中,还需要特别注意一个问题,学习次数过多会导致迭代次数增加,模型出现过拟合现象,会降低检测结果的准确性。为了有效避免上述问题的发生,需要寻找最佳迭代次数,引入Hebb学习规则执行寻优,详细的学习规则如式(15)所示:

(15)

式中,H(x,y,z)代表神经网络的学习规则;ϑt代表神经元的活跃系数。

对应离散时间的学习规则可以表示为式(16)的形式:

(16)

基于分布式的神经网络学习过程如下所示:

1)对神经网络中的全部参数初始化处理;

2)完成第1个样本向量接收后,需要在神经网络中加入一个神经元,同时设定对应的初值;

3)判断学习是否接收,假设是,则停止学习;反之,则需要接收一个新的样本向量,同时返回步骤2)。

对于单层的分布式网络异常节点检测而言[14-15],只可以执行误用或者异常检测,对于功能比较强大的异常节点而言,具有一定的局限性。经过上述分析,采用BP神经网络构建分类器,分类器的详细组成结构如图1所示。

图1 基于BP神经网络的分类器组成结构

为了得到更加满意的检测效果,对分类器优化处理,优先设定一个相似度阈值,则多个分类器之间的相似度矩阵Timt×t如式(17)所示:

(17)

将n个分类器划分到同一个类中,进而获取初始类。同时计算全部分类器之间的相似度,选取相似度取值比较大的分类器,将其合并到一个类内,形成一个全新的分类器,即优化处理后的分类器。将2.1小节提取到的特征全部输入到分类器内,完成分布式网络异常节点检测。

3 实验分析

为了验证基于数据挖掘的分布式网络异常节点检测方法(所提方法)的有效性,实验测试在VS2005平台下完成。

对分布式网络中的全部节点数据汇总处理,采用所提方法、基于图信号处理的无线传感器网络异常节点检测算法(参考文献[3]方法)与基于卷积神经网络的网络节点异常数据检测方法(参考文献[4]方法)对节点状态测试,实验结果如表1所示:

表1 不同方法对分布式网络异常节点状态测试

分析表1中的实验数据可知,采用所提方法可以准确判断分布式网络节点的运行状态,而另外两种方法获取的判断结果并不准确,进而全面验证了所提方法的优越性。

验证集为2000组随机分布式网络异常节点数据,训练后分别对比三种不同方法的检测率和检测耗时,详细的实验测试结果如图2所示。

图2 分布式网络异常节点检测率测试结果对比

分析图2中的实验数据可知,随着节点数量增加,对应各个方法的检测率也在不断发生变化。所提方法的异常节点检测率在90%以上,而其它两种方法的检测率低于所提方法。由此可以得出,所提方法的分布式网络异常节点检测率最高,说明所提方法具有良好的检测性能。

分析图3中的实验数据可知,各个检测方法的检测耗时会随着节点数量的增加而增加。在三种方法中,所提方法的检测耗时明显更低一些,保持在1.50s内,而参考文献[3]方法与参考文献[4]方法的耗时高于所提方法。由此可以得出,所提方法能够以最短的时间检测出分布式网络中的异常节点。

图3 不同方法的检测耗时测试结果对比

4 结束语

为了准确检测出分布式网络异常节点,提出一种基于数据挖掘的分布式网络异常节点检测方法。通过数据挖掘技术,提取网络异常节点特征。采用BP神经网络,完成分布式网络异常节点检测。实验证明,所提方法不仅可以准确检测分布式异常网络节点,同时还可以提升检测效率。虽然所提方法取得了比较满意的成果,但是仍然存在不足,在未来的研究中,可以引入更多优质的数据挖掘方法。