基于马氏距离的异构网络异常大数据剔除方法

董彦佼，李泽峰，陈小海

(1. 澳门城市大学数据科学学院，澳门 999078；2. 桂林电子科技大学计算机工程学院，广西 北海 536000)

1 引言

当前，基于市场需要，网络类型逐渐多样化，网络用户处于复杂的异构网络环境，导致信息的获取、传输及存储形式均发生了较大变化[1-2]。通常情况下利用云储存对异构网络中的资源实现调度，在调度的过程中易产生大量异常大数据，产生网络安全隐患，也造成大量的存储空间被无效占用。面对网络异常大数据的威胁，进一步研究精准剔除异常大数据的方法是十分必要的[3-4]。

在复杂的异构网络中，数据联级之间具有较大的噪声干扰，导致数据之间无较强的自相关特性，不易对异常大数据的体征进行有效提取[5-6]，很多网络专业领域的专家和学者对此进行了大量的研究。纪雪等人[7]基于多波束展开针对异常数据检测并剔除的研究，是将统计推值方法和函数分别与数据统计的理论研究相结合，然后比较两个结果，在二者之间选取合适的中值滤波后进行小波分析，利用CUBE算法实现对异常数据的检测和剔除。时珉等人[8]基于滑动标准差的计算对光伏阵列异常数据展开的剔除方法的研究，针对异常数据进行来源和分布状况的分析，利用该阵列之间的滑动标准差进行计算的方法，根据标准差上翘的曲线进行异常数据的剔除。虽然上述方法均能实现网络中异常数据的剔除目的，但是在异常数据的检测和剔除过程中，易发生较大几率的漏剔除或误剔除。

为解决以上传统方法存在的应用问题，本文提出基于马氏距离的异构网络大数据剔除方法，利用马氏距离对异构网络数据完成降维处理，分析数据相关性，提取数据主成分，构建异常大数据信号基础模型，结合自适应联级陷波器对抑制环境噪声干扰，有效实现异构网络异常大数据的高效剔除。该方法为网络异常数据的检测和剔除提供了有力的参考价值和实际应用价值。

2 基于马氏距离剔除异构网络异常大数据

2.1 基于改进马氏距离的数据降维

将由i，j两组样本数据组成的列向量假设为xi、xj，则马氏距离为

(1)

且马氏距离在U表示单位矩阵的时候即转化成欧式距离。

在进行马氏距离计算的过程中，U存在一定的无逆矩阵概率，故式(1)计算的马氏距离结果稳定性不高，因此将协方差矩阵的广义逆矩阵引入式(2)后分解其奇异值，可得

(2)

其中，∑=diag(λ1，λ2，…，λr)，N和W表示酉矩阵。λi(i=1，2，…，r)(λ1≥λ2，…，λr)表示不等于的奇异值，r表示秩，H表示共轭转置。

针对式(2)进行广义逆矩阵T+的求解，即

(3)

综上所述，可得矩阵

(4)

对式(4)进行求逆操作，可得

(5)

在式(5)中代入∑-1后推演，可得

(6)

在式(4)中代入式(6)，获取改进的马氏距离高斯加权核函数即：

(7)

改进的马氏距离具备良好的稳定性和对称性，利用其对称性减少计算过程，同时达到抑制噪声干扰的目的。

2.2 构建异常大数据信息流模型

利用改进马氏距离降维处理后的异构网络数据构建异常大数据信号模型，当网络中存在着若干个干扰特征时，针对异常大数据信号构建解析模型进行信号中离散数据的解析，解析模型为

r(t)=x(t)+a(t)·y(t)

(8)

其中，异常数据信号为r(t)，解析模型实部为x(t)，固有模态函数为y(t)，包络特征为a(t)。

将解析模型利用固有模态分解法进行窄带信号分解，分解之后生成若干窄带信号，以此获取异常大数据干扰特征程度，即

(9)

其中，θ(t)为高频分量。

异构网络中存在的异常大数据受干扰频率特征为

(10)

通过上述分析可获取各异常大数据信道的信号干扰比，构建异常大数据信息流模型：

(11)

异构网络异常大数据的信息流模型构建完毕，该模型是进行异常大数据精准剔除的基础[10]。

2.3 异常大数据剔除

将异常大数据的信息流模型与二阶格型陷波器相结合，构建针对异常大数据作用的干扰滤波，陷波器结构示意图如图1所示。

图1 陷波器结构示意图

图1中的r(t)表示由噪声和信号构成的异常大数据剔除观测序列，y(t)表示陷波器的输出频率。

传统滤波器公式为：

θ1(k+1)=θ1(k)-μRe[y(t)φ*(k)]

(12)

其中，μ为参数，表示步长，主要用于针对收敛精度和速度进行控制，φ*(k)表示一阶格型陷波器的剔除输出。

根据函数的相位响应特征和传输程度判定负正弦信号(-sin)和负噪声两者相加的和为输入信号，因此，在异常大数据剔除过程中，传统的滤波器无法将若干个干扰频率全部剔除，采用自适应级联陷波器能够针对干扰频率中的线谱成分进行有效抑制，从而提升异常大数据的剔除精准度。自适应级联陷波器结构如图2所示。

图2 自适应级联陷波器结构示意图

该结构中，每个陷波器均为独立个体，各级的异常大数据信号仅与同级的滤波器产生关联，以此确保异构网络中异常大数据剔除的精准度[11-12]。

利用滤波根据异常大数据特征进行干扰成分的提取和处理，用滤波器的输入与输出相减，获取预期高频分量信号，将管理因子β引入异构网络中，该管理因子的区间为[0，0.5]，在此区间内输入负正弦异常大数据信号，对该信号进行与基函数的匹配，其匹配程度为：

(13)

两个任意的数据样本xi、xj，获取基本块文件xi，j(1≤i≤n)，预测异常大数据性能为{λi：1≤i≤S}，判断标准为{Rj：1≤j≤L}，等待信道针对数据包进行转换分配的耗时为

(14)

根据式(14)寻找具有较高配比率的特征点对，结合自适应联级陷波器和基于马氏距离获取的加权函数对干扰产生的抑制作用，完成异构网络异常大数据的高效剔除。

3 实验结果与分析

利用Matlab仿真平台进行异构网络异常大数据剔除仿真，实验相关配置参数如表1所示。

表1 实验参数配置表

管理节点负责管理异构网络系统的缓存，在区间[1，5]之间随机选取节点的存储性能。运算节点负责异构网络中节点端所有数据的解算和上传。在本仿真环境中，利用云储存对异构网络数据进行资源调度，在调度的过程中易产生大量的异常大数据，带来极大的网络安全隐患和存储空间无效占用。异构网络信息在所处的环境存在着干扰频率和噪声。将数据样本作为实验对象，采用本文方法分别与文献[7]基于多波束测针对异常数据研究的监测与剔除方法和文献[8]基于滑动标准差计算对光伏阵列异常数据研究的剔除方法进行关于网络中异常大数据的频谱幅度对比实验，实验结果如图3所示。

图3 异常大数据频谱幅度对比实验结果示意图

由图3可知，采用本文方法进行的异构网络异常大数据剔除过程中，遭受到的干扰最少，针对异常数据的检测具有明显的频谱幅度峰值，具有较好的剔除检测性能。文献[7]方法和文献[8]方法在异常数据剔除过程中受到较多的干扰，导致频谱幅度峰值较多，存在太多干扰选项，导致异常大数据的剔除效果降低。而本文方法采用的自适应联级陷波器和基于改进马氏距离获取的加权函数能够较大程度的对噪声干扰特征进行抑制，确保信号幅值远大于噪声幅值，有效提高异常大数据的剔除能力。

将数据样本中的异常大数据分为三类，分别为异常大数据顶部堆积分布、底部堆积分布及正常分布，其中顶部堆积异常大数据32000个、底部堆积异常大数据18600个，正常分布异常大数据为45000个，利用三种数据剔除方法进行对比实验，实验结果分别见表2、表3和表4。

表2 异常大数据顶部堆积剔除对比结果

表3 异常大数据底部堆积剔除对比结果

表4 异常大数据正常分布剔除对比结果

由表2、表3和表4可知，在异常大数据顶部堆积分布、底部堆积分布和正常分布三种情况下，本文方法的漏剔除和误剔除个数均远远低于文献[7]方法和文献[8]方法的剔除结果，并且在执行异常大数据剔除的过程耗时最短，这是因为本文采用的马氏距离算法能够有效降低异构网络数据纬度，提升剔除方案运行时间。该实验结果表明，本文方法具备相对更好的剔除效果，提升剔除精度和剔除速度，确保了网络的可靠性。

针对异构网络异常大数据的剔除性能，进一步采取定量分析的方法进行对比实验，利用蒙特卡洛在不同信噪比状况下展开了多次的实验，实验结果如图4所示。

图4 剔除性能对比实验结果示意图

由图4可知，本文算法在信噪比为-15dB时，剔除率即达到100%，文献[8]方法在该处的剔除率仅为61.3%，当信噪比为-8dB时，剔除率才为100%，文献[7]方法在-15dB时的剔除率仅为28.7%，但是在信噪比为-7时，也达到了100%，结果表明，采用本文方法能够有效提升异构网络中进行异常大数据剔除的抗干扰能力和剔除能力。

4 结论

为提升异构网络的异常大数据剔除性能，提升网络传输和通信质量，本文研究了基于马氏距离的异构网络异常大数据剔除方法，

通过异常大数据特征空间马氏距离的计算，降维处理网络数据，分析数据之间的相关性，提取主成分，以此简化马氏距离的过程，提升计算速度和效率，利用马氏距离降维处理后的异构网络数据构建异常大数据信号基础模型，结合自适应联级陷波器，抑制异常大数据剔除环境的噪声干扰，通过对异常大数据信号的特征点的匹配，实现有效剔除异常大数据的目的。