基于多维异构数据融合的远程配网定值数据处理技术研究

汪娇娇，丁健，王汉军

（广东电网有限责任公司茂名供电局，广东茂名 525000）

随着电力系统规模的不断扩大，数据处理技术的不断发展，远程配网定值整定数据呈现出了爆炸式的快速增长，配电网进入了大数据时代[1-3]。由配网定值整定系统采集到的海量数据呈现不同的结构形式，上述数据反映了配电网的不同运行状态[4-5]。如何高效率采集与处理上述数据，成为了电力系统面临的严峻挑战。此外，近年来电网数字化建设不断加快，不同电网企业的信息数据相对独立，缺乏统一的规范与标准，给配电网数据处理技术增加了难度[6-7]。基于多维异构数据融合技术可以弥补单源数据单一、误差较大的问题，实现结构与非结构的融合使用。其特点主要是将目标数据表示为相同的特性，并将来自不同自由度的数据体现为综合信息，以便于对数据产生依赖[8-9]。因此将多方面的配网数据相融合，应用多维信息融合技术实现数据整合，成为了研究的热点。

多维异构数据融合最典型的方法有小波变换、BP 神经网络等。文献[10]基于海量的终端数据，通过多源融合消除数据冗余，提高数据预测的精度；文献[11]挖掘三组数据的关联性，采用多源异构数据融合方法消除目标数据集的同质问题；文献[12]通过优化数据处理方案和排序，增加数据库的融合率。但上述研究工作均针对数据集进行研究，在远程配网定值整定数据方法的研究方面仍显匮乏。

因此，该文基于多维异构数据融合技术提出了一种远程配网定值数据处理方案。在对采集到的数据进行预处理的基础上，采用RSA 算法实现了对信息数据的加密运算，以此保证电力大数据的安全、有效性。通过正交基前向神经网络算法确定最优的网络参数，从而实现优化的并行数据处理，显著提高融合数据的处理效率，同时也有效提高了电力数据分析过程中的预测精度。

1 数据处理与传输

1.1 数据采集与预处理

配网终端设备采集到的数据结构复杂，可能存在数据冗余或缺失等情况。因此在进行多维异构数据融合之前，需要对采集到的数据进行预处理，通过数据清洗、集成等步骤提高原始数据的精度[13]。在实际的数据采集过程中，通常会由于周围环境、设备质量、人为因素等原因导致数据丢失或失真，所以需要进行数据清洗。对于采集数据有重复的，采用聚类法进行处理；而对于噪声数据，可采用过滤技术进行处理。此外，为统一数据量纲，对所有采集到的数据进行归一化处理。标准化处理所采用的转换函数为：

式中，X′表示标准化之后的数据，其值为0～1 之间的任何值，X、Xmin、Xmax分别表示样本数据的原始值、最小值和最大值。

1.2 数据传输

通信技术在电力数据传输过程中发挥了重要作用，常见的协议有对称加密技术和非对称加密技术。对称加密技术传输速度快，可对大量数据进行加密，且加密与解密的秘钥相同，可以将配电终端采集到的数据安全传输到另一端；非对称加密技术与对称加密技术不同，其加密与解密过程使用两个不同的密钥，然后分别设置密码，通过这种方法可提高传输速度、增加传输的安全性[14]。

为了保证电力大数据的安全有效性，该文开发了加密算法与密钥管理系统。其需要对采集到的数据进行签名与核对，保证身份与证书一致，以便对身份进行认证和管理，密钥从管理系统申请获取。采用RSA 算法实现的密钥的生成，其算法逻辑为：

1）首先选择两个不同的素数A 和B；

2）计算上述两个素数的乘积；

3）选取随机数e，使其最大公约数为1；

4）对每个密钥进行加密变换，变换规则为E(k)=xemodn，解密规则为D(k)=ydmodn；

5）销毁A 与B，以（e，n）为公开密钥，（d，n）为私有密钥。

为提高数据传输的效率，在各个数据结构上设置物理内存，按照各个协议之间的规则传递数据协议。通过RS485 接口与终端设备进行MODBUS 通信，并配置文件接口类型。基于以太网将配电定值整定数据传至后台，其系统模块框架如图1 所示。从图中可以看出，两个模块均可独立进行任务，并可支持多规约的终端设备。

图1 内存共享与数据采集模块

1.3 数据融合

数据融合是指在已设计好完整框架内对所有采集的数据按照预定规则进行数据关联和特征获取操作，从而能够快速地对选取对象进行数据监测、评估和处理。数据融合可采用三个层次描述算法的完整性，如图2 所示。

图2 数据融合数据图

采用数据融合算法有以下优势：

1）由于电力数据在采集过程中存在数据冗余的情况，数据融合可拓宽数据的带宽；

2）利用电力传输通道，提高传输速度，增加延时处理；

3）当遇到单一故障时，仅依赖配网定值整定系统可能会造成数据的不准确，而采用数据融合算法可以增加配电线路的复杂故障识别率。

2 多维异构数据融合算法

2.1 正交基前向神经网络算法

传统数据融合算法利用反向传播网络，传输速率慢且误差函数存在极值点，则会造成数据过拟合的问题[15-16]。采用正交基前向神经网络算法可确定最优的网络隐含层数目及神经元个数，提高预测精度与效率。

Hermite 正交基前向神经网络基于多项式理论，将正交多项式作为激励函数，简化迭代过程并节省训练时间，从而巧妙设定阈值。但该方法仅适用于少量的样本数据，当处理电力大数据时存在耗时长、内存占用多等问题。而MapReduce 处理框架可处理集群数据集，自动将数据样本按照处理任务分为多个数据块。根据节点处理对应的模块，计算Map 节点和Reduce 节点并执行同步操作。为了减少通信道路堵塞，采用一定的策略进行划分处理，确保每个数据发送到Reduce 节点。为提高CPU 的处理速率，通常在程序运行过程中多备份运行。同时当出现硬件或软件问题时，MapReduce 可实时检测出结果并重新分配节点任务。

MapReduce 根据客户的任务，可分为全过程的4个独立部分任务：1）编写及提交程序；2）协调与处理资源规划；3）接受并执行命令；4）数据共享与保存，实现以流动形式访问数据中心。

2.2 模型算法并行化

与传统串行计算进行对比，若将大样本数据分解为小样本数据且由多个处理器进行处理，可大幅提高处理器的运算效率。基于MapReduce 模型的多维异构数据融合算法正是融合了以上思想，从而提高计算速率。其并行处理流程如图3 所示。

图3 并行处理流程图

基于MapReduce 模型的神经网络在工作时，具有独立处理、分块运行的特点，因此将MapReduce 并行化处理。将配电终端采集到的数据使用Map 融合机制分解为子数据集，并根据分配的任务执行各节点任务；再结合融合算法进行指标计算，通过Reduce函数将各个节点进行汇总处理。

2.3 并行化模式下的数据融合

配网定值整定系统通过对比数据运算值与整定值，实现远程数据采集与分析。在采集大量的数据集后，基于Hadoop 平台并利用HDFS 进行海量存储，将为数据的传输与处理提供便捷。采用配电网终端采集的整定值为目标，数据处理步骤如图4 所示。

图4 数据并行融合

并行化的数据融合步骤如下：

1）配网终端采集数据离散化。

依据整定目标，将采集到的电压、电流、功率等数据进行离散化处理，采用等距方法将上述数据离散化。其中，开关状态均为离散化变量，无需处理。

2）矩阵化处理。

设N为某一时刻配网终端采集到的数据，用Ni表示某一用电设备在该时刻采集到的数据矩阵：

因此，可以得到多个配网终端采集设备收集的数据矩阵M为：

3）应用MapReduce 并行算法对远程配网定值数据进行训练、预测及对比分析。

3 实验分析

3.1 测试环境

在远程配网定值整定系统基础上，对配网终端采集到的海量数据进行融合分析。其中HDFS 采用主从结构，以NameNode 作为主服务器，管理文件命名和数据访问系统。基于文中所提到的MapReduce数据处理流程，构建20 台终端节点形成数据测试平台，所有流程均在Eclipse 环境中完成。其实验测试的配置环境，如表1 所示。

表1 配置环境

3.2 实验数据及分析

采用某区域配电网远程定值整定系统的采集数据，选取电压、电流、有功功率、无功功率、温度等作为数据输入参数，用以下公式将预测功率进行误差统一化：

式（4）中，Yt表示功率预测值，yt表示功率实际值，n为预测个数，且误差值越小说明精度越高。

平均绝对误差表示整体情况的匹配程度，可用以下表达式表示：

式（5）中，M值的大小表示预测的准确度，其值越小说明预测精度越高。

应用该文所述方法与传统BP 神经网络算法、灰色预测方法、深度学习进行对比分析，计算各种方法的标准误差与绝对误差，对比结果如表2 所示。从表2 可以看出，采用文中所述方法对远程配网定值数据进行处理时，其误差值均有所降低，更接近真实值。其原因在于正交多项式作为激励函数，可以实现数据融合与原始数据的特征，且更能反映原始数据的真实性。

表2 各种方法误差对比

为进一步分析该文方法的优势，从算法的效率方面设置四组实验，将数据集扩充为8 GB、10 GB、12 GB、14 GB。分别记录系统的处理时间，采用两种方法进行对比验证，其所用时间如表3 所示。

表3 两种方法消耗时间对比

从表3 可以看出，当采集的数据集容量较小时，两种算法的用时差异不明显；当采集的数据集容量逐渐增大，两种算法体现出了明显的用时差异。从表中还能看出，该文方法表现出更高效率的处理速率，因此更适用于大容量数据的处理场景。

4 结束语

针对如何高效率采集与处理远程配网定值数据问题，该文基于多维异构数据融合技术研究了远程配网定值数据处理的方法。在数据采集与预处理、数据传输方面，应用数据关联和特征获取操作，能够快速地对选取对象进行数据监测、评估和处理；在数据融合方面，采用正交基前向神经网络算法可以计算确定出最优的网络隐含层数及神经元个数，提高预测精度与效率。在远程配网定值整定系统基础上，对配网终端采集到的海量数据进行融合分析。结果表明，采用文中所述方法对远程配网定值数据进行处理时，其误差值均有所降低，且表现出高效率的处理速率，更适用于大容量数据的处理场景。