网络大数据的分层调度技术研究

杨军

摘 要： 网络环境下的大数据已经成为数据传输的主要信息载体，大数据使用方式的多样化需要对网络大数据进行多维度的调度调用。传统网络大数据的调度技术能够简单地对网络大数据进行调度，但在目前高维度网络环境下很难进行分层次分维度的调用。针对上述问题，提出网络大数据的分层调度技术。在网络环境下设置多维度分层调度结构，通过网络多维度分层实现高精度的大数据调用。通过实验分析结果可以看出，提出的网络大数据的分层调度技术能够在网络环境下对大数据进行高精度的分层调度。

关键词： 网络环境； 大數据调用； 多维度调用； 分层调度； 调度结构； 数据传输

中图分类号： TN711?34； TN273 文献标识码： A 文章编号： 1004?373X（2018）04?0172?04

Abstract： Big data in the network environment has become a main information carrier of data transmission， and the diversification of big data usage modes requires multi?dimensional scheduling call to network big data. The traditional network big data scheduling technology can schedule network big data simply， but it is difficult to make the hierarchical and multi?dimensional call in the current high dimensional network environment. Aiming at the above problems， a hierarchical scheduling technology for network big data is proposed. The multi?dimensional hierarchical scheduling structure is set up in the network environment， and the high?precision big data call can be realized by multi?dimensional stratification of network. The experimental analysis results show that the proposed hierarchical scheduling technology for network big data can carry out high?precision hierarchical big data scheduling in the network environment.

Keywords： network environment； big data call； multi?dimension call； scheduling structure； hierarchical scheduling； data transmission

0 引 言

在网络大数据的使用过程中，由于网络维度的变化以及应用方式不同造成一定大数据传递堵塞。常规解决方式一般采用数据调度进行大数据的分化，而传统的网络大数据调用技术通过多种形式进行同属归类实现大数据调度[1]。传统网络大数据的调度无法实现多维的调用，同时调用过程中无法实现分层调度，这样造成大数据滞留以及调度缓慢。针对上述问题，本文提出一种网络大数据的分层调度技术，为了保证该设计方法的有效性，设计了对比仿真试验，结果表明，本文设计的网络大数据分层调度技术能够更加精准地进行大数据分层调度。

1 网络大数据的执行分层

在网络大数据环境下，本文引用分层数据技术进行网络大数据的分化。本文设计的网络大数据的分层调度技术在执行调度过程中主要通过对网络大数据应用执行方式以及传输方式进行分化[2]。但网络大数据执行过程的传递过程中存在不同的应用方式，多种应用方式会造成大数据的调度变化，增加调度过程的难度。为了实现分层，首先进行网络大数据的稳定分层，稳定分层后分别对不同层次维度的大数据执行精确调用[3]。层次上大数据调度需结合调度筛选属性，综合层次结构的调用方向。网络大数据一旦分层完毕，调度马上进行，改变了传统的先认定再调用的过程，使更多时候存在分层后再分层局面。本文使用的数据分层执行概念，每一次分层后都会默认成为新维度，这样可以完成多次的执行分层。假设给出一个多层次网络大数据调度任务。设[T1]，[T2]分别代表两个不同层次、不同维度、不同方向的大数据传输层，有：

通常情况下，在一个分层调度系统中，层次数的选择以及个数都是可以选取任意值的；但划分的层次数目过多，系统的数据结构会变得十分复杂，调度效率也会随之降低；但是层次分属过少又不能满足现阶段网络多维度的划分[5]。本文设计的网络大数据的分层调度技术对分属层次上进行了携带式分层。这样既能够满足多维度的需求，也能够执行单维度的执行需求，同时在携带量上通过大数据压缩的形式进行分化执行[6]。本文设计的网络大数据的分层调度技术分层结构图如图1所示。

本文设计网络大数据的分层调度技术把来自相同数据源的网络大数据进行首度层次。起始分层被称为第原始层，依次类推分别是分化层、次分化层[7]。图1演示了双分化层的分层过程。在调度中假设A，B分别代表不同属性不同执行命令的网络大数据，分别到达[P1]和[P2]线路上执行命令，很容易看出[T1]和[T2]原始层上的维度变化，可确认此调度的正确性。endprint

2 实现网络大数据分层传递调度

本文设计的网络大数据的分层调度技术通过传统的层次调度模型来对所在层次上的网络大数据进行调度，只有在跨层分布状态下才使用分层命令[8]。调度事务过程分为语义浏览、逻辑调度和物理执行，即在传统调度事务模型基础上增加了一个执行限令。

语义浏览调度过程：调度过程的目的是完成语义执行的高级操作，如果分层阶段超过限令需要进行标准修订，如果没有超过分层阶段的限令，那么直接进行执行调度。调度的过程中会保留一定的传输口令[9]。

逻辑调度：網络环境下的大数据有序是带有目的性的逻辑执行以及逻辑运算，其调度大数据目的为到达指定区域执行。

为此在分层过程中，到达指定维度的上一维度时，已经对大数据解压完毕，这样更方便大数据调用过程，也方便执行的准确性[10]。

物理执行：此类比较少见，由于执行的是物理意义通过单渠道的对接可以实现。

在每一个分化层之间的大数据层面内的调度是通过筛选的方式执行的，层次内部调用过程也和整体调度分层一样，通过细化分层进行调度。假设大数据[A]放在某一分化层[P1]中，大数据[B]放在某分化层[P2]中。

设置调度层上操作分别为[a]和[b]，执行逻辑层上响应度[a1，a2，…，an]和[b1，b2，…，bn]完成调度[a]操作序列[a1…bn。]按此顺序移动到大数据执行位置，完成大数据在网络环境下的调用过程。

3 仿真实验

3.1 参数设定

为了保证本文设计的网络大数据分层调度技术的设计有效性，对试验参数进行设定，引入轮询特征参数对试验经过来衡量，对试验基础参数需进行设定，实验过程参数如表1所示。为了保证本文设计的实验的有效性以及完整性，对实验过程参数进行随机选取，这样可以更加完整地对实验过程进行考量，实验过程参数如表2所示。

3.2 结果对比分析

实验结果如表3所示，本文设计的网络大数据分层调度技术在调度路径的CWND系数上明显优越于传统调度方法；同时在TSN指数中的空闲值较少，没有超过限定的趋势，数值在小区内波动比较稳定，故本文设计网络大数据分层调度技术在层次调度上明显优于传统方法。

通过图2与图3对比发现，本文设计的网络大数据的分层调度技术能够保证较高频率的调用状态，网络环境下的数据跳频以及网络跳频产生低频状态下的数据容易增加调用时长，能够在网络环境下保持更加高效的状态。

4 结 语

本文提出一种网络大数据的分层调度技术，引入分层数据理念，执行分层调度后分别对不同的路线以及不同应用方式进行调用执行。通过大数据执行方式推导其调用最佳的分化过程，最终实现网络大数据的分层调度技术。实验结果表明，设计的网络大数据分层调度技术能够在网络环境下进行高效的大数据分层调用，同时在应用环境上具备一定的抗性。

参考文献

[1] 伊鹏，刘洪，胡宇翔.一种可扩展的软件定义数据中心网络流调度策略[J].电子与信息学报，2017，39（4）：825?831.

YI Peng， LIU Hong， HU Yuxiang. A scalable traffic scheduling policy for software defined data center network [J]. Journal of electronics & information technology， 2017， 39（4）： 825?831.

[2] 万聪，王翠荣，王聪.面向数据密集型工作流的QoS?aware调度算法[J].系统仿真学报，2016，28（3）：549?558.

WAN Cong， WANG Cuirong， WANG Cong. QoS?aware scheduling for data intensive workflow [J]. Journal of system simulation， 2016， 28（3）： 549?558.

[3] 刘鑫，张瑜.电力网络系统中统计特征任务分层的大数据融合模型[J].电网与清洁能源，2015，31（8）：36?39.

LIU Xin， ZHANG Yu. Fusion model of the hierarchical big data of characteristics task in electric power network system [J]. Power system & clean energy， 2015， 31（8）： 36?39.

[4] 蒋本立，张小平.大数据网络的均衡调度平台设计与改进[J].现代电子技术，2016，39（6）：62?65.

JIANG Benli， ZHANG Xiaoping. Design and improvement of balanced scheduling platform for big data network [J]. Modern electronics technique， 2016， 39（6）： 62?65.

[5] 刘迷.云计算下虚拟信息资源大数据特征集成调度[J].科技通报，2015，31（10）：199?201.

LIU Mi. Integrated scheduling of virtual information resources in data characteristics of cloud computing [J]. Bulletin of science and technology， 2015， 31（10）： 199?201.

[6] 邹志洪.基于大数据的教育趋势化推导模型设计与实现[J].现代电子技术，2017，40（16）：66?68.endprint

ZOU Zhihong. Design and implementation of educational tendency derivation model based on large data [J]. Modern electronics technique， 2017， 40（16）： 66?68.

[7] 蒋苏蓉，蓝江桥，杨玉海.Hadoop框架下的情报分析大数据调度超时预测方法[J].计算机科学，2014，41（z1）：409?413.

JIANG Surong， LAN Jiangqiao， YANG Yuhai. Timeout prediction of the schedule method for big data of the intelligence analysis based on Hadoop [J]. Computer science， 2014， 41（S1）： 409?413.

[8] 桂勋，LIU Yilu，郑永康，等.基于大数据技术的北美FNET/GridEye系统设计与实现[J].电力系统自动化，2017，41（10）：112?116.

GUI Xun， LIU Yilu， ZHENG Yongkang， et al. Design and implementation of North America FNET/GridEye system based on big data technology [J]. Automation of electric power systems， 2017， 41（10）： 112?116.

[9] 张慧萍，贺红艳，陈小娟.大数据的分层分类优化识别仿真研究[J].计算机仿真，2015，32（10）：463?466.

ZHANG Huiping， HE Hongyan， CHEN Xiaojuan. Simulation of optimum identification in hierarchical classification of big data [J]. Computer simulation， 2015， 32（10）： 463?466.

[10] 任凯，邓武，俞琰.基于大数据技术的网络日志分析系统研究[J].现代电子技术，2016，39（2）：39?41.

REN Kai， DENG Wu， YU Yan. Research on network log analysis system based on big data technology [J]. Modern electronics technique， 2016， 39（2）： 39?41.endprint