面向大规模复杂网络测量和性能瓶颈分析方法*

张飞朋，陈 琳，张京京

国防科学技术大学 计算机学院，长沙 410073

面向大规模复杂网络测量和性能瓶颈分析方法*

张飞朋+，陈 琳，张京京

国防科学技术大学 计算机学院，长沙 410073

针对当前数据中心网络规模巨大，流量行为复杂等特点，研究大规模数据中心网络测量方法，定位当前网络性能瓶颈变得日益重要。分析了当前网络测量研究现状，提出了一种基于分布式自动化测量的性能瓶颈分析方法（automatic measurement-distributed automatic measurement and performance bottleneck analysis method，AM-DMPA）。该方法能自动生成测量任务集合，下发测量任务，并能根据测量结果不断收敛待测网络规模，快速定位网络中的性能瓶颈链路。在典型的大规模数据中心天河2中，选取6种不同规模的网络环境，使用AM-DMPA方法和传统的网络测量方法进行对比，AM-DMPA方法能够更快速地发现和定位网络中性能瓶颈链路。

数据中心；分布式自动化测量；性能瓶颈链路

1 引言

伴随着互联网的蓬勃发展，为了应对不同行业不同环境的网络需求，网络发展趋向于多体系架构、多种网络规模、分布式结构。不仅网络越来越复杂，面对网络用户多种多样的使用需求，网络应用更是形式复杂、种类多样。不同于互联网，数据中心网络是目前高性能计算机、系统域的重要组成，通过互连将计算节点、存储节点和网络设备整合成为集成服务环境。近些年，数据中心越来越受到学术界和工业界的关心。例如，在标准化工作方面，国际互联网标准化组织IETF成立了以数据中心网络为主要应用场景的工作组Software Driven Networks，IEEE也成立了数据中心网络任务组Data Center Bridge；另外在工业界，Cisco、Juniper和华为等厂商先后推出了数据中心交换设备和产品，Amazon、Google、Microsoft和Facebook等云计算服务提供商在世界各地修建规模巨大的数据中心，能够容纳数万台甚至数十万台服务器[1]。

对万万亿次高性能计算机来说，其互连计算节点数能达到104量级，而交换节点接近103量级。数据中心的规模也日益扩大，服务器规模已经达到104～105量级，带来的挑战包括：

（1）集中控制开销过大

对高性能的系统域网络，网络规模庞大，如果完全采用传统的集中控制获取网络信息和网络状态，对网络设备和协议进行配置会造成集中控制的瓶颈点，最终导致处理周期长，无法及时响应网络变化。

（2）被动测量的盲目性

传统网络管理通过获取接口计数器、流量吞吐量等信息，无法根据网络状态的变化有针对性地测量网络，诊断网络故障，会造成很多的盲目读取和统计处理，给网络造成额外的负载。

（3）故障率的指数级增加

长期的实践表明，系统故障率随着系统节点数快速增加，从服务节点故障的角度看，若服务单点可靠性为99.99%，按照104量级的规模计算则系统故障率为63%，若单点可靠性为99.9%，则系统故障率几乎达到100%。

针对当前数据中心网络发展面临的挑战，作为网络管理的重要技术手段，进行网络性能测量具有重要的研究意义。

本文组织结构如下：第2章给出了网络测量方面的研究状况和研究方法；第3章对数据中心网络拓扑需要用到的描述信息进行定义，并给出分布式自动化测量和性能瓶颈分析方法（automatic measurementdistributed automatic measurement and performance bottleneck analysis method，AM-DMPA）；第4章基于AM-DMPA方法提出一种分布式自动化测量和性能瓶颈分析系统，并在天河2的实际网络环境中验证了方法的有效性。

2 相关研究

网络的性能状况很大程度上影响着运行于网络中的各种上层应用，因此性能测量是网络测量中研究最多的部分，在其发展过程中，不仅成立了多个有关性能测量的组织，而且开展了多个测量研究项目[2]。

在系统域网络的测量管理方面，美国国家科学基金资助成立了应用网络研究国家实验室（National Laboratory for Applied Network Research，NLANR）[3]。其中一个组依托于美国伊利诺斯大学国家超级计算应用中心的分布式应用，旨在为分布式的高性能网络应用提供支持，并开发一些网络工具。NLANR目前的研究包括主动测量项目（active measurement project，AMP）、被动测量分析项目（passive measurement and analysis project，PMA）等，在这些项目的支持下，开发相应的测量分析系统和流量数据采集系统。文献[4]分析和讨论了OWDP和RTDP两种端到端的网络性能主动测量方法，并在RTDP方法[5]的基础上设计了一个端到端的网络性能测量系统对被测网络的连通性、往返延时和丢包率进行测量。

NIMI[6]（National Internet Measurement Infrastructure）是由美国国家科学基金会和国防部高级研究计划署资助的测量项目，旨在建立一个总体可扩展的网络测量基础框架，主要包括四部分：测量探针NPD（network probe daemon）、客户测量点、联系配置中心、数据分析中心。该项目由分布在北美和亚洲的大量网络探测点NPD构成，而NPD则是Berkeley大学Vern Paxson设计的一个可协作的分布式测量平台。NPD之间相互交换测量信息以获取对全局网络的认识。NIMI具有安全性、可扩展性、灵活性的优点，但也存在很多问题，如NPD测量软件需要更新等。

IEPM（Internet End-to-End Performance Monitoring）是斯坦福线性加速中心成立的一个专门从事网络连通性和端到端性能监视以及相关监视工具开发工作的研究小组，自成立以来，其主要涉及两个项目：一个是PingER[7]；另一个和带宽测量相关，即IEPMBW。前者主要利用Ping程序来测试网络的性能，截止目前为止，该项目已经在全球14个国家部署了35个测量主机，被测的远程主机涉及全球120个国家的700多个服务器。后者的研究主要为了获取高速链路的吞吐率信息，也包括基于Traceroute的路径监视、分析和可视化等功能，基于NetFlow数据的被动测量数据及分析功能。

网络边缘测量不需要网络核心设备的配合，只需要网络边缘主机的参与即可，通过边缘主机对网络进行端到端的业务性能测量[8]，了解网络的性能参数，例如网络延时、分组丢包率。网络断层扫描或网络层析（network tomography，NT）技术[9-10]就是一种网络边缘测量技术，根据对网络外部（网络端点）的测量来分析和推断整个网络的拓扑结构和网络性能。文献[11]介绍基于端到端的网络断层扫描技术对网络进行测量的方法，它将待测网络视为一个黑盒子，将测试节点放在被测网络外部，通过测试节点进行端到端测量，由交叉路径来推断公共路径上的网络特性。例如对数据链路层上延迟或丢包率的估计，对网络中链路的负载和吞吐量的估计等。基于端到端的NT技术所依赖的理论方法基本上都是基于模拟环境，应用到实际网络环境中其可靠性、分布性和可测量性尚需进一步研究，还不能做到对大规模网络进行实时和智能化的自动测量[12-13]。

3 分布式自动化测量和性能瓶颈分析方法

3.1 问题描述

为了能够对数据中心网络进行自动化测量和快速定位网络瓶颈链路，设计了一种分布式自动化测量和瓶颈分析方法。

为了方便问题的描述，给出如下相关定义。

定义1数据中心拓扑G={V,E}，其中V={v1,v2,…,vN}表示交换机设备和计算节点的集合，N为交换机设备和计算节点的总数；E={e1,e2,…,eM}表示交换机设备之间互连链路、计算节点与交换机设备之间互连链路的总集合，对于两个交换机设备之间存在多条聚合链路的情况，将多条聚合链路视为一条逻辑链路，M为各交换机设备之间互连链路、各计算节点与交换机间互连链路的总数。

定义2链路和路径：在网络拓扑中，两个相邻节点i、j之间的连接，称为链路，记为lij；对于两个非相邻端节点m、n，节点m、n之间的路径记为pmn，路径pmn是节点m到n之间的所有链路集合。

定义3设备在网络中的层次：HEIGHT(vi)为节点在网络中的层次号，其中计算节点的层次号为1，接入交换机层次号为2，汇聚交换的层次号为3，核心交换的层次号为4。按照组网上下层关系分别赋予对应层次号，层次号越大表示对应设备在网络中的位置越重要。

定义4IsSwitchDev(vi)，判定当前节点vi是否为交换机。

定义5GetParent(vi)，获取设备vi的直连父节点，对于拓扑最上层的根节点rooti，GetParent(rooti)= NULL，即根节点不存在父节点。

定义6GetChild(vi)，获取设备vi的所有直连子节点，对于拓扑最底层的计算节点pi，GetChild(pi)= NULL，即计算节点不存在子节点。

定义7GetDevType(vi)，获取当前设备类型，取值范围为1、2、3、4，分别对应终端计算节点、接入层交换机、汇聚层交换机和核心层交换机。

定义8GetLinkByDev(vi,vj)，获取两个相邻节点vi和vj之间的链路，其中GetLinkByDev(vi,vj)的值为1时该链路是关键链路，值为0时该链路是端链路。

3.2 分布式自动化测量和性能瓶颈分析方法

文献[14]介绍了通过测量端到端时延推测网络性能的分析方法，简称为NetInFer。文献[15]介绍了基于网络断层扫描推测网络性能的测量方法，简称为GN测量方法。在大规模的数据中心，交换机节点、计算节点和各节点之间的链路规模相对比较大，并且在数据中心，交换机是网络中的核心设备，特别是处于核心和汇聚层的交换设备，网络中的大部分数据和流量都会从其上经过，而处于网络边缘的计算节点上经过的网络数据和流量相对较少。传统的测量方法并未对网络中核心设备之间的链路和处于网络边缘的链路做区分，在对全网络进行测量时耗时相对较长，未解决快速定位网络潜在瓶颈链路的问题。因此，本文提出一种分布式自动化测量和性能瓶颈分析方法（AM-DMPA）。

AM-DMPA方法根据网络拓扑G的当前状态，将各交换机之间的链路视为关键链路，将交换机与计算节点之间的链路视为端链路（或边缘链路）。考虑到当网络中的交换机设备出现瓶颈或故障时将会大范围地影响网络性能，因此优先对关键链路自动生成并执行测量任务，进行性能分析，然后再对端链路进行测量和性能分析。AM-DMPA方法对关键链路和端链路的测量结果进行性能分析的方法类似，以关键链路为例，首先建立一个包含所有关键链路的集合，将每次执行关键链路测量任务后，测量结果正常的链路从关键链路的集合中剔除，通过不断地剔除正常链路，从而不断地自动收敛待测关键链路集合，最终得到关键链路集合中的潜在瓶颈链路。

一般情况下，整个网络中的大部分链路处于正常状态，故障链路或潜在的瓶颈链路相对为少数，AM-DMPA方法通过每次对测量结果进行分析，不断剔除正常链路，能够快速收敛待测网络的规模，从而达到快速定位网络中的故障链路或潜在的瓶颈链路。方法具体步骤如下。

步骤1初始化阶段。

初始化阶段定义交换机节点集合Vswitch为空；定义关键链路测量任务集合Tcore为空；待测关键链路集合Ecore={GetLinkByDev(vi,vj)=1}；正常关键链路集合Lcore为空；接入层交换设备集合Vswb为空；端链路测量任务集合Tborder为空；待测端链路集合Eborde={GetLink-ByDev(vi,vj)=0}；正常端链路集合Lborder为空。

步骤2测量任务生成阶段。

测量任务生成阶段对关键链路和端链路分别生成测量任务，其中步骤2.1到2.8自动生成关键链路测量任务，步骤2.9到2.14自动生成端链路测量任务。

步骤2.1获取网络拓扑中所有核心层交换机设备集合VCS，即VCS={GetDevType(4)}，若集合VCS不为空，取出集合VCS中任意一个核心层交换机设备VCSi。

步骤2.2获取设备VCSi下所有子节点设备集合VDS= {GetChild(VCSi)}。

步骤2.3若集合VDS不为空，取出VDS中任意两个子节点设备VDSi和VDSj。

步骤2.4若GetDevType(VDSi)=2，GetDevType(VDSj)= 2，则表明子节点设备VDSi、VDSj均为接入层交换机节点，分别获取VDSi、VDSj下任意一个计算节点VPi、VPj，将关键任务测量对(VPi,VPj)加入到关键链路测量任务集合Tcore中，并将子节点设备VDSi和VDSj从集合VDS中删除，跳转到步骤2.3；否则执行步骤2.5。

步骤2.5获取子节点设备VDSi和VDSj下所有子节点设备集合VSWBi和VSWBj，即VSWBi={GetChild(VDSi)}，VSWBj={GetChild(VDSj)}。

步骤2.6若集合VSWBi和VSWBj都不为空，取出集合VSWBi和VSWBj下任意一个子节点设备VSWBip和VSWBjq。若集合VSWBi和VSWBj其中一个集合为空，则从集合VDS下任取一个子节点VDSk，获取子节点VDSk下直连的任意一个子节点集合VSWBk，即VSWBk={GetChild(VDSi)}，当子节点设备VSWBk为接入层交换机设备时，即GetDevType(VSWBk)=2，则用该节点代替为空的VSWBi或VSWBj，从集合VSWBi和VSWBj下任意取一个子节点设备VSWBip和VSWBjq。

步骤2.7若GetDevType(VSWBip)=2，GetDevType(VSWBjq)= 2，则表明子节点设备VSWBip和VSWBjq均为接入层交换机设备，分别获取VSWBip和VSWBjq下任意一个计算节点VPi和VPj，将关键任务测量对(VPi,VPj)加入到关键链路测量任务集合Tcore中，并将子节点设备VSWBip和VSWBjq分别从集合VSWBi和VSWBj中删除，执行步骤2.6。

步骤2.8关键链路测量任务集合Tcore生成完毕。

步骤2.9将整个网络中的所有接入层交换机放入集合Vswb中，即Vswb={GetDevType(2)}。

步骤2.10循环执行步骤2.11～2.13，直到集合Vswb为空，端链路测量任务集合生成完毕。

步骤2.11若集合Vswb不为空，从集合Vswb中任取一个接入层交换机节点vi。

步骤2.12获取接入层交换机vi的所有子节点，并放入临时变量集合Vuntreated中，即Vuntreated={GetChild(vi)}。

步骤2.13循环执行步骤（1）～（3），直到集合Vuntreated为空：

（1）若集合Vuntreated中的计算节点个数大于两个，则循环地从集合Vuntreated中取出任意两个计算节点vp1和vp2；

（2）将(vp1,vp2)作为一组端链路测量任务放入端链路测量任务集合Tborder中，并将计算节点vp1和vp2从未测量集合Vuntreated中移除，放入临时变量集合Vtreated中；

（3）若集合Vuntreated仅有一个计算节点vp1，则从集合Vtreated中任取一个计算节点vp3，并将(vp1,vp3)作为一组端链路测量任务放入端链路测量任务集合Tborder中。

步骤2.14端链路测量任务集合Tborder生成完毕。

步骤3测量任务执行阶段。

测量任务由测量代理执行，测量代理分布在网络中的每个计算节点上。依次获取关键链路测量任务集合Tcore和端链路测量任务集合Tborder中的每一个测量任务对，将测量任务对下发到对应的测量代理上，测量代理执行对应的测量任务后将测量结果传递给测量结果性能分析阶段。

步骤4测量结果性能分析阶段。

测量结果性能分析阶段对关键链路和端链路测量任务执行后返回的测量结果分别进行分析，其中步骤4.1到4.5对关键链路测量结果进行分析，步骤4.6对端链路测量结果进行分析。

步骤4.1获得每个关键链路测量任务对(vPi,vPj)，获取节点VPi的直连父节点VSWBi以及节点VPj即的直连父节点VSWBj，即VSWBi=GetParent(VPi),VSWBj=GetParent(VPj)。

步骤4.2将节点VPi与对应父节点VSWBi之间的链路ei、节点VPj与对应父节点VSWBj之间的链路ej分别添加到临时变量集合Emeasure中，其中ei={GetLinkByDev(VPi,VSWBi)}，ej={GetLinkByDev(VPj,VSWBj)}。

步骤4.3若节点VSWBi和VSWBj为同一节点，则表明关键链路测量任务对(VPi,VPj)之间的所有链路都添加到集合Emeasure中，否则，跳转步骤4.1；获取测量任务对(VSWBi,VSWBj)之间的链路并添加到Emeasure中，直到测量任务对中的两个节点存在相同的父节点。

步骤4.4若测量对(VPi,VPj)的测量结果正常，则测量对(VPi,VPj)所经过的链路集合Emeasure中所有链路处于正常状态，将集合Emeasure中所有链路从待测关键链路集合Ecore中删除，并将集合Emeasure中所有链路添加到正常关键集合Lcore中。

步骤4.5所有测量任务结束后，所有测量结果为正常的链路都将从待测关键链路集合Ecore中被删除，Ecore集合中留下的为存在故障的链路集合。

步骤4.6获得每个端链路测量对(vp1,vp2)的测量结果，若测量链路正常，获取计算节点vp1到其父节点之间的链路ei，vp2到其父节点之间的链路ej，则将端链路ei和ej从待测端链路集合Eborder中删除，并将端链路ei和ej加入到正常端链路集合Lborder中。若测量对(vp1,vp2)的测量结果出现故障或不正常，则将该测量对所覆盖的端链路留在待测端链路集合Eborder中，所有测量任务分析完成后，Eborder中留下的是存在故障的端链路集合。

4 实验验证

本文在典型的大规模数据中心天河2网络中进行测试，网络环境中包括核心交换机2台，汇聚交换机21台，接入交换机425台；每2台汇聚交换机通过2个万兆口trunk相连，每48个接入交换机接入1台汇聚层交换机；汇聚层交换机为Layer 2和Layer 3的边界；核心交换机配置OSPF路由协议。

通过选取天河2实际网络环境中的部分设备和链路，在测量代理节点上使用Iperf[16]执行测量任务，通过测量结果中的可用带宽、网络延迟、网络抖动和丢包率等因素，推测出网络中潜在的故障或瓶颈链路。本文主要对测量结果中的网络延迟进行分析。

首先选取天河2网络环境中3种不同规模的网络环境，使用AM-DMPA方法对这3种网络规模进行独立的测量分析，验证该方法定位网络故障或潜在瓶颈链路的准确性；其次在这3种网络规模的基础上又选取3种不同的网络规模，比较AM-DMPA方法与传统的网络测量方法NetInFer方法和GN方法对这6种网络规模进行测量的耗时和准确性。

网络规模1核心交换设备1台，每台核心交换设备下直连汇聚交换设备2台，每台汇聚交换设备下直连2台接入交换设备，每台接入交换设备下直连30个计算节点。该拓扑中共有7台交换设备，120个计算节点，126条链路。图1为在该网络规模下测得的结果，其中横坐标为在该网络规模下所有链路的编号，唯一确定该网络规模下的每条链路。在系统中设定网络延迟瓶颈阈值Lmax，将网络延迟瓶颈设为1 200 μs。其中编号为5和45的两条链路延迟较高。对这两条链路进行分析后发现：链路5为网络中的实际业务数据流突增引发的瞬时延迟；链路45延迟较高的原因为该链路与其所连接的交换设备端口松动导致。

Fig.1 Network delay of 126 links图1 网络规模为126条链路网络延迟

网络规模2核心交换设备1台，每台核心交换设备下直连汇聚交换设备2台，每台汇聚交换设备下直连6台接入交换设备，每台接入交换设备下直连30个计算节点。该拓扑中共有15台交换设备，360个计算节点，375条链路。图2为在该网络规模下测得的结果，其中横坐标为在该网络规模下所有链路的编号，唯一确定该网络规模下的每条链路。在系统中将网络延迟瓶颈阈值仍设为1 200 μs。其中编号为13、182和290的3条链路延迟较高，对这3条链路进行分析后发现：链路13和链路182为网络中的实际业务数据流突增引发的瞬时延迟；链路290延迟较高的原因为该链路与其所连接的交换设备端口出现故障导致。

Fig.2 Network delay of 375 links图2 网络规模为375条链路网络延迟

网络规模3核心交换设备1台，每台核心交换设备下直连汇聚交换设备4台，每台汇聚交换设备下直连6台接入交换设备，每台接入交换设备下直连30个计算节点。该拓扑中共有29台交换设备，720个计算节点，748条链路。图3为在该网络规模下测得的结果，其中横坐标为在该网络规模下，所有链路的编号，唯一确定该网络规模下的每条链路。在系统中将网络延迟瓶颈阈值仍设为1 200 μs。其中编号为9、84、207、302、351和749的6条链路延迟较高。对这6条链路进行分析后发现：链路9、207、302和链路749为网络中的实际业务数据流突增引发的瞬时延迟；链路84延迟较高的原因为链路与其所连接的计算节点端口出现故障导致；链路351延迟较高的原因为链路与其所连接的交换设备端口出现故障导致。

Fig.3 Network delay of 748 links图3 网络规模为748条链路网络延迟

在网络规模1、网络规模2和网络规模3的基础上，增加网络规模4、网络规模5和网络规模6。

网络规模4核心交换设备1台，每台核心交换设备下直连汇聚交换设备5台，每台汇聚交换设备下直连8台接入交换设备，每台接入交换设备下直连30个计算节点。该拓扑中共有46台交换设备，1 200个计算节点，1 245条链路。

网络规模5核心交换设备2台，每台核心交换设备下直连汇聚交换设备5台，每台汇聚交换设备下直连6台接入交换设备，每台接入交换设备下直连30个计算节点。该拓扑中共有72台交换设备，1 800个计算节点，1 870条链路。

网络规模6核心交换设备2台，每台核心交换设备下直连汇聚交换设备6台，每台汇聚交换设备下直连8台接入交换设备，每台接入交换设备下直连30个计算节点。该拓扑中共有110台交换设备，2 880个计算节点，2 988条链路。

通过使用AM-DMPA方法、NetInFer方法和GN方法对这6种不同规模的网络进行测量，3种方法定位出每种网络规模下延迟较高的链路相同，但3种方法完成每种网络规模所需测量时间不同。因此主要对3种方法完成每种网络规模所需测量时间进行分析，测量结果如图4所示。

Fig.4 Time comparison of 6 different network scales图4 6种不同网络规模下测量时间比较

在图4中横坐标为被测的6种不同的网络规模，纵坐标为3种方法测量每种网络规模所用的时间。当被测网络规模较小时，例如在网络规模1和网络规模2中，3种方法所需测量时间没有明显差别，但随着网络规模增大，网络中链路个数线性增加时，AMDMPA方法完成测量所需时间会明显低于NetInFer方法和GN方法。主要原因在于：第一，传统的测量方法并未对网络中的设备和链路作明显的区分，AMDMPA方法将网络中的链路分为核心链路和端链路（或边缘链路），先对影响网络较大的关键链路进行测量和分析，再进行端链路的测量和分析；第二，AMDMPA方法将每次测量结果中的正常链路从被测网络中剔除，不断地收敛每次测量的网络规模，从而快速定位出网络中的潜在故障链路或潜在瓶颈链路。

5 结束语

为了对大规模的数据中心网络进行有效测量和网络性能瓶颈定位，本文提出了一种基于分布式自动化测量的性能瓶颈分析方法（AM-DMPA）；通过AM-DMPA方法自动化地生成、下发、执行测量任务和分析测量结果；并选取典型的数据中心天河2实际网络环境中6种不同的网络规模，使用AM-DMPA方法和传统测量方法进行测量时间的比较，AM-DMPA方法能够更快定位到网络性能瓶颈链路。

[1]Wang Jianping,Wu Dan,Shao Yong,et al.Data center development and current situation analysis[J].Computer CD Software andApplictions,2014,17(2):107-109.

[2]Zekauskas M.Measurement projects overview[R].Internet2 Measurement Working Group Meeting,San Diego,CA, Nov 20,1998.

[3]McGregor A,Braun H W,Brown J.The NLANR network analysis infrastructure[J].IEEE Communications Magazine,2000,38(5):122-128.

[4]Fang Zhongliang,Cao Zheng.Method for measuring the performance of end-to-end network[J].Journal of Huazhong University of Science and Technology:Nature Science Edition,2003,31(S):83-85.

[5]Jiang Hao,Dovrolis C.Passive estimation of TCP roundtrip times[J]．Computer Communications Review,2002,32 (3):75-88.

[6]Paxson V,Adams A K,Mathis M.Experiences with NIMI [C]//Proceedings of the 2002 Symposium on Applications and Internet Workshops.Washington:IEEE Computer Society, 2002.

[7]Warren M,Les C.The PingER project:active Internet performance monitoring for the HENP community[J].IEEE Communications Magazine,2000,38(5):130-136.

[8]Shriram A,Murray M,Hyun Y,et al.Comparison of public end-to-end bandwidth estimation tools on high-speed links [C]//LNCS 3414:Proceedings of the 6th Passive and Active Measurement Workshop,Boston,USA,Mar 31-Apr 1, 2005.Springer International Publishing,2005:306-320.

[9]Castro R,Coates M,Liang Gang,et al.Network tomography:recent developments[J].Statistical Science,2004,19 (3):499-517.

[10]Duffield N G,Presti F L.Network tomography from measured end-to-end delay covariance[J].IEEE/ACM Transactions on Networking,2004,12(6):978-992.

[11]Wang Wei,Cai Wandong,Li Yongjun.Research of network tomography inference analysis theory and method[J].Application Research of Computers,2007,39(24):120-123.

[12]Chen Lin,Huang Jie,Gong Zhenghu.An anti-noise text categorization method based on support vector machines[C]// LNCS 3528:Proceedings of the 3rd International Conference on Web Intelligence,Lodz,Poland,Jun 6-9,2005.Berlin,Heidelberg:Springer,2005:272-278.

[13]Chen Lin,Huang Jie,Gong Zhenghu.Computing the optimal action sequence by niche genetic algorithm[C]//LNCS 3698:Proceedings of the 28th German Conference on Artificial Intelligence,Koblenz,Germany,Sep 11-14,2005.Berlin, Heidelberg:Springer,2005:148-160.

[14]Feng Jianru,Liu Ruifang.Research to network performance measurement[J].Telecom Engineering Technic and Standardization,2005(8):75-78.

[15]Wang Wei,Cai Wandong,Li Yongjun.Analysis of the grid network performance measurement based on network tomography[J].Computer Science,2007,34(5):45-47.

[16]Tirumala A,Cottrell L,Dunigan T.Measuring end-to-end bandwidth with Iperf using Web100[C]//Proceedings of the 2003 Passive and Active Measurement Workshop,San Diego,USA,Apr 6-8,2003.

附中文参考文献：

[1]王建平,毋丹,邵勇,等.数据中心发展及现状分析[J].计算机光盘软件与应用,2014,17(2):107-109.

[4]方钟亮,曹争.一种实现端到端网络性能测量的方法[J].华中科技大学学报:自然科学版,2003,31(S):83-85.

[11]王伟,蔡皖东,李勇军.网络断层扫描中推断分析理论与方法研究[J].计算机应用研究,2007,39(24):120-123.

[14]冯建茹,刘瑞芳.网络性能测量的研究[J].电信工程技术与标准化,2005(8):75-78.

[15]王伟,蔡皖东,李勇军.基于网络断层扫描的网格网络性能测量分析[J].计算机科学,2007,34(5):45-47.

ZHANG Feipeng was born in 1987.He is an M.S.candidate at National University of Defense Technology.His research interests include network measurement and data analysis,etc.

张飞朋（1987—），男，河南开封人，国防科学技术大学硕士研究生，主要研究领域为网络测量，数据分析等。

CHEN Lin was born in 1976.She received the Ph.D.degree from National University of Defense Technology in 2005.Now she is an associate professor at National University of Defense Technology.Her research interests include network management and data center network resource management,etc.She has published more than 20 papers,and has done a national natural science foundation and a hunan province natural science foundation.

陈琳（1976—），女，福建陇海人，2005年于国防科学技术大学获得博士学位，现为国防科学技术大学副教授，主要研究领域为网络管理，数据中心网络资源管理等。已发表学术论文20多篇，主持湖南省自然科学基金1项、承担国家自然科学基金1项。

ZHANG Jingjing was born in 1987.He is an M.S.candidate at National University of Defense Technology.His research interests include network analysis and network security,etc.

张京京（1987—），男，河南洛阳人，国防科学技术大学硕士研究生，主要研究领域为网络分析，网络安全等。

Measurement and Performance Bottleneck Analysis Method for Large-Scale Complex Networks*

ZHANG Feipeng+,CHEN Lin,ZHANG Jingjing
College of Computer Science,National University of Defense Technology,Changsha 410073,China
+Corresponding author:E-mail:zfp8788@163.com

The characteristics of current data center are that the network scale becomes huge,and the flow behavior becomes complex,studying large-scale data center network measurement method and positioning the current network performance bottleneck become increasingly important.This paper analyzes the current status of network measurement research,and presents an automatic measurement-distributed automatic measurement and performance bottleneck analysis method(AM-DMPA).The method can automatically generate the measurement task set,issue measurement tasks,and according to the measurement results,it can convergence the size of the network to be measured and can fast locate the network performance bottleneck link.Based on the typical large-scale data center of Tianhe 2,six different sizes of network environment are selected to compare AM-DMPA method with traditional methods of network measurement,theAM-DMPAmethod can quickly find and locate the bottleneck link in the network.

data center;distributed automatic measurement;performance bottleneck link

10.3778/j.issn.1673-9418.1512056

A

TP393

*The National Natural Science Foundation of China under Grant No.61379148(国家自然科学基金).

Received 2015-11,Accepted 2016-01.

CNKI网络优先出版:2016-01-04,http://www.cnki.net/kcms/detail/11.5602.TP.20160104.0953.008.html

ZHANG Feipeng,CHEN Lin,ZHANG Jingjing.Measurement and performance bottleneck analysis method for large-scale complex networks.Journal of Frontiers of Computer Science and Technology,2017,11(2)：262-270.