自动化部署及流量调优的SDN网络演进研究

吴坚，杨建明

(1 湖南省邮电规划设计院有限公司，长沙 410125；2 中国电信股份有限公司湖南分公司，长沙 410125)

运营商数据网是电信运营商最重要的基础设施，承载家庭、个人、政企客户的语音、数据、视频等各种流量，支撑着电信运营商主营业务的发展，然而随着移动智能终端、云业务、互联网应用等领域的快速发展，运营商数据网发展可持续性正面临巨大的挑战。现有的运营商数据网主要存在以下问题。

（1）设备专用，当前运营商数据网采用的都是软硬一体、转控合一的不同厂家专用硬件设备。一方面，各厂家设备垂直一体化，软件硬件强耦合，系统封闭，价格昂贵；另一方面各厂家设备虽然都遵循业界统一的通信标准，但是管理界面接口存在差异，设备运维管理复杂。

（2）网络分域，电信运营商数据网由IP城域网、IP骨干网、IP承载网、IDC骨干DCI承载网等不同网络层次、不同地理范围的网络域组成，不同的网络域分属不同的经营和运维单位，跨网络域的业务开通缺乏端到端自动化的业务开通手段，需要不同单位部门大量人工参与，运维成本高，业务开通周期长，难以满足云化业务自动化、自助化的需求。

（3）网络刚性，IP链路带宽固定、BGP选路规则和IGP最短路径算法固定、分布式路由控制面使得当前IP网络面对流量分布不均衡时缺乏灵活有效的资源调配手段，难以满足新形势下的应用流量发展的需求。

SDN/NFV概念的提出为电信运营商解决这些问题提供了理论方法：SDN将网络的控制与转发分离、对网络集中管控、并将网络资源和业务能力开放，为端到端业务自动化开通、网络资源灵活调配等应用提供了基础；NFV将网络设备软硬件解耦、硬件平台通用化、软件功能虚拟化，为打破现有垂直一体化的封闭网元设备格局指明了方向。

1 运营商数据网SDN演进的基本思路

运营商数据网向SDN演进，需要从水平层级、网络域、应用场景3个维度综合考虑。

（1）水平层级：运营商数据网SDN演进的目标网络架构需要在水平层级分为基础设施层、管理控制层、应用编排层，如图1（a）所示，基础设施层实现设备层级的SDN能力开放，管理控制层实现整个网络的集中管控和网络级的SDN能力开放，应用编排层则通过各种应用调用SDN网络能力实现价值。

（2）网络域：我国地广人多，全业务运营的国内运营商覆盖地理范围广、承载用户业务种类多、流量大，一般按行政区划及网络功能定位分域建设数据网络。国内运营商数据网一般由1个IP骨干网、1个IP承载网、m个IP城域网、r个IPRAN网络以及i个IDC承载网互联组成，每个网络由数十台甚至数百台IP设备组成。不同的网络域在业务类型、网络结构、技术方案等方面存在差异，导致不同网络域在SDN演进路线和技术选择上可能存在差异；有些业务的承载涉及多个网络域，这就要求多个网络域向SDN同步演进，如图1（b）所示，多个网络域的SDN演进，以网络域为单位实现水平层级的SDN演进，实现每个网络域的SDN能力开放，再通过业务编排器对不同网络域SDN网络能力协同编排实现跨网络域的SDN能力开放。

（3）应用场景：运营商数据网SDN演进应该由应用需求驱动，优先实现对SDN需求强烈、应用价值高的相关网络SDN演进，并开发相应的业务应用，实现SDN网络能力到SDN应用价值的转换。当前电信运营商SDN应用主要聚焦在业务自动化部署和流量调优两个方面。

2 自动化部署应用的SDN网络演进

2.1 自动化部署需求

SDN的需求最早来源于云计算对网络自动化部署的要求。云计算技术将计算、存储资源虚拟化，提供了灵活定义、自动部署计算节点和存储节点的能力，而连接计算节点和存储节点的网络设备人工分布式配置模式显然难以满足云租户网络动态、灵活、快速部署的需求，SDN技术应运而生。

运营商数据网对SDN自动化部署的需求，也是VDC内部云租户网络管理开始，然后扩展到与云业务相关的其它应用，如随选网络、云网协同等。

从自动化程度和用户体验的角度看，自动化部署可以分为几个层次。

（1）单网络域业务自动化部署。

图1 运营商数据网SDN演进目标架构

（2）多网络域业务端到端自动化部署。（3）跨专业领域业务一键开通。（4）用户自助式服务。

运营商数据网要求SDN自动化部署的典型业务如下。

（1）单DC云服务，要求实现单DC网络的单域SDN控制以及DC域与计算存储域的业务编排。

（2）跨DC云服务，要求实现多个DC网络、IP承载网的多域SDN控制和编排以及DC域与计算存储域的业务编排。

（3） 政企VPN业务，要求实现IP承载网、IP城域网、IPRAN的多域SDN控制和编排。

（4）政企混合云服务，要求实现多个DC网络、IP承载网、IP城域网、IPRAN的多域SDN控制和编排以及DC域与计算存储域的业务编排。

2.2 SDN自动化部署实现框架

电信运营商SDN解决方案的终极目标应该提供用户自助式服务、支持跨专业领域及多网络域业务一键开通。按照终极目标构建SDN自动化部署实现框架如图2所示，图中1～4标注的SDN能力分别对应以上自动化部署4个层次的需求，其中3～4已经超出了运营商数据网SDN范畴，本文主要研究1～2。

2.3 SDN自动化部署相关技术

图2 SDN自动化部署方案框架

运营商数据网SDN演进实现业务自动化部署，第一步需要在基础设施层具备网络虚拟化能力即提供多租户网络的能力，第二步基础设施层网络设备向管理控制层提供多租户虚拟化功能控制接口，第三步管理控制层控制器以网络域为单位将网络虚拟化能力向应用编排层开放。

多租户虚拟化技术，在IP承载网、IP城域网、IPRAN主要有MPLS L3VPN、MPLS L2VPN技术，在IDC/DCI主要有VxLAN/EVPN技术。设备集中管理和控制主要有Netconf/YANG和Openflow技术。网络能力开放主要有Restconf/YANG技术。

2.4 SDN自动化部署方案演进

自动化部署SDN方案涉及3个方面。

2.4.1 基础设施层的端到端业务实现方案

对于不同的业务类型和不同的网络域，具体实现方案和技术选择存在较大差异，即使是相同业务类型和网络域也可能存在不同实现方案。以跨DC云服务为例，跨DC云服务存在DCI Underlay和DCI Overlay两种方案，如图3所示。

DCI Underlay方案，IP承载网为每个租户网络创建一个DCI虚拟网络进行互联，业务部署涉及环节多，业务扩展性低，实现方案复杂，但IP承载网可以对跨DC网络流量进行更多的控制。DCI Overlay方案，端到端租户网络对IP承载网透明，业务部署涉及环节少，

业务扩展性高，实现方案简单。

2.4.2 设备集中管理和控制

设备集中管理和控制主要有Openflow接口和Netconf/YANG接口。

Openflow接口一般用于DC内云租户虚拟网络自动化部署，DC内部支持Openflow接口的网元有3种类型：一是可以运行在通用服务器上的虚拟交换机，二是支持Overlay业务Openflow流表的物理交换机，三是纯粹的Openflow物理交换机或白盒交换机。基于Openflow接口的DC网络SDN方案演进，主要是基础设施层设备形态的演进，如图4所示。

图3 跨DC云服务DCI实现方案

图4 基于openflow的DC网络SDN方案演进

Netconf/YANG接口用于传统设备的集中管理，适用于IP承载网/IP城域网/IPRAN网络MPLS L3/L2VPN业务以及IDC网络VxLAN/EVPN业务的自动化部署。由于传统设备的控制面和数据面都遵循开放标准的协议，相互之间具备良好的互通性，所以运营商一般会采用两个或两个以上厂家的设备组建网络。虽然标准组织对MPLS L3/L2VPN、VxLAN/EVPN等业务定义了YANG模型，但是各个厂家设备基本还是基于各种私有YANG模型提供接口，并且各厂家都提供各自的控制器通过各自私有YANG模型进行业务部署。针对这种情况，有3种解决方案，如图5所示。一个网络域的网络能力开放需要对该网络域的业务进行集中抽象、再向应用层提供统一的业务调用接口，所以这3种解决方案都需要统一控制器，统一控制器一般由运营商或运营商委托第三方基于开源控制器平台研发。3种方案比较：方案1引入厂家控制器实现私有YANG模型到统一YANG模型的转换，这种方案虽然当前部署实现容易，但是长远发展可能会在在管理控制层形成“软烟囱”，带来业务扩展性、管理复杂、成本高昂等问题；方案2在统一控制器上安装各厂家的接口驱动实现私有YANG模型到统一YANG模型的转换，这种方案对统一控制器平台能力要求高，实现和管理复杂；方案3要求各厂家设备提供统一YANG模型，统一控制器实现简单，接口清晰，维护简单。现阶段，运营商一方面可以采用方案1或方案2进行实验室验证或进行少量局部试点，另一方面应该积极推动统一YANG模型标准制定，并对各厂家设备接口提出标准化要求，以便在未来方案3的落地实现。

图5 多厂家传统设备组网SDN方案

2.4.3 网络能力开放

网络能力开放通过统一控制器对网络域的业务进行集中抽象并向应用层提供调用接口实现。网络能力开放接口主要是Restconf/YANG接口，业务YANG模型可以利用开源控制器的YANG模型，也可以基于开源控制器的YANG模型结合运营商差异化的业务特征进行定制。

3 流量调优应用的SDN网络演进

3.1 流量调优需求

流量调优主要解决运营商数据中局部链路拥塞、负载不均衡引起的用户体验劣化和运营商网络资源效率低下的问题。

运营商数据网局部链路拥塞、负载不均衡主要源自于刚性网络和弹性流量之间的矛盾。网络刚性体现在两个方面：一是设备之间链路物理带宽固定不变，二是决定IP分组在数据网中转发路径的BGP选路规则和IGP最短路径算法固定不变。流量弹性也体现在两个方面：一是云计算使得内容在网络上的分布动态变化，二是用户行为使得终端在网络上的分布动态变化、终端流量也是跌宕起伏。云化OTT互联网应用和智能化移动终端的快速发展使得弹性流量在刚性网络上的分布在时间轴上呈现不确定性特征，具体表现为不同时间网络负载不均衡和链路拥塞状态存在较大差异，并且变化规律人工分析难以掌握，所以对SDN流量调优提出了需求。

运营商数据网对SDN流量调优有强烈需求的应用场景主要有两个。

（1）IP骨干网流量调优，IP骨干网存在网间多出口流量调优和网内多路径/链路流量调优两种情况。

（2）IDC出口流量调优，部分发达省份设置了IDC汇聚设备将省份大型IDC出口进行汇聚后再接入到IP骨干网，同时IDC出口还与本地IP城域网出口互联。IDC出口流量调优主要是IDC出向流量在两个局向的调度需求。

3.2 SDN流量调优实现框架

SDN流量调优的核心思想是构建集中管控层和应用编排层对网络状态和流量状态相关数据进行实时采集和分析，发现流量不均衡状态，分析计算流量调优对象和动作，按照计算结果控制网络设备执行流量调优。

按照该思想构建SDN流量调优实现框架如图6所示，在这个框架中，基础设施层具备网络和流量信息数据采集、流量调优执行、流量调优控制3部分的能力；管理控制层负责采集到网络和流量信息数据的存储和整合、流量调优能力抽象以及能力开放；应用编排层定义流量调优的策略，按照策略对网络和流量信息进行分析，并在流量调优条件触发时计算流量调优的对象和动作，最终生成流量调优执行规则。

图6 SDN流量调优方案框架

3.3 SDN流量调优相关技术

SDN流量调优网络架构基础设施层和集中管控层主要涉及流量工程、流量疏导、数据采集以及调优控制等4个方面的SDN技术。

流量工程技术主要有RSVP-TE隧道、SR-TE隧道、GMPLS-TE隧道。RSVP-TE隧道技术虽然技术成熟，但是控制面复杂、扩展性低，不适合规模部署；SR-TE隧道技术具备控制面简化、扩展性高、天然支持SDN等优点，是IP流量工程主流技术方向；GMPLS-TE隧道技术需要IP网络和传输网络层间协同，要求传输网络Mesh化并支持SDN控制，国内运营商普遍不具备条件。

流量疏导策略主要有基于目的前缀疏导、基于流疏导和基于流分类疏导。基于目的前缀疏导一般采用BGP路由重定向，技术非常成熟；基于流疏导可以采用本地策略路由重定向和BGP Flowspec重定向，本地策略路由作用于流量入接口、配置变更复杂，BGP Flowspec策略作用于整个路由实例、有利于配置变更；基于流分类疏导一般采用PBTS技术，PBTS技术基于MPLS EXP标识的流分类将流量映射到相应的流量工程隧道中，适用于IP承载网差异化服务。

数据采集主要涉及网络拓扑和路由、链路状态和负载、流量等信息的采集。拓扑信息采集采用BGP-LS技术，路由信息收集采用BGP技术，链路状态和负载信息收集可以采用SNMP/MIB和Telemetry技术，流信息收集采用Netflow/IPFIX技术。

调优控制主要涉及隧道创建和变更、流量疏导策略配置下发。隧道创建和变更可以采用Netconf/YANG和PCEP技术；流量疏导策略配置下发可以采用Netconf/YANG和BGP技术。

3.4 SDN流量调优方案演进

根据SDN流量调优相关技术的当前状态和发展趋势，流量调优方案可以分3个阶段部署实施。

（1）现阶段，如图7 (a)所示，基于成熟的IGP、BGP、SNMP以及Netflow网络数据采集技术以及BGP路由调优控制技术实现网间多出口和网间多局向的流量调优应用。

（2）2020年左右，如图7 (b)所示，增加部署新兴的BGP-LS、Telemetry网络数据采集技术、SR-TE流量工程技术以及Netconf/YANG、PCEP控制技术实现网间多出口、网间多局向以及网内多路径的流量调优应用。

（3）2020年以后，如图7 (c)所示，增加部署IP+光多层协同技术实现网间多出口、网间多局向以及网内层间多路径的流量调优应用。

4 结束语

针对运营商数据网业务自动化部署以及流量调优两个当前主流的SDN需求，基于应用场景需求、SDN实现架构、SDN相关技术状态等方面的分析，提出SDN方案演进路径和技术选择建议。运营商数据网的SDN演进在现实中已经有了单DC云业务自动化部署、IP骨干网RR+流量调优、IDC出口流量调优试点等局部阶段性成果，但是离全程全网资源调度、业务自动化部署的目标还有很大的差距。运营商数据网的SDN演进还需要一个比较长久的过程，在这个过程中，运营商需要抓住3个核心要点：一是抓住高价值SDN应用场景，做到有的放矢；二是培养SDN人才，建立SDN研发团队，自研面向SDN/NFV网络架构的新一代IP网络运营支撑系统，通过应用创新、业务创新，充分发挥SDN网络能力的价值；三是积极参与构建良好的SDN生态圈，推进SDN相关技术和接口标准化，与厂商一起制定SDN演进的目标和计划，建设简单、开放、高效的SDN网络。

图7 流量调优SDN方案演进