中国移动面向5G的电信云基础设施技术研究和实践

陈佳媛 王瑞雪 班有容 刘瀛 范亚梅

【摘  要】近年来，随着5G和边缘计算等业务的兴起，传统的核心云技术在云网协同、媒体面转发性能、边缘节点资源受限等方面逐渐显现出不足。结合上层业务特殊需求，重点介绍在SDN/NFV融合、边缘电信云架构、硬件加速和容器等领域的研究成果和技术观点。目前而言，这几个领域的技术成熟度还需要进一步加强，才能满足5G规模商用后的业务需求。

【关键词】NFV;SDN;边缘电信云;硬件加速;容器

doi：10.3969/j.issn.1006-1010.2019.01.010        中图分类号：TN929.5

文献标志码：A        文章编号：1006-1010（2019）01-0057-06

引用格式：陈佳媛，王瑞雪，班有容，等. 中国移动面向5G的电信云基础设施技术研究和实践[J]. 移动通信， 2019，43（1）： 57-62.

Research and Practice on Telecommunication Cloud Infrastructure for

China Mobiles 5G Communications

CHEN Jiayuan， WANG Ruixue， BAN Yourong， LIU Ying， FAN Yamei

（China Mobile Research Institute， Beijing 100053， China）

[Abstract] In recent years， with the emergence of 5G and edge computing services， the traditional core cloud technology has deficiencies in cloud network cooperation， media plane forwarding performance and edge node resources. Combined with upper-layer specific requirements， the research results and technical viewpoints in the fields of SDN/NFV integration， edge telecommunication cloud architecture， hardware acceleration and container are addressed. At present， the technical maturity in these fields should be further enhanced to satisfy the business requirements of large-scale 5G commercial applications.

[Key words]NFV; SDN; edge telecommunication cloud; hardware acceleration; container

1   引言

早在2012年，以AT&T為首的全球各大主流运营商在ETSI发布业界首个NFV（Network Function Virtualization，网络功能虚拟化）白皮书[1]，旨在解决传统网络资源利用率、业务上线周期长、网络开放性不足等问题。2014年，中国移动启动基于NFV和SDN（Software Defined Network，软件定义网络）的网络转型研究，并在2015年发布了《NovoNet 2020愿景》，旨在构建一张资源可全局调度、能力可全面开放、容量可弹性伸缩、架构可灵活调整的下一代网络。经过长达四年的技术研究、新技术试验和现网试点，面向控制面网元的网络云化技术已基本成形，步入商用阶段。

然而，近年来随着5G和边缘计算等业务逐渐兴起。5G的三大典型应用场景，如eMBB（enhanced Mobile Broadband，增强移动宽带）、mMTC（massive Machine Type Communications，海量机器类通信）、uRLLC（ultra-Reliable and Low Latency Communications，低时延高可靠连接），分别在通信速率、连接数、时延等方面对网络提出了更高的要求。由于5G网络将采用彻底云化的架构，因此，如何使云化的基础设施最大化地发挥其优势支撑上层业务，成为了运营商网络转型的下一步关键所在。本文将结合中国移动网络云化的实际进程，全面介绍NovoNet下一代网络中面向5G的关键技术研究成果和实践经验，覆盖SDN/NFV融合、边缘电信云技术架构、硬件加速以及容器等多个领域，希望为运营商网络转型以及整个行业的ICT融合提供参考。

2   SDN/NFV融合技术方案研究和实践

SDN作为中国移动NovoNet下一代网络总体设计架构的两大关键技术之一，具有控制与转发分离、控制面集中、接口开放可编程的特点，可实现全局视角网络资源灵活调度以及新业务快速部署，能简化运维，提高网络资源利用率。

鉴于未来NFV必然沿着两层（硬件层和软件层）乃至三层（硬件层、虚拟层和网元层）解耦的方式进行建设，通用电信云资源池将会承载多厂商多领域的业务，为适应后续NFV网元大规模部署的需求，网络需要通过自动化方式按需提供网络自动开通、多业务隔离、安全隔离以及DCI（Data Center Interconnection，数据中心互联）能力，而这恰恰是SDN的优势。目前SDN技术在中国移动公有云和私有云场景已成熟商用，NFV技术也在电信云完成多期试点验证，但电信云场景下，SDN/NFV融合方案仍处于研究阶段。究其原因，电信云用于承载虚拟化后的核心网网元，其网元特殊性、组网复杂性、网络功能和性能的要求和传统IT云不尽相同，如何结合电信云网络特点进行SDN/NFV融合组网方案制定成为未来网络发展的重点和难点。

中国移动在ETSI定义的NFV经典架构基础上融入SDN三层架构，提出SDN/NFV融合架构，如图1所示。SDN控制器作为网络管理的核心组件北向对接VIM（Virtualized Infrastructure Manager，虚拟基础设施管理），实现电信云内部NFV网元内部以及网元之间的网络自动开通。为满足电信云网元形态多样性，电信云SDN组网采用混合组网方案，可通过合理部署SDN转发设备实现业务网元灵活接入SDN网络，其中普通虚拟化网元采用vSwitch作为SDN接入点，高吞吐虚拟化网元采用SR-IOV网卡直通技术结合硬件交换机作为SDN接入点，实现高性能转发。SDN接入设备对报文进行VxLAN隧道封装后，通过查询控制器下发的流表发送到远端SDN接入设备或SDN网关。

传统核心网设备的实现机制以及现有NFV技术在ICT融合方面缺乏足够的IT思维，NFV网元部署方式和业务逻辑特殊性、高性能高可靠的转发要求，都对网络提出特定的功能增强需求。例如部分面向用户和企业提供服务的网元，为了实现不同用户、企业间的隔离，引入VLAN透传的需求;部分网元存在与对外设备通过路由协议直接交互路由表项的需求，定义为路由型网元，网络对该类网元的支持程度也需要纳入考虑。其次，传统电信网元作为硬件设备，可实现高效可靠的业务处理，需引入SR-IOV（Single Root IO Virtualization，单根IO虚拟化）加速技术以提高网元转发效率。引入SDN后，SR-IOV场景需支持VxLAN类型网络，要求控制器和I层配合实现层次化端口绑定功能。最后，与传统IT云内网元最大的不同在于NFV网元业务IP通过EMS配置，VIM和SDN控制器无法感知该业务IP，导致网元间互访的流量无法自动化指导转发，需要引入额外的配置工作量。

目前数据中心SDN方案主要面向IT云，实现IT云网络自动化部署和集中化管理。为满足电信云NFV网元快速上线、灵活部署及动态变更的业务需求以及对网络的特殊需求，相比于传统NFV资源池部署机制，SDN/NFV融合方案会对现有NFV网元实现机制、MANO设计及端到端流程有较大改动，该方案将成为未来一段时间的重点研究方向，并将在2019年启动的中国移动5G试验网进行测试验证。

3   边缘电信云

随着5G技术的快速发展和边缘业务的快速兴起，越来越多的业务产生了边缘位置部署的需求[2]。5G UPF（User Plane Function，用户面功能）的超大带宽需求、CRAN-CU（Cloud Radio Access Network-Centralized Unit，云化无线接入网-中心单元）的超低时延要求等，对承载此类业务的边缘云提出了更高的要求。

由于边缘站点部署位置分散，电力、运维、空间等多方受限，而业务对计算、转发等性能要求高，边缘电信云具备以下多种特征：（1）管理轻量级，由于资源受限，要求站点具备轻量的管理组件，如VIM轻量化部署、SDN控制器轻量化部署等，将资源占用从物理服务器级别降低到CPU核级;（2）资源多样化，边缘站点承载业务多种多样，资源池也包括了虚机、容器、裸机等，要求边缘站点具备多种资源的纳管能力;（3）软/硬件加速，新兴业务对计算及转发性能要求较高，要求边缘站点具备加速能力，以提高资源使用效率;（4）快捷交付，遠程运维，边缘云分布广泛，环境较为偏远，运维力量受限，可考虑一体式交付及远程运维，简化边缘站点的建设及运维。因此，边缘云架构、定制化[3]、轻量化、小型化、硬件加速和容器等成为了该领域的研究热点。

在整体架构设计方面，图2以OpenStack为主展示了电信云边缘站点的简化层级管理架构示例。对于资源池较大的边缘站点，如地市级边缘站点，其运维能力强、资源充足，考虑集中运维需求，应在该类型站点中部署多云管理功能，纳管本站点及下层小型边缘站点。资源编排层面，由于编排器可仅对接大型边缘站点进行多云管理，小型边缘站点及大型边缘站点的业务编排操作均由多云管理功能接受编排器指令并进行API分发而触发。由此实现资源池管理的集中，降低运维难度。对于资源池较小的边缘站点，如区县及以下小型边缘站点，运维能力弱，资源形态多样化，为节省资源同时保留本地管理、自运维、自愈能力，可通过将管理组件如OpenStack和SDN控制器轻量化部署或拉远部署减少管理资源占用[4]。

从边缘站点内部来看，站点内涉及技术广泛，复杂程度高，目前仍有诸多技术尚未成熟。例如，如何将多类硬件定制化以适应边缘环境，云平台容器技术引入带来NFV中哪些流程和接口的改变，软/硬件加速如何为边缘云提供统一加速资源，上文提到的如何将管理组件（如OpenStack、SDN控制器）轻量化以减少资源占用，多云管理功能如何降低边缘站点运维建设难度等。边缘云的落地仍需业界共同努力，中国移动也将持续重点开展边缘云技术方案验证，依托NovoNet试验网和越来越多的业界伙伴一起寻求更合理的边缘云解决方案，加速边缘云的商用进程。

4   硬件加速

5G网络大连接、低延时特征以及边缘计算业务的兴起，对未来网络计算和转发能力提出更高要求。X86架构已经进入后摩尔定律时代，计算性能增长缓慢。在NFV架构下，虚拟化网元和vSwitch采用软件实现，通过CPU堆叠满足计算转发需求的成本和功耗较高。并且，未来网元下沉至边缘机房，空间、电力、制冷能力受限，难以通过CPU堆叠保证性能。因此，引入硬件加速，将原子化的功能单元卸载到硬件加速卡处理，成为解决上述问题的必然趋势。

如表1所示，当前主流加速硬件有以下几种形态，其中FPGA（Field-Programmable Gate Array，现场可编程门阵列）的产业较为成熟，且可现场编程，灵活性高;NP（Network Processor，网络处理器）、SoC（System on Chip，系统级芯片）性价比较高，但产业成熟度有待提高;GPU（Graphic Processing Unit，图形处理器）主要优势为图像处理[5]。

目前电信网元网络转发的加速需求和边缘计算的加速需求最为突出。其中边缘计算的业务场景目前尚未明确，因此建议后续根据业务需求定制加速策略。网络转发层面，主要聚焦于5G领域的SAE-GW、UPF、BRAS等转发面网元，由于其转发流量的迅猛增长，解决此类网元的性能要求成为当前硬件加速研究的重点。

硬件加速可以实现云基础设施层和网元层加速。其中云基础设施层加速主要指OVS（Open vSwitch，开源虚拟交换机）卸载。目前虚拟化网元的数据转发主要采用SR-IOV和OVS-DPDK[6]两种方案。其中SR-IOV在灵活性和与SDN组网方面存在技术劣势，OVS-DPDK（Date Plane Development Kit，数据面开发软件套件）则需消耗较多的CPU资源，且小包转发性能较低。因此建议采用OVS卸载解决以上问题。OVS卸载之后硬件加速卡仍可以支持SR-IOV，且由于OVS支持被设置成vtep点，因此解决了SR-IOV在SDN场景下需要独立组网的问题。并且OVS数据面卸载到加速硬件后，控制面只需占用1个物理核即可完成流量转发，相比传统方式节约一半以上CPU资源。网元层加速是指将部分网元功能卸载到加速卡上处理。被卸载到加速卡上的网元功能与上层调用该功能的网元有紧密的耦合关系，实现卸载功能与网元的解耦，是硬件加速在NFV领域应用需要解决的一大难题。为了实现卸载功能与网元的解耦，需要定义卸载功能的通用API。业界（如DPDK社区）已有相关成果可做参考，但只覆盖加解密和数据包的压缩解压缩处理等少数几个方面，因此仍需业界进一步推动成熟。

在硬件加速卡选择方面，由于电信领域的硬件加速技术尚处于初期，对于某一类功能卸载到加速卡上的实现方案各厂家之间还存在差异，考虑到FPGA本身可擦写的灵活属性，初期建议采用FPGA加速网卡方案。加速功能稳定后建议可逐步固化为NP、ASIC等低功耗低成本的不可编程芯片，提高硬件加速性价比。

除此以外，加速硬件作为NFV底层设备，需要被OpenStack系统纳管。Openstack社区成立的Cyborg组建具备一定对加速资源进行管理的功能，但是目前具体实现细节尚不清晰，还不满足加速管理编排方案的需求，需要厂商积极参与到Cyborg项目中，推动其成熟[7]。

在2018年的MWC大会上，intel、联想、赛特斯共同展示了基于FPGA的vBRAS数据面加速方案，与非加速方案对比，端到端的低优先级业务延时抖动降低近一半。

5   容器

容器技术是一种操作系统级别虚拟化技术，可在单个Linux操作系统上提供多个独立的系统容器环境，相比于虚拟机是更轻量级、更细粒度的虚拟化技术。容器镜像自包含的特性使其拥有快速启停、轻量化、资源隔离及易于移植等特点，作为一种操作系统虚拟化方式，体现了容器面向资源的属性，作为一种应用打包和发布方式，又体现了其面向应用的属性。在IT互联网领域，其作为底层基础架构，在Web应用、持续集成和持续部署、跨云迁移、无状态、微服务等场景下已广泛应用。

在电信领域，运营商正在通过NFV实现整个网络软件化和数字化的转型。3GPP定义了5G核心网基于SBA（Service Based Architecture，服务化架构）服务化架构的标准[8]，网元以微服务方式重构并对外提供服务。ETSI EVE011定义云原生（Cloud Native）的关键要素包括微服务、容器、敏捷运维等[9]，而开源组织CNCF包括了一整套云原生体系。Cloud Native已被广泛作为电信云演进的目标，应用也正在向云原生的方向发展，而容器则被认为是实现微服务架构和云原生的最佳手段。

基于资源与应用双重属性以及轻量化、易于移植等特点，容器在5GC中可以应用于以下场景：

（1）边缘场景：应用于ICT深度融合、边缘机房资源受限、第三方IT业务托管等领域;

（2）5G切片场景：在应对各种差异化以及需求快速变化的业务场景时，可以实现资源使用效率最大化，并通过持续集成和部署，大大提升切片交付效率;

（3）DevOps：简化软件打包，加快5GC網元部署及升级，优化DevOps流程等。

针对以上分析，我们建议容器在5GC的引入可以分为两个阶段：近期阶段和远期阶段，如图3所示（虚线表示内部接口）。

近期阶段引入容器的原则是尽量减少对现有NFV系统的影响，建议采用虚机容器的方式，网元厂商自带容器平台。一方面保证网元的隔离性和安全性，另一方面可增加功能标准化而不规定标准化接口，实现同厂商部署，减少改造现有架构的影响。远期阶段引入的目标是容器层解耦，作为资源池独立维护与管理，增加容器资源池管理等流程，所有新增功能及接口均需标准化，并可同时支持虚机容器和裸机容器。与此同时，进一步增强容器的隔离性和安全能力，推动5G电信云统一方案相关国际标准化以及网元产品的成熟度。

对于容器技术在电信云中的应用，核心云中倾向于采用虚机容器形态部署，通过node资源规划隔离不同的容器网元。边缘云中考虑到电信网元安全性，初期建议采用虚机容器形态部署。在容器隔离性和安全能力增强后，可考虑采用裸机容器形态部署。

6   结束语

随着5G和边缘计算等业务的兴起，运营商网络转型的重点开始向边缘倾斜，其相关的组网方案、硬件加速和容器等技术成为业界研究重点，本文主要介绍了中国移动在SDN/NFV融合、边缘电信云、硬件加速和容器等领域的相关研究成果和技术观点。目前看来，这几个领域的技术成熟度还需要进一步加强，才能满足5G规模商用后的业务需求。

参考文献：

[1] ETSI. Network function virtualisation， an introduction， benefits， enablers， challenges & call for action[S]. 2012.

[2] ETIS GS MEC-IEG 004 V1.1.1. Mobile-Edge Computing （MEC）; Service Scenarios[S]. 2012.

[3] Open Data Center Committee. OTII服务器技术方案及行动计划书[R]. 2018.

[4] 中国移动通信有限公司研究院. 中国移动电信云技术白皮书[R]. 2018.

[5] 王路，赵鹏，付乔. 网络功能虚拟化的关键技术[J]. 中兴通讯技术， 2017（2）： 12-16.

[6] 胡卫文，陈俊强. 基于DPDK技术实现OVS[J]. 网络新媒体技术， 2018（1）： 47-53.

[7] 段通，兰巨龙，范宏伟. 面向SDN/NFV架构的VNF硬件加速资源编排机制[J]. 通信学报， 2018（6）： 98-108.

[8] 3GPP. 5G系统总体架构标准[S]. 2017.

[9] ETSI GS NFV-EVE 011 V3.1.1. Network Function Virtualisation（NFV） Release 3; Virtualised Network Function; Specification of the Classification of Coud Native VNF implementations[S]. 2018.