运营商混合多云实现及应用研究

周 振 周楠钧

1.中国电信股份有限公司江苏分公司；2.华南理工大学

0 引言

随着云计算技术的发展，大型企事业单位趋向于依托原私有云接入多个公有云，组建混合多云，满足自身数字化转型及业务创新的需求。中小企业选择一线入多云的自助拎包式服务，敏捷地架构企业IT环境。“混合多云”——多个云服务混合部署的新模式将逐渐成为一种趋势。

1 混合多云驱动力分析

1.1 竞争性市场的选择

采用混合多云，客户可以在不同云商之间营造良性的竞争氛围，有效避免在价格、服务上受制于单一云商，充分享受不同云的营销活动，掌握更大的招标采购议价权，也会享有更好的售中及售后服务。

1.2 促进云商服务互补

不同云商的服务各有优势，客户希望能够得到最合适的服务，同一云商往往无法满足客户的全部需求，需要多云进行差异化互补。对于运营商而言，内部存在着诸多不同的功能性、区域性资源池，需要通过多云管理技术对资源进行整合。

1.3 提升业务安全保障

客户将业务系统部署在不同云商的资源池中，可以有效提高业务系统的可用性。相比于同一云商多AZ节点的容灾架构，多云异构部署模式可有效防范因单一云商全局性障碍而导致的业务中断。

2 混合多云整体架构

混合多云架构主要包括四个部分：第一部分为公有云，用于匹配用户需求的云能力；第二部分为客户私有云，为客户在各类虚拟化环境下部署的私有IT架构，需要与公有云互联；第三部分为多云专网，提供多云、私有云、办公环境之间的高速专用网络连接；第四部分为智能云网管理门户，包括智能网络管理、多云聚合管理，实现云网资源的整体编排及运营管理能力。混合多云整体架构如图1所示。

图1 混合多云整体架构

3 混合多云网络方案

多云专网是要实现从客户到不同云VPC间的安全组网，是混合多云的核心技术基础，其技术架构的不同会带来服务、交付及运维体验的差异。目前多云专网的实现方式主要有互联网VPN和数据专线两种，前者基于VxLAN、IPSec等技术。运营商的数据专线服务在安全合规及QoS方面优势明显，此处重点讲述运营商基于MPLS及SRv6技术实现多云专网的方式及演进方向。

3.1 多云专网实现

根据运营商网络现状，可将多云专网分为三个层面：（1）多云交换网，用于云间流量的传输，并对接客户入云网及云侧网；（2）一线入云网，用于客户侧接入，含接入网、城域网段落；（3）云侧网，由云内VPC及虚拟三层网关构成。这些网络建设的年代、采用的技术不尽相同，端到端开通实现难度较大，需要对不同段落的VPN进行映射，实现方案如图2所示。

图2 多云组网专线实现方式

3.1.1 一线入云实现

传统的云专线需要从客户接入点至每个云单独开通专线，云间流量绕行客户侧，多云专网模式下，只需要在客户侧和最近的多云交换网络PE间开通专线，即可实现一线入多云，且云间流量通过云PE分流。

一线入云可通过PON或IPRAN接入城域网。以PON为例，客户侧CIDR（192.168.0.0/24）由用户指定，ONU网关进行NAT转换，将内网地址转换为由运营商统一分配的WAN IP（172.19.1.2/30），ONU网关创建云专网子接口，配置MSE与网关WAN端口间的互联地址，MSE地址由城域网网管进行静态分配，通过ITMS向用户网关下发到城域网MSE的缺省路由；目前绝大部分城域网仅支持MPLS VPN，首先需在MSE和ASBR间配置IGP、BGP协议，然后创建L3VPN实例，城域网ASBR和多云交换PE通过子接口和VRF隔离，这样就建立了从客户至多云交换网的L3 VPN隧道。

3.1.2 云侧网实现

云资源池内部通过不同的VxLAN来进行区隔，客户自定 义VPC1（172.16.100.0/24）、VPC2（172.16.200.0/24），并将云资源调整至相应VPC，在VPC和VRouter之间分别构建VxLan2000、3000隧道。VRouter作为三层网关，与相应的云POP设备互联，云POP作为CE设备通过预开通高速中继电路就近接入多云交换网PE设备。

3.1.3 多云交换实现

多云交换网络应充分考虑网络的可靠性、扩展性、先进性、兼容性、专业性，尽管中国电信已经具备163、CN2两张骨干IP网络，仍应为其构造专用传输平面，建设多云交换OTN传输专网。在IP网络层面，SRv6是基于IPv6数据平面实现的Segment Routing网络，通过在路径起始点向报文插入操作转发指令来指导报文转发，其原生IP属性简化了基础网络的复杂性，是运营商构建多云交换网的主流选择。

SRv6多云交换实现过程为：多云资源池POP及城域网ASBR通过云网PE接入多云交换网络，各PE节点预先完成IPv6地址、IGP、BGP的配置，保证基础网络连通；在PE1、PE2上分别配置SID、环回地址、VPN SID（Function：End.DT4）等信息，该SRv6 VPNv4用于接云POP侧及入云侧的IPv4业务，云侧网分别通过VLAN200、VLAN300子接口映射至该VPN，客户入云网通过VLAN100映射至该VPN；PE1、PE2将SID、环回地址通过IGP发布到各节点，各节点形成路由转发表；当PE2学习到来自云POP的私网路由（172.16.200.0/24）后，将路由及对应的VPN SID通过BGP通告远端的BGP Peer PE1，PE1学习到路由后，将私网地址（172.16.200.0/24）下发到本地转发表，此路由下一跳设为PE2环回地址；PE1将学习到的来自于PoP1及客户侧的私有路由（172.16.100.0/24）、（192.168.0.0/24）通告PE2，PE2下发本地转发表，至此便建立了多云交换的SRv6 L3VPNv4的转发隧道。

数据转发时，PE1会根据入接口绑定的VPN查找相应的转发表，并根据VPN的SID信息，将原始报文封装IPv6报文头转发，中间的转发节点（P设备）可以是不支持SRv6的普通IPv6节点，PE2接收到报文后，弹出IPv6报文头，使用IPv4目的地址，并转发至云网PoP2。

上述过程实现了本地私有环境（192.168.0.0/24）、天翼云（VPC1：172.16.100.0/24）、华为云（VPC1：172.16.200.0/24）的L3 VPN网络贯通。在端到端数据转发时，会经过多个VPN的封装、拆解、映射，管理难度大，故应设置协同编排器，对接终端管理系统（ITMS）、PON网管、城域网网管、SRv6网络编排器，设计整体业务流程，并上联智能云网管理门户，实现云网资源的统一编排，敏捷交付多云整体服务环境。

3.2 多云专网演进策略

在本例中入云网采用MPLS技术、多云交换网采用SRv6技术，云内采用VxLan技术，不同网络的互通，需要通过VLAN来相互映射，部署难度大、效率低。SRv6具备类似VxLAN仅依赖IP可达性即可工作的简单性，未来可能被部署在数据中心网络内，甚至可能直达虚机应用，SRv6将各种业务的承载统一定义为SID，实现网络业务转发的大一统，与互联网VPN技术相比，端到端服务便捷性相同，服务保障特性更高。

相比传统的MPLS技术，SRv6优势明显：具有更好的后向兼容性，支持IPv6网络平滑的演进；网络真正可编程，通过丰富的转发行为实现智慧网络；跨域部署便捷，MPLS在跨域交界节点要生成大量的转发表，SRv6只需通过BGP引入IPv6即可；扩展性强。

因此，为充分释放SRv6优势，有必要考虑多云专网整体的SRv6演进策略。首先需将网络从IPv4升级至IPv6网络，一般是升级到IPv4/IPv6双栈；其次，按需升级IP承载网边缘的PE节点，使其支持SRv6应用，比如在客户接入侧，可直接安装支持SRv6的CPE终端设备，在城域网侧，升级MSE和ASBR设备；再次，按需升级IP承载网的部分中间设备，如城域网的P设备，以使能网络的流量路径优化能力；最后，全网升级到SRv6网络，充分利用其网络编程能力，实现云网端到端服务。

4 混合多云聚合管理方案

混合多云中，各种公有云、私有云的管理API端点、指令集各不相同，因此混合多云管理的关键是多云管理平台至各云间的API通信网络、通信方式设计。混合多云聚合管理方案如图3所示。

图3 混合多云聚合管理方案

4.1 公有云管理方案

主流的公有云都提供了基于互联网的API端点，并向开发者和第三方提供了Open API服务。为确保网络隔离及维护便利，混合多云管理应根据需要接入的公有云，确定具体对接的网络端口，同时提供相应的API插件服务，插件包含了相关API全量指令集及调用方式。以天翼云为例，根据云资源池所在区域可确定API接入端点，首先需要向IAM认证端点发送POST请求认证用户身份，认证成功后会返回token，通过编程将token放入到操作请求中，发送到计算、存储、网络、镜像、物理机、云数据库等具体的API操作端点，通过POST、GET、DELETE、HEAD等具体的操作动作，即可实现相应资源的查看、创建、配置、删除、变更、开关机等具体的云管操作，操作可采用异步或同步的方式进行，并反馈云管平台相应JSON格式的操作结果，实现操作的闭环。

4.2 私有云管理方案

私有云一般用于承载客户的核心系统业务，安全保护等级较高，其API端点一般不向公网开放，因此可以考虑建设专用网络，如采用数字电路接入，也可依托互联网组网，在私有云侧应部署防火墙，通过NAT将公网地址转换为私网地址，同时配置ACL访问列表，实现对私有云API网关的安全访问。目前，私有云环境通常为Vmware、Kvm或Xen架构，OPenstack或libCloud等开源软件可以对上述虚拟化环境提供良好的兼容性管理，可以通过API网关对上述虚拟化的API指令进一步封装，改造为私有的API指令集，在保证多云聚合管理兼容性基础上，进一步提升系统的安全性及扩展性。

中国电信的“云聚”管理平台，可兼容管理多个公有云、私有云的API，通过定义云网资源依赖关系，实现多云环境搭建的自动化、运维自动化；通过模板下发在不同云之间快速复制环境，实现云容灾迁移等混合多云高阶应用场景。

5 跨云能力调度实现方案

跨云API调用方案如图4所示。混合多云专网通过封闭的私有网络将不同云环境连接起来，各公有云商均提供了丰富的生态服务内容，如天翼云的短信、物联网，华为云的大数据、AI服务等，这些服务的API端点位于互联网，私有云无法直接调用；公有云同样也存在调用私有云服务的需要，如调用RDS API服务。如何实现不同云环境下调用API服务的一致性、透明性、安全性，以共享多云的生态能力，需确定混合多云的跨云API调用方案。

图4 跨云API调用方案

虽然从技术上可以为各私有云、公有云单独设置互联网出口，但出于安全因素，多云环境应只允许从单一出口访问互联网。设想一个天翼云和客户私有云组建混合多云的场景，天翼云设置互联网出口，私有云VPC无法访问互联网，VPC A、B加入同一个专网VPN构建多云专网，客户私有云环境，可在VPC内分配一台VM，部署DNS服务，天翼云VPC内通过ECS部署DNS及代理服务器，当私有云VPC中ECS的Url调用目标地址为ctyun.cn时，转发至天翼云内部的DNS服务器解析处理域名，由天翼云DNS解析至代理服务器，并由代理服务器完成白名单认证工作，只有10.0.0.0/16网段的IP地址的VM得到访问许可，然后该请求经互联网网关，送达拥有公网地址的天翼云服务API端点。如天翼云环境下调用私有云API，则在通过反向DNS解析后，并经过私有云内部增加API网关，通过API协议转换后送内部定制API端点。

通过上述机制，私有云可以调用天翼云市场中的短信、S3等API服务，并将其整合到客户自身的应用系统中，天翼云的ECS也可实现对私有云环境中RDS服务的调用，从而实现多重云的PaaS、SaaS服务组件及能力的调度互补，为云生态市场的运营奠定技术基础。

6 混合多云应用场景

6.1 安全的高可用服务

利用多个云服务商的基础资源，借助多云专网，可快速搭建业务高可用平台。如在天翼云和华为云分别开通一套ECS和RDS实例，分别部署主备用业务系统和数据库系统，通过多云专网对RDS间的数据准实时远程同步，当天翼云的主用系统发生障碍时，可人工或通过DNS自动切换至华为云节点，即可实现多云间灾备服务，提升业务系统的RTO及RPO。

6.2 灵活的组网服务

依托运营商的多云专网及管理平台，客户侧仅需要一次外线装维施工，后续的逻辑专线可秒级开通，以多重云为核心，在客户和多云之间，提供一线多云、云间高速互联、多分支接入及跨域组网的多云综合服务场景。

6.3 便捷的跨云共享服务

客户可利用跨云调度能力充分共享、自由组合各云商服务，如利用天翼云ECS、云电脑服务，华为云的HPC、OBS服务，阿里云的大数据服务，构建跨云智能制造生产设计IT环境。此外，将企业核心系统部署在私有云，创新应用、客服系统部署在公有云，当私有云资源短缺时，实时调用公有云能力。

6.4 丰富的多云生态服务

多云生态包括云商、软件供应商、集成商、用户等角色。用户可以通过云市场采购不同云平台的软件服务，用户以镜像的形式安装使用配置完毕的软件环境，屏蔽了调用各云特有API的繁琐过程；运营商可通过软件应用的销售降低云资源销售难度；软件供应商减少了许可销售管理的麻烦；集成方可基于云网资源、软件、API为客户提供深度定制服务。

7 结束语

企业的多云需求涵盖了上述场景化服务的内容与能力，并在不断的演进和变革，同时，企业在IT开发测试、运维、安全保护等方面也会产生剧烈的变化，这样的变革势必会孕育出全新的市场机会，也不可避免地对运营商的传统业务（如组网专线、主机托管等）带来更大的冲击，运营商需要主动拥抱革新进程，充分发挥云网融合优势，在多云商务模式、生态合作、资费策略、信安管理等层面作深入探索。