对数据中心网络新需求与演进方向的探讨

丁苗苗

中国石化润滑油有限公司

数字化经济发展的大潮下，大规模部署、高性能网络、虚拟化等成为数据中心网络的新需求。通过网络开放化、敏捷化、功能软件化和网络智能化等技术手段，数据中心网络关键技术演进方向明确，网络架构革新、网络设备变革、可编程芯片、网络设计以及标准化网络模型等将实现新型数据中心网络，更好地为生产服务。

当前，网络建设中高度依赖于高端交换机，从而导致建设、运维成本较高，扩展难度大等问题。同时，网络设备之间、网络设备与服务器之间连接都是固定的，设备之间物理连接完成之后进行相应的配置，只能按照相关的连接和配置进行数据的传输，不能根据网络流量的变化进行动态的调整。未来，这种状况会发生很大的变化。

中国石化润滑油有限公司（简称润滑油公司）对内部网络的安全域做了细分，划分为互联网出口区、核心网络区、内部服务器区、广域网区、终端接入区等，在不同区域部署相应的安全设备，完善网络基础架构并借助安全设备加强安全管理。润滑油公司信息系统始建于2002年，并于2006年进行了网络提升。随着润滑油公司业务的快速发展，应用系统、网络系统均在不断地扩展，原网络架构及机房部署已不能满足信息系统日益增长的需求。

数据中心网络的新需求

大规模部署

随着云计算的快速发展，企事业单位不断将业务迁移部署到云端，数据中心的规模越来越大。2013年以来，我国数据中心大规模增长，其中大型以上数据中心为增长主力，截止2017年底，大型以上数据中心机架数超过82万，比2016 年增长68%[1]。面对超大规模的数据中心，网络体系架构在设计的时候需要考虑可扩展性、网络带宽、点对点多通信链路等在内的诸多因素。这些挑战共同促进了数据中心网络体系架构的研究发展。

东西向高性能网络

云计算、大数据等新技术的进一步发展，让数据处理量激增。面对数据中心内部东西流量的快速增长，如何保证数据在网络中更快、更高效地传输，成为解决数据中心在网络方面的瓶颈，进而提高数据中心性能的关键所在。该问题的核心是如何提高数据中心内部数据在网络上的传输效率。

相关厂商通常采用提高网络的带宽和性能的方式应对该问题。以该问题的具体解决方案——无损网络为例，其在拥塞控制、流量控制、分组转发、路由选择等方面进行了改进与创新，使得网络可以自动调节转发速度，降低时延、减少丢包。目前，百度、京东、腾讯、电信、移动、华为、迈络思等公司均针对网络云化趋势下基于以太的无损网络展开了研究，取得了一定的成果[2]。

网络资源虚拟化

计算虚拟化技术、存储虚拟化技术已经取得较大的突破，实现了对计算和存储资源的池化，极大地提高了数据中心相关基础设施的利用率。

网络虚拟化技术相对发展较慢，但数据中心在发展中对网络虚拟化技术有切实的要求。网络虚拟化的对象包括服务器、路由器、交换机、链路等方面，采用虚拟化方案后，数据中心可以提高网络资源利用效率、简化引用部署、降低网络故障影响区域等。根据共享网络、计算虚拟化、存储虚拟化等方面的特点，在安全、隔离、调度等方面进行创新，才能更进一步发展网络虚拟化技术，实现网络资源的统计复用。作为近年来研究的热点之一，SDN（软件定义网络）通过转发层与控制层的分离，来实现统一的资源调度。

低成本、高扩展

数据中心的规模变大之后，网络方面需要较好的扩展性、较低的成本。在扩展性方面，除了考虑网络架构设计等方面的因素，还需要考虑设备的通用性，在网络建设中，尽量使用通用性设备，减少专用性设备的使用，有利于网络未来的扩展；在成本控制方面，也应该尽量减少使用较贵的专用设备，而采取较便宜的通用性设备。因此，目前数据中心网络在研究和建设中，大多采用通用型的设备，以降低成本，同时满足未来扩展的需要。

新型数据中心网络基本特征

工业4.0以及互联网+环境下，整个传统产业向规模化和智能化升级。数据中心作为数据中转和计算的中枢节点，已经成为新一轮的商业基础设施资源。随着云业务的兴起，数据中心也面临云化发展。新型数据中心网络要求具有以下特征：

网络开放化

传统数据中心网络是一个相对封闭的系统，由各种各样的平台、专用的协议对接指定的应用。随着网络规模的日益庞大，无论是底层硬件平台还是上层通信协议越来越复杂，各种迭代增加使得传统数据中心网络越来越繁重，彻底与灵活、高效的网络需求相悖，数据中心网络开放化的要求呼之欲出。

网络开放化微观要求通信设备软硬件解耦，解除设备商绑定；宏观要求整个通信产业链的开放，通信产业链从单一芯片提供商、少量设备制造商向多品牌芯片提供商、通用硬件设备制造商（ODM、OEM）、定制化软件提供商，甚至IT产业的硬件制造商和软件提供商转变。

网络开放将促进通信端到端产业链从传统的相互隔离演进为相辅相成、相互融合，进而加速新技术引入，推动产业发展，形成多赢局面。

网络敏捷化

互联网的浪潮中，智慧运营要求用户按需订购、业务按需提供、网络按需建设。传统数据中心网络由众多软硬件一体化的网络设备组成，每个设备都有固定的功能，网络连接固定；面对网络新需求通常需要更换新的网络设备或者是搭建新的网络来满足。但是，传统设备升级是一项复杂、耗时长的系统工程，网络的重新配置也会导致现有业务的中断；这就限制了传统数据中心网络功能固化、迭代速度特别慢，无法满足个性化、定制化和碎片化的运营需求。

网络敏捷化要求针对业务提出的新需求，服务提供商只需要升级软件、重新编排业务或者修改数据面快速实现新功能，无需硬件通信设备的更换，进而避免硬件设备的无限膨胀，从而实现网络功能敏捷快速部署。

功能软件化

传统数据中心网络由交换机、防火墙、负载均衡器等形态各异的专用硬件设备组成，面对网络新功能，通常需要升级专用设备，或者是新增网络设备来实现。硬件设备的不断更替给服务提供商带来了很高的成本投入，包括设备成本、运维成本、新增设备机房成本、新增设备电力成本等。

网络软件化指数据中心网络设备使用基于通用硬件平台的软件代替，这样网络设备功能由传统硬件开发转变为软件开发，使得开发门槛降低，开发集成和部署的速度明显加快。另外，软件比硬件具备更好的可修改、可更新能力，能更好地促进网络创新。同时，采用通用硬件平台和软件的部署方式使得网络建设的固定资产投入极大降低。

网络智能化

随着大数据和人工智能技术的发展，新型数据中心网络也正趋于智能化。随着数据中心规模变大、网络设备数量变多，自动化以及智能化网络管理和运维成为管理人员的核心诉求，基于意图的网络（IBN，Intent-based Networking）的出现宣告了网络智能化时代的崛起。网络管理人员通过输入期望达到的“业务意图”，即“希望网络实现的功能、状态和行为”，网络控制端收到“意图”后进行自动转译，并完成相应的网络操作。

智能化还表现在网络的闭环控制，网络控制端在网络实际运行过程中通过验证网络状态和业务意图的匹配度，并进行自我调整，最终实现网络完全满足意图需求。

数据中心网络关键技术演进方向

网络架构革新

网络体系架构的革新是网络开放的关键。SDN和NFV（网络功能虚拟化）作为网络体系架构变革的核心技术，SDN开启软件定义网络新时代，NFV开启软硬件解耦新时代。三大国内运营商在近几年都发布下一代网络愿景：中国移动的《NovoNet 2020愿景》[3]、中国电信的《CTNet-2025网络架构白皮书》[4]、中国联通的《新一代网络架构白皮书（CUBE-Net-v2.0）》[5]无一例外地将SDN、NFV作为下一代网络的核心技术，以数据中心为核心，构建简单扁平的新型网络架构，实现网络能力开放。

SDN和NFV是相辅相成、优势互补的两大关键技术，两者深度融合共同构成新型数据中心。NFV是网元功能的灵活体现，包括对数据中心内的网络单元防火墙设备的虚拟化、负载均衡设备的虚拟化或NAT、VPN等设备的虚拟化。SDN作为网络功能的新技术，负责高效连接各网元节点，实现网络灵活开通和自动调整。需要指出的是，近两年来电信运营商重点打造的电信云数据中心，是运营商主动迎面急速发展的大宽带、大连接业务进行网络转型，目标借助于电信网元的虚拟化，增强网络竞争力，突破成本效益天花板。

网络设备变革

新型数据中心网络架构下也诞生出一批新型的数据中心网络设备，其中白盒交换机和可编程芯片就是软件定义的直接产物。

白盒交换机

白盒交换机是数据中心交换机的一次革命性尝试，直接将交换机的硬件和软件进行解耦，硬件选用通用硬件，软件选用开源或者商业操作系统软件，两者之间再无绑定关系。

目前白盒交换机软件的思路主要包括两类，一类是专业交换机商业软件，另一类是开源软件。交换机商业软件由专业公司运营，收费模式包括源码买断和每台交换机的授权费两种。商业软件的优点是可提供从芯片驱动层、业务层到上层管理层的完整解决方案，用户拿到后一般可直接使用，二次开发工作量小，可快速出产品，缺点主要是软件售价高，成本投入大，例如PICA8的PICOS、Cumulus的Cumulus Linux、snaproute的Flexswitch等。开源软件相反，没有软件采购成本，源码可从社区直接获得，另外开源操作系统可以结合数据中心客户定制化需求进行定制化开发，如流量优化、路由优化功能等，当前各种开源交换机操作系统势头相当活跃。

随着数据中心网络的发展，白盒交换机市场占有率在逐年提高。根据Crehan Research Inc.最近的报告[6]统计，2020年白盒交换机市场占比预计达到20%。白盒交换机通常被视为一种降低成本的方法，但是它更大的价值在于提高网络的可编程能力和自动化，例如基于API(应用编程接口)的交换机互操作替代传统命令行操作、进行多样化的APP开发等，基于实际需求，快速实现网络功能定制化，充分发挥软件的价值。

可编程芯片

可编程芯片是网络设备革新的另一个重要方向。随着业务优化、故障诊断以及低功耗、低时延和需求响应及时性等新需求的提出，交换芯片正在经历一场革命。传统芯片一方面需要支持各种不同的协议类型，另一方面存在大量迭代发展的冗余设计，无法及时响应数据中心日益增加的协议和隧道化技术要求以及部分运维监控需求，此外传统芯片处理流程固定、表项大小固定，不适合需要灵活处理特性的一些实际场景。可编程芯片作为芯片发展的趋势，突破传统芯片处理流程，在新一代交换芯片中开始崭露头角。可编程芯片具备以下几大特征：

☆灵活性，支持业务流程灵活编排，支持新业务编辑；

☆自主性，支持协议字段自定义，支持新功能解析；

☆弹性，支持表容量弹性定义，具备可编程的操作能力。

可编程芯片配合可编程语言能够发挥最大价值，目前相对较为成熟的可编程语言为P4语言，吸引了绝大多数芯片商、设备商、IT集成商及多家电信运营商的关注。P4是一种类似于JAVA语言的转发面高级编程语言，实现了数据面代码开发和硬件的隔离，而且P4代码通过前后端编译器目前已经可以应用在不同的硬件平台上。

行业内支持可编程芯片公司包括Barefoot、Cavium以及Broadcom等。Barefoot作为P4开源平台的主要贡献者，近期非常活跃，吸引了Google以及腾讯和阿里巴巴的投资，其芯片Tofino原生支持P4语言，得到了可编程芯片研究者的广泛关注。Cavium的可编程芯片Xpliant系列早于Barefoot，由于其可编程语言不够开放，因此未能被大家熟知。作为传统交换芯片市场领导者Broadcom在其新发布的Trident3也支持可编程功能，但编程方式是由客户提功能需求，Broadcom来实施，编程功能不对用户开放，限制了用户创新能力。

网络设计

新型数据中心网络围绕高可靠、高性能、高扩展、兼容性和开放性这五个原则进行设计：

◇高可靠意味着网络关键节点和链路进行冗余设计，并结合网络协议的收敛共同保证业务的持续可用性；

◇高性能要求控制设备具备控制和管理多节点能力、转发设备具备高性能转发能力，此外依靠虚拟化集群机制或者弹性扩缩容机制实现性能的提升；

◇高扩展要求网络层次化设计，每个层次均采用模块化组网，保证网络横向扩展能力；

◇兼容性要求兼容多种计算资源、多类网络方案；

◇开放性是数据中心网络的基本原则，利用开放的架构，结合标准的协议和接口，实现网络能力开放。

应用层是新型数据中心的核心价值体现，新型数据中心应用层表现为云资源管理平台，面向用户或者管理员提供服务。云资源资源管理平台的重要功能之一就是网络编排，负责数据中心网络资源的统筹和调度。管理平台在模块化网络设计中表现为“统一管理模块-局部管理模块”扁平化架构，每个标准建设单元内部集成局部管理模块，标准建设单元之间依靠统一管理模块进行拉通。局部管理模块作用于建设单元内部，负责对单元内资源部署、操作、回收、监控和统计分析；统一管理模块作用于整个数据中心，对外呈现统一界面和用户交互，对内和局部管理模块进行交互，利用局部管理模块调用资源。

就网络资源的调用情况来看，用户开通网络资源的指令通过统一管理模块下发至对应的局部管理模块中，局部管理模块通过本单元网络控制单元或者是直接控制网络设备，进行网络资源的开通。

标准化网络模型

管理平台实现网络编排自动化的过程离不开网络模型的抽象和建立，即虚拟专用网络（VPC，Virtual Private Cloud）模型。每个业务系统对应一个租户，租户网络采用VPC网络模型进行描述。根据业务需求，数据中心网络模型包含网络节点以及节点之间的连接，其中网络节点包括主机、端口、子网、路由器、弹性IP等基本网络服务和负载均衡、防火墙等增值网络服务，节点连接涵盖基本的网络节点互联以及配置的策略。网络模型的发放由云资源管理平台发起，管理平台创建网络规则，映射为网络模型，通过控制节点动态生成相应的配置最终传递给网络设备。

为满足不同应用对网络界入的不同安全隔离要求，新型数据中心网络设计需要考虑安全性要求。网络的安全性主要体现在各类网络隔离策略，粒度从小到大分为网段隔离、安全组隔离、虚拟路由表（VRF，Virtual Routing Forwarding）隔离以及安全设备隔离。网段隔离也指二层流量隔离，对于不同的网段采用不同的VLAN或者VXLAN标识，具体表现为VLAN ID或VXLAN ID（VNI， VXLAN Network Identifier），而VLAN或者VXLAN之间缺省相互隔离。安全组隔离表现为粗粒度的网段隔离，适用于既存在放通需求又存在隔离需求的多个网段之间，一般采用硬件访问控制列表或者是软件实现。虚拟路由表本意是为了解决本地路由冲突的问题而引入的虚拟路由器，虚拟路由表隔离具体表现为每个VRF对应独立的逻辑路由转发实例，具备独立的路由表、转发表和相应接口。防火墙隔离作为高级别的隔离手段，借助于专用安全设备实现网络的隔离，此时借助于策略路由或者是其他导流手段将流量引导经过防火墙，结合防火墙策略进行安全防护。

结束语

网络是数据中心的重要组成部分，也是数据中心性能可否完全释放的重要IT设施。传统的三层网络架构部署模式已经不太适合新需求下的数据中心网络，需要在芯片层面、设备硬件层面、软件层面以及网络架构层面有更多的创新和发展。