国家级互联网骨干直联点建设方案分析

王建明，唐利莉

（中国移动通信集团设计院有限公司，北京 100080）

1 背景情况

为落实工信部关于设立互联网骨干直联点的建设要求，改善我国互联网络性能，满足社会信息服务需求，由工信部统一牵头组织，各运营商集团公司主管建设，已分别于2010-2017年先后三期进行骨干直联点的建设工程，在北京、上海、广州、武汉、成都、南京、西安、沈阳、郑州、重庆、福建、杭州、贵阳等全国13个城市设立骨干直联点。

骨干直联点的开通，保障了我国互联单位之间的网间通信流量疏通，合理地增设骨干直联点能够减少流量长途绕转，有利于提高网间流量疏通能力，提升网间通信质量，有利于推动云计算、数据中心以及各种互联网信源向更广大地区提供互联网信息服务。

随机、无序的增设骨干直联点不仅达不到有效疏通网间流量的效果，反而会引起网络结构复杂、流量疏导不均衡等不良影响，所以本文旨在通过对标国际网间互联架构经验，结合我国互联网发展实际情况和互联单位特点，分析增设骨干直联点对网络资源、质量等方面的影响，分析后续增设骨干直联点的必要性和建设方案。

2 现状概述

2.1 我国网间互联现状

我国互联网的互联互通主要是指7家全国性互联单位之间骨干网络的互联，即中国电信、中国移动、中国联通三家运营商和教育和科研网、经贸网、长城网和科技网四家分属不同行业的互联单位。

我国互联网的互联互通方式是以骨干直连点、交换中心和省内第三方出口实现。其中，骨干直连点主要承载三家运营商以及教育网的网间互访需求，其他三家互联单位接入的带宽较小。

2000年左右，国内建立了北京、上海、广州3个交换中心，开通带宽为30 Gbit/s，但由于我国目前独立AS的网络较少，接入成员较少，且有一定的接入限制条件，大型运营商缺乏接入动力，所以长期以来实际通过交换中心疏导的网间流量很少。

省内第三方出口以NAT方式为主，现阶段全国共有18个省份开通第三方带宽540 Gbit/s左右，由于第三方出口的网络质量较差且不稳定，随着骨干网间结算费用的不断降低，省内第三方出口逐步再减少。

2.2 发达国家互联方式

美国国内拥有6张Tier 1骨干网：Verizon、Sprint、AT&T、C&W、Qwest和Level 3。6家Tier 1运营商之间实现对等免费直连，同时向其他ISP、ICP提供转接服务。

美国互联网间的互通超过30个城市设有互通节点，其中在8个大型城市设置骨干直联点，其余城市设置区域性互联点。美国交换中心多达84个，通过设置交换节点解决多方ISP接入并实现互通、实现本地流量的疏导。

欧洲中小型ISP规模较多，参与互联的网络较多，因此交换中心发展较好,交换中心接入的网络超越美国。欧洲各国有133个交换中心，其中成员数量超过100的大型交换中心有20个。欧洲公益性交换中心发展较好,例如阿姆斯特丹交换中心、伦敦交换中心接入成员数量达到400个，疏导的流量达到1 Tbit/s以上。

2.3 网间互联方式对比

对比我国与其他国家的网间互联方式，具体情况见表1所示。

骨干直联适用于大型ISP之间大带宽的私有互联，可方便进行流量控制，我国目前主要以此方式进行网间互联。

区域性互联解决本地网间资源互访，实现本地流量的疏导，美国部分州设置有区域性互联点。

表1 我国与发达国家网间互联方式对比

交换中心通常是由中小ISP发起，避免向运营商支付高额的转接费用，欧美各国运营商、ISP之间比较常用。

第三方出口网络质量差，经常遭遇关停和封堵，逐步在减少这种方式的互联。

我国现阶段主要以建设骨干直联点方式进行网间互联。

2.4 我国网间互联存在的问题

2.4.1 骨干直联点扩展性差、带宽利用率不均衡

互联双方通过在同一地区设置骨干直联点实现两网直接互联，能够满足大型网络之间对等互联或者大型网络与少数中小网络之间转接互联。但随着互联主体不断增多，可扩展性差的问题愈加突出。

由于各运营商骨干网络架构策略不同，网间互联设备部署情况也有存在差别，导致网间互联设备外侧带宽不对称，而网络需要在同节点2台路由器设备上通过向对端发送不等价的路由（以省为单位）去引导流量，导致带宽利用率不均衡，且均衡控制比较困难。在设置BGP策略时，需要人为把不同省份的路由通过不同链路进行发布，而目前流控系统是以省为单位进行流量调整，颗粒度过大，调整起来比较困难。

2.4.2 交换中心利用率不高

由于我国目前独立AS的网络较少，接入交换中心的成员数量也较少，而且以交换中心为互联方式的各互联单位仍需双方商定互通协议，没有实质性的满足多网接入的需求，且增加互联单位额外工作量，所以虽然目前三个交换中心已经开通30 Gbit/s带宽，但实际通过交换中心疏导的网间流量很少。

2.4.3 第三方出口网络质量不稳定

由于骨干互联链路结算费用高昂，因此省内通过第三方出口疏通到电信联通的流量，但经常遭遇对方封堵、关停，导致网络稳定性差，投诉增加。另外，NAT方式的地址转换和一个地址对应多个用户的情况，造成用户无法正常使用某些业务应用（例如VPN、网游等），降低部分应用的用户感知。

3 骨干直联点建设方案分析

中国移动CMNet2017年国内网间流量预测结果显示，至2021年末，CMNet骨干网总流量将达到261 Tbit/s，预测国内网间流量将达到9.2 Tbit/s，根据流量预测结果判断，未来5年仍有必要增设骨干直联点，下面就增设骨干直连点对路由策略、网间质量以及流量均衡等方面的影响进行分析。

3.1 增设骨干直连点对路由策略的影响

增设骨干直连点一方面可以减少骨干网层面的省际流量绕转，另一方面可缓解周边直连点的疏导压力。现阶段我国通过骨干直联点疏导网间流量的场景大致分两类，即跨省访问外网资源和同省访问外网资源。

场景1，用户跨省访问外网资源。以中国移动山西用户访问中国电信北京内容提供商为例：增设太原直联点前，资源下载路由会选择临近的郑州骨干直联点入网，再由郑州绕转至太原。增设后资源下载路径由太原直连点入网，无需再经过郑州骨干网绕转，同时减少了郑州直连点的疏导压力。具体情况详见图1所示。

场景2，用户同省访问外网资源：以中国移动山西用户访问中国电信山西内容提供商为例：增设太原直联点之前，虽然用户和内容源均在本省，但是请求和下载路径均需要通过临近的郑州骨干直联点绕转；增设后，双向路径由太原直连点出、入网，无需再经过骨干网绕转，同时减少了郑州直连点的疏导压力。具体情况详见图2所示。

随着未来内容源的不断发展，同省访问量增加，可以考虑在省网层面增设区域性直连点。在本省增加省内直联点后，本省用户访问本省CP资源，无需从其他直联点绕转，可有效降低骨干网疏导压力。但做为省内直联点，仅可以交换本省用户、CP的路由信息。具体情况详如图3所示。

图1 用户跨省访问外网资源情况下增设骨干直联点路由策略变化示意图

图2 用户同省访问外网资源情况下增设骨干直联点路由策略变化示意图

图3 增设区域性直联点路由策略变化示意图

3.2 增设骨干直连点对网间质量的影响

2017年6月，杭闽贵3个骨干直联点建成并投入运营，分析增设3个骨干直联点前后两个月的拨测数据，从数据上看，增设直连点之后减少骨干网路由绕转，所以时延略有下降，但分组丢失率并没有明显改善，原因为网间质量的优劣同时受本端骨干网质量以及对端网内质量影响，单纯靠增设直连点不足以明显改善网间质量，要整体改善我国骨干网网络环境才能更有效的提高网间质量。增设骨干直联点前后网络质量变化情况详见图4所示。

图4 增设骨干直联点前后网络质量变化情况

3.3 增设骨干直联点对流量均衡的影响

增设骨干直联点后，将会打破原有流量疏导现状，原有骨干直连点疏导区域需做调整，每增加一个骨干直联点，需要网管系统重新配置一次路由策略，势必会增加流量均衡的复杂性和数据配置工作量。

随着网络流量控制技术的不断发展，针对现网流量不均衡问题建议考虑引入基于SDN的RR+解决方案设计思路，此方案可以通过统一操作界面，实现网络状态和流量可视，全局计算并选择最优路径，而后通过命令行界面（CLI）、 Netconfig等进行配置执行自动调度，从而实现对拓扑和BGP的关系管理，按照流量调整要求生成新的BGP路由策略下发给设备，达到提升和均衡带宽利用率的目的，同时还能达到自动化维护、简化管理运维的目的。

3.4 增设骨干直联点利弊分析

增加骨干直联带宽可以有两种方式：一是在现有骨干直联点增扩带宽；二是通过增加新的骨干直联点增加带宽。如果在现有骨干直联点上增扩带宽，现有路由组织基本维持不变；如果采用新增加骨干直联点方式，网络架构和路由需要进行调整，但可减少新增直联点所在省份的网间流量绕转，降低业务时延，提高用户业务体验。增设骨干网间直联点的利弊分析详见表2所示。

4 骨干直联点建设方案建议

骨干直联点是我国互联网网间互联架构的顶层关键环节，需国家工信部统筹设计，各互联单位应严格按照工信部的统一部署，结合各自骨干网发展状况，根据各省带宽需求，分批、有序的建设，并且需要控制骨干直联点数量，避免重复建设。

现网13个骨干直联点部署在我国东北、华北、华中、华南、西南和西北六片区，开通带宽能力达到2 Tbit/s，无论是从分布区域还是从承载能力角度来讲，现阶段骨干直联点可以满足分片覆盖、就近疏导原则。因此，不建议后续再大量增设骨干直联点，尤其是在传输条件和网络质量较差的区域。如个别省份确实有增设需求，议在符合下列条件的地区可以适当考虑增设骨干直联点。

表2 增设骨干网间直联点利弊情况

（1）在骨干网网络核心节点，便于汇聚邻近省的网间流量需求；

（2）政府和骨干网互联单位重点支持的区域；

（3）宽带用户和信源发展好及发展潜力大的区域。

从建设管理角度分析，由于骨干直联点设备属于各运营商骨干网自治域内，运行同一个域内路由协议，需要统一的流量疏导策略规划和优化。因此原则上应该由各运营商集团公司统一管理建设，建议作为集团主管项目进行建设，也便于与工信部以及对端运营商的协调。

5 结语与展望

现阶段由于我国互联网环境的特殊性，仍会是以骨干直联点为主要疏导途径，有效、合理的增设骨干直联点能使网络更优，效率更高。与此同时，随着腾讯、阿里等互联网企业飞速成长，随着这些新型互联单位和ISP服务商的不断发展，势必会形成大量的接入需求，能够承载多元化网络接入的“新型”交换中心势必会成为未来网间互联互通的发展趋势。

我国未来网间互联架构的设计思路是骨干直联点+“新型”交换中心的多层次组网方式，即在设置有骨干核心节点的城市设置骨干直联点，实现运营商之间对等免费直连，同时向其他ISP、ICP提供转接服务；其他城市根据网络环境情况设置“新型”交换中心，通过设置交换节点解决多方ISP接入并实现互通、实现本地流量的疏导。两种方式相结合，分层次疏导各互联单位的网间流量，实现“多层次、全方位、立体化”的目标架构。

未来我国互联网实现互联互通将会是以骨干直联点+“新型”交换中心为主要方式。怎样将建成的骨干直连点与“新型”交换中心有机结合，既能避免浪费资源，又能合理的发挥各自的优势，形成网络架构先进、建设方式合理的网间互联互通方式是我们需要不断研究的课题。