论数据中心设备光互联技术及发展

俞兴明，张红花，芦国斌，范海键

(1.苏州市职业大学 电子信息工程学院，江苏 苏州 215104；2.江苏通鼎宽带有限公司 技术部，江苏 苏州 215200)

随着信息化社会的快速发展，大数据、云计算、物联网、人工智能已经极大地影响着人们的工作和生活。即将到来的5G移动通信，还有银行、税务、医院、电商、大中型企业等各行各业都将依赖数据中心的支撑，数据中心就是今后社会信息系统的数据仓库和心脏。数据中心的功能、容量、处理及传输速度等指标将直接影响到现代信息系统能否满足应用的需要，建设高效、安全可靠、绿色节能的数据中心是现代信息社会建设的基础。

1 数据中心的结构

数据中心(data center，DC)的结构秉承网路分层、功能分区、服务器分级和前后端网络隔离的设计理念[1]。从网络层次和功能区域上分，数据中心内的网络结构分为核心层、汇聚层和接入层三层。数据中心的功能分区结构如图1所示。

1) 接入层由各功能设备和接入交换机组成。提供主机和服务器在数据中心中的接入，支持主机端口的访问控制，具有高密度的接入能力，为用户提供网络访问功能及相关网络服务。

2) 汇聚层一般由交换机组成。提供接入层各功能分区的基于策略的汇聚，集中实现接入控制和安全控制。

3) 核心层由核心路由交换机组成。通常数据中心L2/L3层的分界在汇聚层，是整个数据中心局域网的高速交换中心。主要负责高速处理数据流，提供节点与节点之间的高速数据转发，优化传输链路，实现安全通信。

图1 数据中心的功能分区结构

2 数据中心内的光互联

2.1 数据中心的布线区域

随着数据中心功能的越来越多，机房范围也日益扩大，数据中心内布设了很多弱电系统，如网元设备间的通信互联、闭路监控、环境动力监控、门禁KVM等子系统。本研究重点研究网元设备间的通信互联子系统。

数据中心的主要网元设备有主机(服务器)、磁盘阵列存储器、接入交换机、汇聚交换机、核心路由交换机等，还有为了连接这些主要设备的光(电)线缆的配线架(箱)等。网络设备之间的通信互联构成了综合布线的通信子系统。通信互联子系统的布线按功能区域分为主配线区(MDA)、水平配线区(HDA)、区域配线区(ZDA)及设备配线区(EDA)[2]，如图2所示。MDA处于数据中心网络的核心层，包含核心路由器、核心交换机、核心存储交换机等；HDA对应于数据中心网络的汇聚层，主要设备是汇聚交换机；ZDA 是一个区域范围内的网络系统，如磁盘存储阵列与接入交换机之间构成的存储区域网络(SAN)就是一个区域网络。EDA处于接入层，主要设备是主机、服务器、存储器、KVM等，设备配线在机柜内连接。

1) 在设备配线区(EDA)，服务器与接入层交换机的下行端口相连，上行端口与汇聚层交换机相连，上行端口的传输速率要比下行端口高一个数量级，如下行端口为1 Gbit/s，则上行端口为10 Gbit/s。接入层交换机的上行端口为光口(光模块接口)，下行端口与服务器连接时可采用光口，如果距离小于30 m也可以采用电口，用Cat.6A类双绞线连接。

2) 在水平配线区(HAD)，汇聚层交换机的下行端口连接接入层交换机的上行端口，上行端口连接核心层路由交换机，其带宽容量必须是下行端口的三倍以上，才能保证不发生网络阻塞现象。也即汇聚层交换机下行端口如果为10 Gbit/s，上行端口必须达到30 Gbit/s以上，一般为40 Gbit/s光口配置。

图2 数据中心通信互联子系统

3) 在主配线区(MDA)，核心层主要功能是实现数据包高速交换，是所有流量的最终汇聚点和处理点，并提供接入广域网链路。核心层路由交换机一般采用高性能的多层模块化交换机。目前，核心层路由交换机通过增加冗余链路来增加带宽，路由器可以为多个链路和路径提供负载均衡功能，从而提高数据的转发效率，目前总带宽达到100 Gbit/s。

2.2 数据中心中的光纤及布线形式

数据中心网元设备间的互联较多采用多模光纤。虽然多模光纤的价格比单模光纤贵，传输带宽没有单模光纤高，衰减也比单模光纤大，但由于多模光纤的光收发器相对廉价，使得室内多模光纤通信系统比单模光纤系统有很大的综合成本优势。2010年6月新的40/100 G以太网标准IEEE802.3ba发布后，为多模光纤在数据中心中的应用带来良好的开端[3]。多模光纤有最早的OM1、OM2种类，采用VCSEL激光器优化后发展了OM3和OM4，现在已发展到了OM5阶段。从OM1到OM5，不仅衰减和色散得到优化，带宽也是逐步升级，特别是OM5光纤在850～950 nm光波长范围内都具有高的带宽性能，是未来数据中心中实现波分复用传输的最佳传输介质。10 G、40 G、100 G速率多模光纤网络的传输距离和最大通道衰减要求如表1所示。

1) 数据中心中对于10 G速率的光链路，采用一对(两芯)光纤跳线和单波长10 G 收发光模块(如SPF+模块)就可解决，或者用10 G的有源光缆(AOC)解决。

2) 对于40 G速率的光链路，IEEE802.3ba标准40 G Base-SR4网络形式采用8芯OM4光纤并行4收4发，双向最远传输距离不超过120 m 来实现。

3) 对于100 G速率的光链路，可按照100 G Base-SR10协议，采用20芯多模光纤，10芯并行发送，10芯并行接收[4]。

M P O/M T P 跳线及连接器形式如图3 所示。MTP是MPO的改进型，多芯光纤连同MPO/MTP连接器组成MPO/MTP跳线，连接于相应网元设备区域配线架两端构成高速光通信链路。

表1 各传输速率光接口传输协议类型及最大传输距离

图3 MPO/MTP跳线及连接器形式

2.3 数据中心的光模块

光模块是光纤通信系统的重要组件，用于实现光信号的产生、发送和接收。数据中心使用的光模块的数码位速率从2010年前的1 G到现在普遍使用的10 G，目前正热门的是40 G、100 G，不远的将来即将使用200 G、400 G。由于中大型数据中心内设备距离大部分在500 m之内，设备之间互联一般采用多模光纤(OM3、OM4)，光模块内光源以采用VCSEL激光器作为发射光源和采用PIN作为光接收器居多。目前接入层中的服务器与接入交换机之间光互联主要采用10 G光模块，用单波长双纤双工的光模块就能实现，常用的10 G光模块采用SFP+封装，具有体积小和可热插拔的特点。

1) 目前从接入交换机上端口到汇聚交换机端口主要采用40 G端口，2013年开始规模部署QSFP+的40 G光模块，构成40 G BASE-SR4以太网，其中的光模块内有4个光发射器和4个光接收器，光模块的光接口上插有12芯多模光纤的MPO/MTP连接器，其中4芯发4芯收，4芯为空位，如图3(a)所示。

2) 从汇聚层上交换机上端口到核心层路由交换机现在采用100 G端口比较热门，开始时采用CPF2封装100 G的光模块，该模块符合100 G Base-SR10规范要求，提供10路并行数据通道，每通道传输10 G，采用20芯OM3或OM4多模光纤并行传输，模块接口采用24芯MPO插件接口，10芯发10芯收，最边上的4芯不启用，如图3(b)所示。

3) QSFP28是最新的100 G以太网组成元器件，因为它与CPF2相比，尺寸更小、功耗更低，使用光纤更少。因此，100 G BASE-SR10这种网络形式已慢慢退出市场，2017年开始数据中心中常采用100 G BASESR4接口的QSFP28光模块[5]，内部结构原理如图4所示。采用8芯OM4多模光纤并行传输，模块接口采用12芯MPO，4芯发4芯收，每芯通道支持25 G，中间4芯不启用，与40 G BASE-SR4接口保持一致，如图3(a)所示。

3 数据中心光互联技术的发展

随着光纤技术及通信光电子器件的快速发展，数据中心内网络设备的光互联技术也正向着速度更快、容量更大、尺寸更小、使用光纤更少、功耗更低的方向发展。服务器接入层，预计2019年开始将尝试100 G，并根据产业发展情况，在2020年或稍晚开展规模部署。100 G服务器接入将考虑100 G SFP-DD封装方案的AOC线缆。交换机互连部分，2017年规模部署QSFP28的100 G光模块以取代QSFP+的40 G光模块；100 G还将考虑多模SWDM4和单模CWDM4/PSM4技术；在2018年国际OFC大会上已示范了单波长的100 G QSFP28模块。到2019年400 G即将登场，QSFP-DD，CFP2-DCO是具有代表性的模块[4]。板上封装光模块(COBO)技术在 400 G 是切入点，将面向 800 G 以上[5]。

在光纤技术上，为了支持新出现的SWDM4短波分复用和BiDi双工双波长应用，ISO/IEC和TIA于2017年分别发布了IEC60793-2-10 A1a.4b和 TIA-492AAAE宽带多模光纤OM5的技术标准[6]。OM5具有4个通道，在横向上延展了OM3、OM4光纤所支持的波长范围，另外增加了953 nm波长上的带宽要求，使OM5传输能力提高了四倍[7]；ISO将OM5光缆的衰减比OM3、OM4光缆更低；而且OM5光纤具有更低的色散。采用OM5光纤不仅能大大减少数据中心互联的光纤芯数，而且能提升传输距离。采用OM5光纤既能兼容原有的传统并行光模块，又能支持双工传输的光模块。因此，从数据中心总体投资成本、投资回报和风险控制的角度来看，OM5光纤将是今后新建数据中心光互联首选的传输介质。