数据中心的高速光互连技术

余建军 方凯博

摘要：介绍了数据中心的高速光互连技术的最新进展，重点关注新型调制和解调技术。为了降低成本，需要采用低带宽光电器件，高级QAM调制和直接检测将可能用于高速光互连技术中。同时介绍了中兴通讯近年来在这方面的研究进展，包括最先采用直接检测实现了4x128 Gbit /s信号传输距离超过300 km的实验。

光互连；调制格式；直接检测；相干检测

In this paper， the recent progress on high-speed data center interconnection is summarized， and the modulation formats and detection schemes are introduced in detail. In order to reduce the bandwidth of the optical/electrical components， high-order quadrature amplitude modulation （QAM） modulation and direct detection will be employed in these high-speed systems. ZTEs recent research results on this area including a world record of 4x128 Gbit/s signal transmission over 300 km standard single model with direct detection are also introduced.

optical interconnect； modulation format； direct detection； coherent detection

随着物联网、虚拟现实和人工智能（AI）的涌现，互连网的发展已经到了一个新的阶段，其中大数据和云计算是2个最具有代表性的产物。作为信息资产，大数据正在越来越多的领域中体现出价值和重要性。云计算是与大数据密切相关的计算方式，通过这种方式，共享的软硬件资源和信息可以按需求提供给计算机和其他设备，使得原来难以在单台计算机上处理的大数据能够得到充分挖掘和利用。作为云计算的核心支撑平台，数据中心的发展需求变得越来越迫切。现在的数据中心无论是数量还是性能，都远远不能满足当今社会的需求。绝大多数大数据的处理和计算都是在数据中心进行的。根据《Cisco全球云计算指数白皮书》，到2019年，全球通信流量的99%都是和数据中心相关的。其中，大部分数据通信依然集中在数据中心内部[1-6]。

由于数据量的爆发和网络流量的迅速增长，数据中心正在从10 G/40 G朝25 G/100 G/400 G架构升级。传统的电互连难以满足数据中心日益增长的传输带宽和传输速率的要求，这就为光互连带来了巨大的机遇。光传输具有大带宽和长距离传输的优点，它的主要应用场景是在两点之间提供大带宽的信息传输通道，所以在诞生之初，主要应用领域是长途干线网。在数据中心之间以及数据中心内部采用光互连，将极大地提升数据中心的数据处理和运算能力。在如今的数据中心网络中，几乎每个连接都采用了光互连技术，包括数据中心内部距离几米的服务器和交换机之间的连接[5]。

而单纯只是数据中心数据流量的增长并不能让物联网真正受益，只有众多的数据中心之间形成互连互通才有可能造福于物联网下的数据传输。可扩展数据中心架构满足了现代化超大规模数据中心架构东西向流量的增长，使得数据中心互连成为可能。大量的数据流量将利用光传输进入到数据中心，数据中心之间共享信息云端数据，使得光传输将不仅用于数据中心内部的数据传输，也将用于数据中心之间的互连。由此光传输在数据中心光互连市场上的规模将远远超过电信运营商。

1 数据中心内的光互连技术

對于数据中心内部互连来说，最理想的互连方式是每一台服务器都与所有的其他服务器相连接，这样一来应用层的软件就不需要与负责计算任务调度的中心机进行通信。然而，这样的网络结构将会极为复杂而且成本异常高昂。在实际中，数据中心采用的是拓扑分层结构，集群之间的互连通过分组交换网络汇聚而成。并行光传输技术是数据中心内部通信的重要方式，这种传输方式不仅能够大大提高通信速率，而且结合了大规模网络架构中的并行数据通道结构，数据处理速度也有很大的提升。短距离的光连接通常采用垂直腔面发射激光器（VCSEL）。与其他类型的激光器相比，VCSEL具有低成本和低功耗的优势，容易实现电信号和光信号的速率匹配，而不需要昂贵的高功耗器件来进行数据速率转换。这种方式的缺点是：媒体传输协议（MTP）/多光纤连接跳线（MPO）光纤终端器件相对比较昂贵，而且需要带状光纤来实现和外部的互连。为了达到更高的传输速率，降低单位比特的传输成本，光集成电路（PIC）和波分复用（WDM）技术的应用逐渐成为主流。

为了满足数据中心持续增长的带宽需求，数据速率、器件功耗和空间密度都需要有大规模的提升。在未来的几年内，数据中心的光收发机速率将会提升4倍，而功耗和空间占用则保持不变。传统的二进制启闭键控（OOK）调制方式在VCSEL中可以达到20 Gbit/s或以上的速率。为了实现更高速率的传输，需要对光电器件的带宽和色散性能提出更高的要求，同时需要新的技术应用于短距离光连接中。这些新的技术包括色散补偿、低功耗集成硅光电路，以及新的并行多通道技术的演进。

并行通道技术包括多纤技术和多波长技术。在发射端，电信号经过驱动电路来对激光器阵列进行调制，产生并行多路光信号，然后这些光信号经过耦合后送入光纤中进行传输。在接收端，光信号通过光电探测器阵列转换为电信号，再由接收机电路对电信号进行恢复。一般来说，短距离100 Gbit/s的光互连可以采用了4 x 25 Gbit/s的并行通道，主要包括3种技术：短距离光模块（SR4）、4级脉幅调制（PSM4）和粗波分复用系统（CWDM4）。其中SR4和CWDM4是多模传输技术，SR4应用于850 nm的VCSEL激光器阵列中，使用MPO多模光纤作为传输通道，包括8根双向多模光纤；PSM4同样使用8根双向光纤，但均为单模光纤，基于分布式反馈激光器（DFB）的PSM4系统传输距离可达到500 m；CWDM4则使用4个不同的波长作为并行数据通道，同样基于DFB激光器和单模光纤，但传输距离可以达到2 km。这种方式减少了光纤的数量，降低了链路的成本；但对激光器的特性提出了更高的要求，且光收发机需要波分复用（WDM）复用器和解复用器。总体来说，光互连的成本包括光收发机的成本和光纤链路的成本。在以上的几种技术中，SR4具有最低的光收发机成本，但光纤链路的成本最高；CWDM4则将光纤链路的成本降到了最低，但光收发机成本最高。单模技术能够实现更远的传输距离，但光收发机比较昂贵；多模技术则能够使用成本低廉的收发机，但传输距离会受到限制。具体使用哪种技术需要综合考虑多种因素，除了性能和成本之外，空间大小、使用寿命以及对未来技术的兼容性都是非常重要的几个方面。

100 Gbit/s之后的下一个以太网速率很有可能是400 Gbit/s。IEEE 802.3在2014年启动了400 Gbit/s以太网研究组，定义400 Gbit/s以太网标准。400 Gbit/s以太网物理层对多模光纤以及单模光纤的距离目标和100 Gbit/s一样。有多种方法可以使光通道达到400 Gbit/s：一是可以增加通道速率，如提高符号速率或调制阶数，50 Gbaud的PAM4信号可以不改变现有通道数就可以实现400 Gbit/s；二是增加光纤数，如在现有25 Gbit/s通道速率的基础上，采用16根光纤可以达到400 Gbit/s；三是增加波长，如在PSM4基础上，每根光纤4个波长就可以实现400 Gbit/s。不论采用哪种方法，400 Gbit/s的单位比特的成本和功耗应该比100 Gbit/s的低。

2 调制和探测技术

先进的调制格式、数字信号处理算法（DSP）以及编码技术将会成为光通信网络下一步发展的趋势[7-13]。然而，对于数据中心来说，由于面对的场所和需求有所不同，面临的工程问题与长距离光纤通信网络不一样，因此需要特殊的光互连解决方案。例如：数据中心的应用对于物理层的时延要求较高，通常少于100 ns，这就限制了前向纠错码（FEC）和DSP算法的应用；数据中心通常拥有数量庞大的高速率接口，因此要求光器件具有低能耗、小尺寸；在数据中心内部大量地部署光纤链路，则要求成本在可以接受的范围。所有这些因素的考虑都将会影响数据中心光互连技术的选择和应用。

对于光信号来说，可以进行数据调制的物理量有4个：强度、相位、频率和极化模式，在此基础上发展出来的调制方式主要有强度调制、正交幅度调制（QAM）以及极化复用的强度/相位调制[13]。最简单的强度调制格式是二进制强度调制即OOK，每个传输符号携带1 bit信息。随着光器件的发展，高阶的强度调制格式已经应用于光通信中，如PAM中的PAM4、PAM8，部分响应PAM（PR-PAM）和离散多音调制（DMT）等，这些高阶的调制格式具有更高的频谱效率，每个符号可以携带更多信息，因此能够减小带宽的开销，适用于高速率的业务需求。QAM则是一种强度-相位联合调制格式，根据调制生成的星座点数可以分为正交相移键控（QPSK）、8-QAM、16-QAM、64-QAM等，目前已可实现高达1 024-QAM的调制[12]。在高阶的QAM调制中，每个符号所包含的信息量遠大于高阶强度调制格式，因此将有巨大的应用前景。另一种常用的强度-相位联合调制是无载波幅相调制（CAP），它是以QAM技术为基础发展起来的一种调制技术，主要应用于短距离的高速数据接入系统中[9]。

接收端的探测或检测技术是将光信号变换为电信号的技术，一般在接收端使用光电二极管（PD）来实现光电转换的过程[7-13]。根据接收端是否使用本震光源与接收光信号进行拍频，可以将光检测技术分为直接检测和相干检测。直接检测仅仅对接收光信号的幅度信息进行检测，而相干检测能够将光信号携带的幅度和相位信息完整地恢复出来。

对于直接检测方案，相对应的调制格式为强度调制，因此形成强度调制/直接检测（IM/DD）的结构[7]。图1是一种基于直接调制激光器（DML）的100 GE IM/DD光传输系统结构。IM/DD系统具有低成本、低功耗、小尺寸、结构简单等优点，易于集成在光模块中，对于短距离光通信是理想的选择。数据中心的城域网和内部互连主要采用的是直接检测方案，目前已经比较成熟。

相干检测的方案适用于所有的调制格式，而且能够对正交极化调制的信号进行解调，大大提高了频谱效率[2]。由于使用本震光载波，接收机的灵敏度远远超过直接检测方案，能够实现远距离通信。更重要的是：可以对发送端和接收端的信号使用数字信号处理技术，对系统的线性和非线性损伤进行补偿，如色散补偿、信道预均衡和非线性补偿等，从而提升了系统性能。另外，在系统中使用复杂的编解码技术成为可能，系统的容量可以接近香农极限。由于复杂的编解码技术成本较高，实现较为复杂，一般应用于长距离骨干通信网络中。数据中心的城域网使用相干检测技术能够大大延长通信距离，而且高阶调制格式的应用使得单位比特的传输成本得以降低。使用相干通信技术可以实现单载波400 Gbit/s的速率，是下一代以太网标准的重要候选方案[7]。

3 相关研究进展

中兴通讯在高速DMT、PAM4以及无载波幅相调制（CAP）技术的直接检测和相干检测方面进行了多年的研究。采用DMT调制和直接检测，我们实现了创纪录的320 km标准单模光纤传输；采用镜像取消算法，我们实现产生了创纪录的300 Gbit/s DMT信号产生和直接检测；采用非线性补偿和多输入多输出（MIMO）算法，我们实现了200 Gbit/s DMT信号传输超过160 km。我们也系统地比较了112 Gbit/s的DMT、PAM4和CAP信号在器件带宽受限和不受限情况下的传输性能，结果显示：在光电器件带宽不受限的情况下它们的传输性能基本一致；但当带宽受限时，DMT性能略微好一些。我们采用先进的MIMO算法实现了CAP信号传输超过480 km的传输纪录。在高级QAM DMT信号产生和直接检测方面，我们采用～10 GHz的光电器件实现了128 QAM 120 Gbit/s的DMT信号产生和直接检测，这是业界最先采用10 G器件实现100 G信号产生和直接检测，基于这个结果OFC2017组委会专门写了一个3页的新闻进行报道我们的进展。表1总结了最近数据中心光互连的创纪录结果。

4 未来展望

作为数据中心的关键因素，光模块具有广阔的发展前景。40 G到100 G的互连迫在眉睫，与此同时，超100 G的标准制定也进行得如火如荼，而且一些可行方案也随之提出。为确保这些方案能满足未来数据中心在成本和功率方面的需求，更多的光模块新理念是必须的。目前，生产制造光模块的成本上，封装成本和光电芯片成本占了整个光模块80%～90%的比例。使用开放光模块，可以很大程度上降低成本。另一方面，把光模块变成一个不与系统设备捆绑在一起的独立部件，可使数据中心客户能够选择一个最适合自己的互连方案，有利于找光模块厂家做定制化的特性，实现针对性的运维管理。

到了下一代100 G和400 G的网络，高速信号的实现变得越来越难。总体来说，在光纤链路中提升带宽的方式有2种：第1种是提高每个通道的比特速率，第2种是增加通道数。提升比特速率有2种方式：第1种是直接提升波特率；第2种是保持波特率不变，使用更高阶的调制编码格式。到了10 G以上的速率，由于色散和非线性的影响，提升波特率较为困难，因此，使用高阶调制编码格式成为首选方案。增加通道数的方式有增加波长通道和增加光纤通道，而这会带来成本的增加。

根据阿里巴巴在开放数据中心委员会（ODCC）2016年峰会上的报告，未来的100 G接入方案大概会有3代的演进过程：第1代即为目前阶段的100 GE以太网，为4×25 G实现方式；随着下一代IC芯片的发展，第2代将会变成2×50 G的方式；到了第3代，将能够直接实现单通道100 G。

到400 G的解决方案，发展分为4代，通常来说光的速率提升比电快一点：1代现在已经有产品出现，就是用低功耗联盟接口8（CPF8）这样的光模块封装，电信号采用16×25 G，而光信号采用16×25 G和8×50 G的FR8和L8的方案。第2代电信号速率升级到50 G，采用8通道。光信号传输采用单模光纤的FR8和LOR8方案，电信号和光的速率完全配合上。第3代的电信号还是50 G，光可以提升到100 G，将有3种方案。第4代从电到光都提升到单通道100 G。为了实现单通道400 G甚至更高速率，相干探测技术将会有广泛的应用需求。目前光联网论坛（OIF） 已经开始立项研究这一标准并命名它为400 ZR，估计这一立项内容很快成为标准。

参考文献

[1] LAM C F， LIU H， KOLEY B， et al. Fiber Optic Communication Technologies： What's Needed for Datacenter Network Operations [J]. IEEE Communications Magazine， 2010， 48（7）. DOI： 10.1109/MCOM.2010.5496876

[2] SCHUH K， BUCHALI F， IDLER W. Single Carrier 1.2 Tbit/s Transmission over 300 km with PM-64QAM at 100 GBaud [C]//Optical Fiber Communication Conference 2017. USA： OFC， 2017. DOI： 10.1364/OFC.2017.Th5B.5

[3] 谢崇进. 数据中心光通信技术[J]. 电信科学， 2017， 32（5）： 44-51

[4] YUBOMIRSKY I， LING W. Advanced Modulation for Datacenter Interconnect[C]//Optical Fiber Communication Conference. USA： Optical Society of America， 2016

[5] KACHRIS C， KANONAKIS K， TOMKOS I. Optical Interconnection Networks in Data Centers： Recent Trends and Future Challenges [J]. IEEE Communications Magazine， 2013， 51（9）： 39-45. DOI： 10.1109/MCOM.2013.6588648

[6] 張国颖，陈秀忠，吴庆伟，等. 云计算数据中心光互联技术及应用趋势[J]. 电信网技术， 2013， （12）： 29-33

[7] WANG Y， YU J， CHI N. Demonstration of 4 x128-Gb/s DFT-S OFDM Signal Transmission over 320-km SMF With IM/DD [J]. IEEE Photonics Journal， 2016， 8（2）： 1-9. DOI： 10.1109/JPHOT.2016.2545642

[8] WANG Y， YU J， CHIEN H -C， et al. Transmission and Direct Detection of 300-Gbps DFT-S OFDM Signals Based on O-ISB Modulation with Joint Image-Cancellation and Nonlinearity-Mitigation[C]// ECOC 2016 - 42nd European Conference on Optical Communication. Deutschland： VDE， 2016：1-5

[9] SHI J， ZHOU Y， XU Y， et al. 200-Gbps DFT-S OFDM Using DD-MZM- Based Twin- SSB with a MIMO-Volterra Equalizer [J]. IEEE Photonics Technology Letters， 2017， 29（14）：1183-1186. DOI： 10.1109/LPT.2017.2702602

[10] SHI J， ZHANG J， CHI N， et al. Comparison of 100G PAM-8， CAP-64 and DFT-S OFDM with a Bandwidth-Limited Direct-Detection receiver[J]. Optics Express， 2017， 25（26）：32254-32262. DOI： 10.1364/OE.25.032254

[11] SHI J， ZHANG J， ZHOU Y， et al. Transmission Performance Comparison for 100-Gb/s PAM-4， CAP-16， and DFT-S OFDM With Direct Detection[J].Journal of Lightwave Technology， 2017， 35（23）： 5127-5133

[12] SHI J， ZHANG J， LI X ， et al. 112 Gb/s/λ CAP Signals Transmission over 480 km in IM-DD System[C]//Optical Fiber Communication Conference. USA： Optical Society of America， 2018： W1J. 5

[13] LI F， CAO Z， LI X， et al. Demonstration of Four Channel CWDM 560 Gbit/s 128QAM-OFDM for Optical Inter-Connection[C]//Optical Fiber Communications Conference and Exhibition （OFC）. USA：IEEE， 2016：

W4J. 2