面向高带宽I/O的片上网络优化*

石 伟,龚 锐,刘 威,王 蕾,冯权友,张剑锋

(国防科技大学计算机学院，湖南 长沙 410073)

1 引言

随着摩尔定律[1]的发展，单芯片上计算资源不断增加，I/O带宽与速率相对于高性能芯片计算性能的差距不断增大。如何提升处理器的I/O性能一直是高性能处理器设计及高性能计算机系统面临的重要问题[2]。随着云计算、AI、大数据和数据密集型计算的发展，I/O的性能问题更加突出[3,4]。

从功能角度，处理器的高性能I/O接口可以分为存储、通信和加速接口等几类。针对数据密集型的科学计算，应用程序在运行过程中需要读写的数据量达到TB甚至PB级[4]，这些数据需要通过I/O接口存入外部大容量磁盘等存储设备。针对超级计算机系统，各计算结点之间通常通过InfiniBand、以太网和OPA(Omni-Path Architecture)等接口进行互连[5]。随着加速器技术的发展，AI和GPGPU等加速模块通过PCIe[6]、CXL[7]和NVlink[8]等接口连接到处理器上。此外，对于高性能服务器，服务器芯片通过直连接口进行通信，比如CCIX[9]和UPI(Ultra Path Interconnect)[10]等。实际上，很多高性能处理器都实现了上述几种类型I/O高速接口，比如IBM的POWER9[11]、华为鲲鹏920和Intel 至强处理器[10]。

针对I/O的瓶颈问题，主要存在2类解决方法：第1类是从系统级进行优化。文献[12,13]通过优化系统软件或并行I/O库的方法提升I/O接口的使用效率，提升性能。文献[3,14]从应用的角度分析I/O行为及I/O效率低下的原因，进而进行有针对性的优化。第2类方法是对处理器接口直接进行优化设计，如提升接口的传输速率，实现更多的通道数或优化控制器的传输延迟。以PCIe协议为例，随着协议不断进化，目前主流的PCIe 3.0传输速率达到了8 Gbps，具有16 Gbps传输速率的PCIe 4.0已经成功应用于一些高性能处理器中[11,15]。……