面向网络通信的高实时压缩引擎设计*

任秀江，王 磊，周建毅，谢向辉

(1.江南计算技术研究所,江苏 无锡 214083;2.数学工程与先进计算国家重点实验室,江苏 无锡 214125)

1 引言

现代高性能计算系统由高性能处理器和高性能互连网络两大主要组件构成。近些年来，随着微电子集成电路工艺的迅猛发展，单硅片上可集成的电路数量越来越多，极大地促进了以GPU(Graphics Processing Unit)、Xeon Phi为代表的新型高性能众核处理器的发展，推动着处理器性能持续按照摩尔定律发展，将单个计算结点的计算能力提高到了前所未有的高度。例如，NVIDIA的最新GPU芯片Tesla K80能够提供2.91 TFLOPS的双精度浮点计算性能[1]，Intel最新款的Xeon Phi 7120X的峰值性能也达到了1.238 TFLOPS[2]，应用于“神威太湖之光”的国产申威26010众核处理器双精度浮点峰值性能超过3 TFLOPS[3]。而在互连网络方面，受限于Serdes工艺的发展，互连网络的带宽每年以大约26%的速度提高，远低于处理器性能59%的提高速度。有研究预计，到2020年，远程结点的访存延迟将达到惊人的670 000个FLOPS的执行时间，而带宽只能达到0.05 b/FLOPS[4]。互连网络的延迟和带宽已成为制约高性能计算机性能提高的瓶颈之一[5]。

为提高互连网络性能，已经有很多研究人员从不同角度做了大量工作，比如高效的新型网络拓扑结构、均衡的网络负载算法、提高链路传输工艺等方面。本文从减少网络注入数据量的角度出发，对高性能互连网络通信中的数据压缩技术进行研究，基于数据相似性原理，给出了一种高性能的实时压缩网络传输引擎设计，在发送端进行数据压缩、接收端进行数据解压缩，实现了对用户透明的硬件压缩数据通信方式，通过减少网络传输数据量来降低网络负载。……