杨 斌,王敬宇,刘世超,邵明山,肖 伟,陈 起,4,何晓斌,刘卫国,薛 巍
(1.山东大学软件学院,山东 济南 250101;2.国家超级计算无锡中心,江苏 无锡 214072;3.国家并行计算机工程技术研究中心,北京 100080;4.清华大学计算机科学与技术系,北京 100084)
随着世界各国在超级计算领域的投入不断加大,超级计算机技术迎来了飞速的发展,计算速度快速增长。一方面,计算能力的飞速提升,为人工智能、脑模拟等新兴应用,以及地球模拟、计算流体力学等传统应用的发展带来了巨大帮助;另一方面,众多特征各异的HPC(High Performance Computing)应用也对超级计算机的设计和部署提出了新的挑战。
超级计算机的核心存储系统往往是一个大规模并行文件系统,主要用来提供计算结点方面统一和共享的文件视图,并提供高吞吐的带宽。例如,神威·太湖之光[1]的Lustre[2]文件系统,底层共有144个盘阵,能提供10 PB的存储容量,最大吞吐率达到200 GB/s以上。近年来,为了匹配越来越快的计算速度,支撑不同HPC应用的需求,以大规模共享并行文件系统为主的超级计算机存储系统需要进一步升级,为此,新一代超级计算机的存储系统往往都会引入新型的存储设备、新的存储架构和新的软件栈,这也导致超级计算机的存储系统变得越来越复杂,例如,以神威·太湖之光[1]为代表的中间转发架构,以Summit[3]为代表的结点内Burst Buffer系统[4]等。多层级的存储架构、冗长的I/O路径和复杂的软件栈一定程度上提高了系统的性能上限,使其可以满足更多类型的I/O需求,但是也加剧了优化使用和管理等方面的问题。……