上海交通大学高性能计算建设的理念与实践

林新华， 顾一众

（上海交通大学高性能计算中心，上海 200240）

0 简 介

上海交通大学（以下简称上海交大）的高性能计算在过去10多年间，经历了一个“合久必分、分久必合”的过程［1］．随着校内各院系对计算需求的猛增，2002年－2003年上海交大连续购入2台超级计算机作为校级平台．之后随着廉价服务器集群（Cluster）的流行，各院系自己纷纷购入中小规模集群．但这些集群最终大多疏于管理，利用率低．有鉴于此，上海交大在2012年初成立校级高性能计算中心（以下简称中心），挂靠校网络信息中心，为全校提供高性能计算的公共服务．

中心建立伊始，就面临诸多挑战：1）经费有限，该如何设计一台架构合理、并能满足校内未来3～5年计算需求的超级计算机；2）中心该如何公平分配机时资源；3）院系的高性能计算教育日渐式微，中心该如何肩负起培养高性能计算专业紧缺人才的重担；4）如何与国际一流大学的高性能计算中心开展长期合作．

本文将着重介绍中心应对这4个挑战时所秉承的理念与实践的情况．我们的工作有两个亮点：一是在经费有限的情况下，基于异构计算技术，设计并建成了国内高校最快的超级计算机π（以下简称π．命名为π有4层含义：1）π在希腊文里有并行的涵义；2）π是无限不循环的无理数，是人类理解无限的开始；3）π的精确计算是人类使用计算机解决科学问题的代表；4）π可以看做为交通大学首字母J和T的组合），预计可以满足校内3～5年的计算需求．二是在国内率先提出开放运维的理念，在网上公开π的实时利用率等信息，并采用类似美国能源部INCITE项目［2］的方式公平分配机时资源．

1 基于异构计算，设计并建成国内高校最快的超级计算机π

异构计算是指使用NVIDIA GPU加速卡（以下简称GPU）或Intel Xeon Phi协处理器（以下简称MIC）来进行高性能计算．与单纯使用CPU相比，异构计算在能耗比和性价比上都有很大优势．目前全球最快的500台超级计算机中有约1／3的计算能力来自于异构计算（GPU或MIC）．异构计算已然是大势所趋．美国能源部劳伦斯国家实验室副主任Horst Simon博士在2013年曾预测［3］：在2020年左右建成的ExaScale超级计算机将极有可能基于异构计算．

但在2012年设计π之初，很多人对异构计算还心存疑虑．虽然当时GPU已经在一些超级计算机上部署了，有些还名列前茅，但实际利用率并不高．因此不少人认为GPU是只能用作LINPACK［4］测试的“玩具”部件，没有实用价值．我们本着谨慎的态度，经过充分的调研，认为虽然基于Fermi架构的GPU存在一些问题，但基于Kepler的下一代GPU在体系结构上有革新性突破，可以投入实用．因此最终采用CPU与GPU性能1：1的比例来设计π．π的配置如表1所示．为了满足不同应用的需要，计算结点有4种不同类型：1）332个纯CPU结点，每个结点有2颗CPU，配64 GB内存；2）50个GPU结点，每个结点再加2块GPU卡；3）5个MIC结点，每个结点再加2块MIC卡；4）20个大内存结点，每个结点内存增加至256 GB．

表1 π结点配置参数Tab．1 Configuration ofπnodes

π峰值计算能力为262．6 TFlops，LINPACK实测达到196．2 TFlops，其中约有一半的计算能力来自于GPU．2013年6月建成时世界排名［5］为158，目前为全球251，国内高校第1，上海地区第1．

π于2012年进行公开招标，最终浪潮公司中标．2013年1月中心与浪潮签订π建设合同，4月中旬完成机房改造和整机组装．5—6月间进行整机调试．7月份开始试运行，期间经受了上海高湿度的黄梅雨季和近一百年来最炎热夏天的考验．10月下旬举行正式运行仪式．2014年1月1日起收费运行．图1所示的是π从试运行到2014年5月的机器使用率．其中130 T的CPU结点利用率用蓝线表示，130 T的GPU结点用绿线表示，20个大内存结点用黄色线表示．

图1 π机时利用率统计

从图1中可以看出：

·CPU结点和GPU结点的利用率在50%～80%之间，这表明整机利用率处于一个“健康”状态．

·GPU结点与CPU结点几乎持平，这表明Kepler架构的GPU能很好支持真实应用．

·2013年10月下旬正式运行仪式之后到2014年1月1日收费之前，机器已调试到稳定状态且尚未收费，因此利用率达到高峰．

·2014年1月1日收费之后的2个月间，机器利用率显著下降．主要原因是寒假期间无法及时处理用户的缴费合同．新学期伊始，随着合同陆续签订，利用率迅速回升并接近至年前水平．这表明π机时定价合理，收费没有影响利用率．

·大内存结点的利用率较低，或与应用类型和收费标准有关．还需观察一段时日，待找出原因后再做调准．

图2所示的是从2013年6月至今π上使用机时最多的应用统计，从中可以看出：

图2 π上使用机时最多的应用

·π上的应用领域主要集中在分子动力学（Gromacs和LAMMPS）、物理（Particle－incell）、计算流体力学（OpenFOAM）这4大类，其中前三者已经或者有可能运行在GPU上．

·Gromacs和LAMMPS分别在运行在CPU上和GPU上，这是因为有些算例在GPU版本上计算结果的不准确．这个问题可能会在后续版本中得到改正．

·CPU版本的自研代码（In－house codes）相较GPU版本的更容易开发，因此整体比例也更高．

2 开放运维，透明管理

之前依托于院系的2个校级平台，因为机时资源分配不合理，最终不能有效服务全校．前车之鉴，中心在国内率先提出了开放运维的理念，即公平分配机时资源，公开运维信息，透明化管理．

π机时资源的分配，坚持面向重点和广泛受益相结合的原则．优先保证对大规模计算的需求，特别是冲击国际前沿水平、涉及重大基础理论研究或涉及国民经济重大应用的国家级课题；其次尽可能满足校内科研和教学中的中小规模计算需求．为此上海交大在国内第一个引入了类似美国能源部INCITE项目［2］的申请制来分配π上60%的计算资源．中心从各院系聘请了6位熟悉高性能计算的教授加上中心的1位员工组成用户委员会．用户在申请π机时时需要根据用户委员会的规定撰写申请，格式类似于自然科学基金申请，中英文皆可．获批用户可以以半价获得奖励的机时．用户委员会在每年的7月和12月各评审1次．2013年7月收到申请19份，获批15份，奖励机时2100万小时．2013年12月收到申请10份，获批7份，奖励机时335万小时．所有用户委员会批准的项目信息简介都放在中心网上，供大家参考和监督．同时，对于不愿写申请或错过申请时限的用户，也可以直接向中心申请，成为标准用户，不过机时不享受半价优惠．

主动公开π的信息，不仅有利于与国际一流大学的超算中心接轨，更是为了获得用户的信任和理解．中心专门为π建立了一个网站［6］．上面不仅有软硬件配置信息、用户登录和运行程序指南等常规信息，还提供了实时资源利用率．用户可以实时查看当前π上每个结点的资源利用率．方便用户选择相对空闲的结点队列提交作业．中心还提供了运维日志，小到内存故障，大到文件系统错误都放在网上公开．用户了解这些信息之后也会理解运维一台超级计算机的不易．

3 注重兴趣培养，以研究促教学

天河2号连续3次登顶TOP500，表明中国在超级计算机研制上已经可以和美、日并驾齐驱．但随之而来，“软”“硬”发展不平衡的趋势就越来越明显，高性能计算专业人才的缺口也越来越大．与中山大学不同，上海交大没法单独成立超算学院培养学生，并且高性能计算教育在院系也日渐式微，因此中心就成了为学校培养高性能计算人才的最后一个堡垒．

为了吸引优秀学生投身于高性能计算领域，就必须在教育理念有所革新．首先在教学目标上强调兴趣培养．高性能计算入门的门槛比较高，为避免学生被“吓跑”或是毕业后换方向，就不能仅仅是传授枯燥乏味的静态知识．因此中心培养研究生和本科生时非常注重激发他们对高性能计算的兴趣，例如动手实验，参加竞赛等．其次在教学方法上注重以研究促教学．高性能计算技术的发展一日千里，仅依靠若干经典教材照本宣科，不仅会让课程枯涩难懂，而且也离当下实用相距甚远．因此中心鼓励授课老师自己动手做研究，获取第一手经验，然后将其融入课堂中．

秉承这个理念，上海交大在2010年就开始在校内组织高性能计算系列讲座，每一两个月举办一次，邀请学术届知名学者和工业界资深工程师讲解高性能计算的前沿技术．累计参与讲座的师生已超过1000人次．中心同时还组织员工在2013年面向全校本科生开设国内第一门全英文的高性能计算导论课程．每年7月的暑期小学期，中心还邀请国外著名学者来上海交大授课．

中心这几年在教育上的持续投入也逐渐有了回报．2014年中心组织的本科生经过4个月集训，在全球大学生超算竞赛ASC14上获得总决赛冠军，并包揽了ePrize奖和最佳应用奖等单项奖．其中一位大四队员在备赛过程中对高性能计算产生了浓厚兴趣，毕业后赴美攻读该方向的博士．

4 寻求平等合作，提升国际影响

目前国内高校与世界一流大学合作时，经常会陷入“学术援助”的合作模式，高性能计算领域也不例外．这种模式中总是一方受益，因而很难长久．因此一方面要努力提高自身科研实力，另一方面要贯彻“求同补异”的理念，找准与这些世界一流大学合作的切入点．

以上海交大与剑桥大学的合作为例．两所高校在高性能计算中心上有着很多相似之处，可以相互借鉴，如表2所示．

表2 剑桥大学与上海交大在高性能计算上的相似之处Tab．1 Similarities between Cambridge U．and SJTU in HPC

此外双方也有互补之处．剑桥大学的CAE软件在GPU上应用很好，与Airbus、罗罗公司等都有合作，这对上海交大吸引更多校内工科用户很有借鉴意义．上海交大使用π上部署的SSD处理生物信息学相关的大数据，而剑桥大学2015年要设计1台大数据专用的超级计算机，π上的测试数据和中心积累的经验对剑桥大学也很有帮助．

秉承这个理念，我们在短短两年之间，已经在亚太地区与日本、韩国、澳大利亚和新加坡的国家超算中心建立了合作关系．

·日本：东京工业大学（拥有目前日本第二、前亚洲第一的超级计算机TSUBAME）

·韩国：KISTI国家超级计算中心（拥有韩国最快的超级计算机）

·澳大利亚：国家计算中心NCI（拥有南半球最快的超级计算机Raijin）

·新加坡：ASTAR CRC（拥有新加坡最快的超级计算机）

2013年11月中心还在美国丹佛举办的高性能计算领域顶级会议SC13上参加布展，展示和宣传上海交大的工作．这是国内第1次以高校名义参展SC万人大会．

5 结束语

上海交大在建设高性能计算中心的过程中，积极应对诸多挑战，并将理念付诸实践．设计并建成了国内高校最快的超级计算机π，并率先在国内提出开放运维的理念，采用申请制分配资源，公开机器信息．还注重学生培养，与国外一流大学开展长期合作，提升国际影响．

限于篇幅，还有一些重要的问题没有展开讨论，比如如何构建大（国家）－中（校）－小（院系）三级高性能计算体系；如何以高性能计算中心为轴心，开展校内多学科合作；如何可持续发展高性能计算中心等．这些问题同样值得重视与深入研究．

由于作者水平有限，对于高性能计算中心的建设也处于探索阶段，不妥之处，希望同行专家不吝批评指正．

［1］ 林新华．上海交大高性能计算中心的变迁经验［J］．中国教育网络，2010（1）：50－51．

［2］ DOE INCITE［EB／OL］．［2014－10－31］．http：／／www．doeleadershipcomputing．org．

［3］ SIMON H．No Exascale for You！［J］．TOP500，2013－05－15．

［4］ DONGARRA J，BUNCH J R，MOLER C，LINPACK user’s guide［M］．［S．L．］：SIAM，1987．

［5］ πin TOP500［EB／OL］．［2014－10－31］．http：／／top500．org／system／178187．

［6］ π［EB／OL］．［2014－10－31］．http：／／pi．sjtu．edu．cn

［7］ ICSC2014［EB／OL］．［2014－10－31］．http：／／icsc2014．sjtu．edu．cn．