超级计算机通过以太网连接400PB存储系统

美国国家超级计算应用中心(National Center for Supercomputing Applications)正计划推出一个包含380PB磁带存储容量和由17000个SATA驱动器组成的25PB在线磁盘存储的存储基础设施。

这个大规模存储基础设施将用于支持世界上最大的超级计算机之一，被称为Blue Waters。由美国国家科学基金会(NFS)委托制造的Blue Waters预计峰值性能将达到11.5 petaflops，虽然NFS对其的要求是提供1 petaflop的应用程序持续计算能力。

美国伊利诺伊大学运行的NCSA已经与Cray公司签署了一份合同来建设这个超级计算机，该系统将运行一个Lustre并行文件系统，到其后端存储的吞吐量将超过1TB每秒。

Blue Waters项目将创造一个1 petaflop超级计算机来处理现实世界科学和工程应用。其中，这台超级计算机将帮助人类理解宇宙大爆炸后宇宙是如何演化的，帮助预测飓风和龙卷风的形成，并在新材料的设计中在原子水平上发挥重要作用。

这台超级计算机将包含超过235个使用380000个AMD Opteron 6200系列X82处理器的Cray XE6机柜，和超过30个最新推出的Cray XK6超级计算机(拥有3000个NVIDIA CPU)未来版本的机柜。该系统将包含来自19万个内存DIMM的1.5PB聚合内存。

为了支持所有这些计算能力，NCSA使用Cray Sonexion存储系统部署了25PB磁盘存储。Sonexion原本被称为Zyratex存储阵列，该系统通过40Gbps以太网从Extreme Networks提供高达1TBps聚合带宽。

“我们一直努力与网络供应商合作，以确保他们准备好迎接40千兆以太网，”NCSA负责存储和网络工程的高级技术项目经理Michelle Butler表示，“我们并不是第一个使用40Gbps以太网的，但是现在使用这个以太网的人并不多。”

Butler表示，使用40Gbit以太网网络的关键是将管道分成多个10Gbps以太网通道的能力，使NCSA将架构分散到多个端口。该以太网将被用于连接75台主机。

Butler表示，NCSA还选择了DataDirect Network的SFA 12K存储阵列提供100GBps存储性能来卸载数据到“近线”磁带库系统。该磁带子系统可扩展到500PB容量。

她表示：“该子系统能够卸载每秒万亿字节的文件系统，所以我们需要一个非常大的磁带基础设施来进行卸载。”

正在建设中的Blue Waters超级计算机

在主存储后面是四个Spectra Logic 17-frame T-Finity磁带库，磁带库将拥有366个240MB/sec 的IBM TS1140企业级磁带驱动器。该磁带库将提供高达每小时2.2PB的聚合读/写率。

Butler表示：“我们实际上评估了LTO-5或LTO-6和TS1140，我们并没有指定何种磁带驱动器、何种库或者其他任何东西。我们希望让供应商自由地向我们提供多种解决方案。”

Butler表示，NCSA选择IBM磁带驱动器，而没有选择更流行的中级LTO驱动器，因为它们提供优越的性能。TS1140提供240MB每秒的吞吐量，LTO驱动器提供140MB每秒。

在意见请求书中，Butler的团队给存储供应商列出了10到15个要求。除此之外，它们还规定磁带库必须要符合一定面积，不能超过一定电力和冷却要求，并且应该满足某种可靠性和性能目标。

Butler表示，磁带库聚合吞吐量的目标是100GB/sec，目前，大约为89.5GB/sec。

Cray超级计算机通过Mellanox IS5000 InfiniBand交换机和ConnectX InfiniBand适配器连接到磁带库。交换机使用InfiniBand QDR协议，提供高达每个lane 8Gbps吞吐量和高达12个I/O lane。Butler表示，她想要使用更高带宽版本的InfiniBand， FDR，但是Cray的系统不支持。

InfiniBand FDR提供每个lane 13.6 Gbps吞吐量和高达12个I/O lane。

虽然NCSA可以从很多企业级磁盘存储供应商中选择产品用于超级计算机中，Butler及其团队感觉如果所有产品都来自于Cray的话，他们将会得到更好的支持。

“Lustre，如你所知，并不好维护，所以我们想要与特定供应商合作，使用其软件硬件，并有一个设备来进行故障转换等，自2003年以来，我们就一直运行Lustre，”Butler表示，“所以我理解Cray公司试图为我们简化我们的系统。”

更多信息请关注：21ic网友杂谈频道