当前位置:首页 > 智能硬件 > 智能硬件
[导读]在前不久刚刚结束的国际高性能计算咨询委员会第二届中国研讨会上,委员会主席Gilad Shainer先生与俄亥俄州立大学的Dhabaleswar K.Panda教授就时下高性能计算领域的几个主要热点做了探讨:GPU计算在高性能计算中的日益

在前不久刚刚结束的国际高性能计算咨询委员会第二届中国研讨会上,委员会主席Gilad Shainer先生与俄亥俄州立大学的Dhabaleswar K.Panda教授就时下高性能计算领域的几个主要热点做了探讨:GPU计算在高性能计算中的日益激增、云计算与高性能计算的关系等。

中国高性能计算成长迅速 率先采用GPU非常明智

美国俄亥俄州立大学的Panda教授是全球范围内高性能计算领域的专家,其在MPI计算优化领域做出了杰出的贡献。他表示,中国高性能计算这两年发展迅猛,与中国经济的稳步增长有密切关系。另一方面,中国高性能计算的爆发式增长尤其是GPU+CPU计算模式的领先,主要原因有两点:

美国俄亥俄州立大学 Dhabaleswar K.Panda教授

1、GPU虽然有编程通用性差等弊病还处在应用边缘,但对于高性能计算来说GPU庞大数目的流处理器非常适用于浮点运算。中国的高性能计算系统规划和建造者们早于其他国家认识到了这一点,因此这样的异构计算机在中国出现如此大规模的部署(指“天河一号”)也为全球HPC工作者做了榜样。

2、目前很多Top10里的高性能计算机采用的是升级换代的模式,因此包括Juguar在内的高性能计算系统你可以看到他们在升级处理器和内存来提升性能。这样做的好处是节省了重新构建系统的成本,缺点是他们不能做架构调整。因此升级处理器带来的性能提升幅度有限,却又受制于系统架构不能采用GPU计算。所以这一点上中国的高性能计算更有远见。

另一个层面上来看,包括Nvidia Tesla所支持的CUDA环境,AMD Streaming系列计算卡所支持的OpenCL以及英特尔Knights Ferry系列所支持的x86通用编程环境。所有这些编程环境都在试图让使用GPU的人更轻松的对“小核”做并行编程。

云计算与高性能计算共存 用GPU-Direct为GPU计算加速

国际高性能计算咨询委员会主席Gilad先生认为,云计算并不是新概念尤其是在高性能计算领域里——早先各地的计算人员就以云的方式在提交作业。从服务器农场到网格再到云计算,实际上是云计算这种技术背后的模式正在逐步走向商业化,并得到人们的重视。

国际高性能计算咨询委员会主席Gilad Shainer先生

据Gilad先生介绍,很多云计算厂商将自身的云计算环境部署在超级计算机上,如Amazon的EC2和Oracle Sun Exadata和Exalogic两套数据库专用系统中都采用了基于Infiniband的超级计算机(规模不同)。Gilad认为,云计算里面使用高性能计算可以有效降低用户的租用成本。

另一方面,从长远来看云计算目前还处于概念定型和启动阶段。商业环境决定了私有云必然是自主建设,或自行研发或采用成熟解决方案,而云环境对计算性能的渴求使得高性能计算必然会应用其中。可以这么说,云计算不一定可以做高性能计算(系统延迟、负载和高可用等不符合高性能计算标准);但是高性能计算系统一定可以作为云计算的重要节点。

对于GPU计算的优化,Gilad先生所在的Mellanox公司做了很多努力。其中最突出的贡献要数通过ConnectX-2 Core-Direct技术队GPU通讯进行优化。这里简单说说新传输方式与旧方式的区别(如下图):

本图体现了GPU计算过程中数据是如何传递的:CPU从内存中读取需要GPU计算的原始数据,传递给北桥芯片的PCI-E控制器,北桥芯片将数据传给GPU,GPU将其存入缓存,计算的结果也存入GPU缓存(注意这一过程是不断进行的,动态的);计算结果再从GPU缓存流经GPU传回给北桥控制器,北桥传回CPU,CPU将之存入内存。

如果说以上过程足够繁琐,效率很低的话。那么来看看GPU计算好的结果是如何传输的——CPU从内存里重新读取GPU计算的结果,将需要传输的部分再存入内存中网络模块读取的指定区域——infiniband网卡通过CPU再读取相关信息传出去。因此可以说,GPU计算时的数据传输是最大瓶颈。

Mellanox的解决方案很简单,在不改变现有IT架构的情况下——意即原先那套计算流程不变。变化只有一点点:GPU计算结果在存储到内存之后,直接被infiniband读取传输走,减少了再次通过CPU读取转存的步骤。从而降低了数据传输的时延——这一点点的改进使得GPU之间的时延降低30%,消除了数据在infiniband和GPU之间的拷贝,用心良苦可以想见。

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

Arm Neoverse 旨在为从云到边缘的全场景基础设施用例提供高性能和出色能效。针对需要更高性能的工作负载和用例,Arm 推出了 Neoverse V 系列。其中,Neoverse V2 核心已被行业先行者广泛部署于...

关键字: 云计算 人工智能 CPU

3月22日,OPPO与京东举行战略合作协议签约仪式,双方确立未来三年OPPO在京东全渠道实现销售额同比增长100%的目标。此次签约双方将基于多年良好的合作基础,聚焦产品、营销、服务、渠道四大维度深化战略合作,通过发挥各自...

关键字: 人工智能 云计算 AI大模型

3月20日消息,全球最强AI芯片GB200横空出世,使得这届GTC 2024大会热度空前,也让英伟达创始人兼CEO黄仁勋再一次成为全球焦点人物。

关键字: 英伟达 GPU 芯片

The Weather Company 和台湾气象部门成为首批采用全新 Earth-2 云 API 的机构,使用 AI 加速全球气候和天气高分辨率模拟和可视化,突破性地实现 2 公里尺度

关键字: AI 数字孪生 GPU

3月19日消息,在英伟达年度 GTC 开发者大会上,黄仁勋宣布推出推出了Project GR00T人型机器人项目,其中就包括全球首款人型机器人基础模型。

关键字: 英伟达 GPU 芯片

3月19日消息,在英伟达GTC 2024大会上,英伟达CEO黄仁勋宣布推出新一代GPU Blackwell。

关键字: 英伟达 GPU 芯片

基于先进的 NVIDIA 网络、NVIDIA 全栈 AI 软件和存储技术,可将集群中 Grace Blackwell 超级芯片的数量扩展至数万个,通过 NVIDIA NVLink可将多达 576 块 Blackwell...

关键字: 生成式 AI 超级计算 GPU

NVIDIA cuLitho 可将半导体制造中高度计算密集型的工作负载加快 40-60 倍,并为业界带来全新的生成式 AI 算法

关键字: 生成式 AI 半导体 GPU

全新 NVIDIA NIM 和 GPU 加速的微服务专为生物、化学、影像和医疗数据开发,并在 NVIDIA DGX 云中运行

关键字: 生成式 AI GPU 数字医疗

Meta日前推出两个功能强大的GPU集群,用于支持下一代生成式AI模型的训练,包括即将推出的Llama 3。

关键字: Meta 英伟达 H100 GPU
关闭
关闭