浪潮获15项MLPerf 推理V1.1 AI基准评测冠军

北京2021年9月23日 /美通社/ -- 9月23日，全球权威AI基准评测MLPerf™公布最新榜单Inference(推理) V1.1，在最受关注的固定任务(Closed)测试中，浪潮获得15项冠军，占据冠军榜单半壁江山，蝉联四届MLPerf™ AI基准测试冠军榜首。

MLPerf™是影响力极为广泛的国际AI性能基准评测，由图灵奖得主大卫•帕特森（David Patterson）联合顶尖学术机构发起成立。2020年，非盈利性机器学习开放组织MLCommons基于MLPerf™基准测试成立，其成员包括谷歌、Facebook、英伟达、英特尔、浪潮、哈佛大学、斯坦福大学、加州大学伯克利分校等50余家全球AI领军企业及顶尖学术机构，致力于推进机器学习和人工智能标准及衡量指标。目前，MLCommons每年组织2次MLPerf™ AI训练性能测试和2次MLPerf™ AI推理性能测试，为用户衡量设备性能提供权威有效的数据指导。

MLPerf™推理V1.1 AI基准测试固定任务(Closed)包括数据中心(共16个项目)和边缘(共14个项目)两大场景。在数据中心场景下设置6个模型，分别是图像识别（ResNet50）、医学影像分割（3D-UNet）、目标物体检测（SSD-ResNet34）、语音识别（RNN-T）、自然语言理解（BERT）以及智能推荐（DLRM），其中Bert、DLRM和3D-Unet设有高精度（99.9%）模式。除3D-UNet模型任务只考察Offline离线推理场景性能外，其他模型任务按照Server在线推理和Offline离线推理两种应用场景分别进行性能测试。边缘场景AI模型在数据中心场景的6个模型基础上删减了智能推荐（DLRM）模型，并增加目标物体检测（SSD-MobileNet）模型，所有模型均有Offline离线推理场景和SingleStream单流推理两个场景。

固定任务(Closed)要求参赛各方使用相同模型和优化器，这对于实际用户评测AI计算系统性能具备很强的参考意义，也一直是MLPerf™中角逐最激烈及主流厂商最关注的领域。此次共有英伟达、英特尔、浪潮、高通、阿里巴巴、戴尔、HPE等19家厂商参与到固定任务(Closed)测试竞赛中，其中数据中心场景收到了754项成绩提交，边缘场景收到了448项成绩提交，共1199项成绩提交。

浪潮全栈AI能力助推性能持续突破

浪潮取得此次MLPerf™竞赛佳绩的三款AI服务器，分别是NF5488A5、NF5688M6及NE5260M5。NF5488A5是全球首批上市的A100服务器，在4U空间支持8颗第三代NVlink互联的A100 GPU和2颗AMD Milan CPU，同时支持液冷和风冷散热技术。NF5688M6是面向大规模数据中心优化设计的具备极致扩展能力的AI服务器，支持8颗A100 GPU和两颗Intel Icelake CPU，支持多达13张PCIe Gen4的IO扩展卡。NE5260M5通过极致优化的信号和电源等系统设计，兼容高性能CPU和多种AI加速卡，通过减震降噪优化和严苛的可靠性测试，机箱深度430mm较普通服务器缩短近二分之一，满足空间受限的边缘计算场景部署需求。

浪潮在本次MLPerf™竞赛获得15项全球第一，涵盖医学影像识别、自然语义理解、图像识别、语音识别、智能推荐、目标物体检测（SSD-ResNet34）以及目标物体检测（SSD-MobileNet）全部7项AI模型任务，从云到边全面领先。浪潮持续提升数据中心场景下MLPerf™各项任务性能成绩，即便在相同服务器配置下各项任务成绩依然得到较大改善，如图像识别(ResNet50)和语音识别(RNN-T)的模型性能分别较半年前的V1.0竞赛成绩提升了4.75%和3.83%。

浪潮AI服务器在MLPerf™基准评测中的出色表现，得益于浪潮在AI计算系统卓越的系统设计能力和全栈优化能力。在硬件层面，通过对CPU、GPU硬件性能的精细校准和全面优化，使CPU性能、GPU性能、CPU与GPU之间的数据通路均处于对AI推理最优状态；在软件层面，结合GPU硬件拓扑对多GPU的轮询调度优化使单卡至多卡性能达到了近似线性扩展；在深度学习算法层面，结合GPU Tensor Core 单元的计算特征，通过自研通道压缩算法成功实现了模型的极致性能优化。

浪潮NF5488A5是本次MLPerf™竞赛中唯一实现以液冷方式支持8颗500W A100 GPU的AI服务器，液冷散热为AI计算性能提升注入了强劲动力。而在本次MLPerf™竞赛所有配置8颗A100 SXM4芯片的主流高端AI服务器中，浪潮获得了数据中心场景固定任务下全部16项任务的最佳成绩。

浪潮是全球领先的AI计算领导厂商，AI服务器市场份额全球第一，连续四年以超50%的市场份额居中国AI服务器市场第一。浪潮致力于AI计算平台、资源平台和算法平台的研发创新，并通过元脑生态与AI领先企业共同推进AI产业化和产业AI化进程。