什么是MLPerf？解读最重要的AI基准测试

基于真实环境的AI测试不断演进，促使英特尔技术专家顺应行业需求，持续提升产品性能，进而营造更友好的发展环境，推动AI技术的普及。

MLPerf大家可能都略有耳闻，但又未必完全了解这项AI基准测试。虽然没能找到这个词本身的明确定义，但利用AI助手，我们得到了一个值得信赖的答案：MLPerf在2018年5月首次出现时被比作是为“SPEC for ML”。AI助手继续写道：“‘MLPerf’是一个合成词，由‘ML’（代表机器学习）和‘Perf’（代表性能）组合而成。”

它进一步解释说：“虽然没有关于命名过程的详细官方说明，但名称本身就非常直观，之所以被选中，可能是因为它直接体现了基准测试的目的。”（这个解释也很贴合大家对AI生成的答案的预期，这些AI由研究人员所构建并不断改进）

实际结果证明了这一点：就在上周，英特尔是唯一一家持续向MLPerf提交服务器CPU测试结果的厂商。提交的结果中包括了使用英特尔^®至强^® 6处理器进行图像检测和信息分析等常见的AI任务。

加速AI发展背后的组织与流程

英特尔数据中心和人工智能事业部软件部门的Ramesh Chukka表示：“MLPerf是目前AI领域首屈一指的基准测试。”

Chukka代表英特尔担任MLCommons委员会成员，该联盟成立于2020年底，目标是将最初的MLPerf工作范畴扩展到“推动开发最新的AI和机器学习数据集和模型、最佳实践、基准和指标，并让使用更加便捷”。

Chukka认为，MLPerf可以泛指所有的基准测试，这些基准测试“像技术的发展一样，处于快速演进中”，从而通过“快速构建新的AI技术原型”来实现推动该领域发展的目标。每个基准测试都衡量了在一定的质量水平下，完成特定AI任务的速度。

这些基准测试分为两大类：一是训练，即使用数据构建AI模型；二是推理，即让AI模型像应用程序一样运行起来。用大语言模型（LLM）来类比：训练是指LLM从海量信息中学习的过程，而推理则是你每次安排它执行任务的时候。

MLCommons每年针对训练和推理两大类目分别发布两组基准测试结果。英特尔最近一次公布训练结果是在去年6月，而最新的推理结果则是在本月刚刚发布。

从MLPerf创立之初，再到之后的MLCommons，英特尔AI专家一直积极参与并贡献测试结果。英特尔从两方面参与其中：帮助塑造和推动整个项目的发展，同时使用英特尔的处理器、加速器和解决方案进行编译并提交基准测试结果。

MLPerf基准测试所解决的问题

AI模型是复杂的程序，现在越来越多种类的计算机能够运行这些模型。通过MLPerf基准测试，不仅能够更好地对比不同种类的计算机，同时也可以推动研究人员和企业进一步探索前沿技术。

每个基准测试都会尽可能贴近实际应用场景，而其结果则分为两个类别。其中，“封闭”类别对AI模型和软件堆栈进行严格控制，以尽可能精准地进行硬件比较，即在不同的系统中，使用相同的程序来实现相同的结果，如自然语言处理的准确率测试。

“开放”类别则包含创新因素，即让每个系统在实现相同目标的前提下，尽可能地突破性能极限。

值得注意的是，MLPerf将所有内容共享，且基准测试是开源的。测试结果需要是可复现的，无隐藏信息。正是这种开源开放的特性，能够让厂商进行更全面的比较，而不仅仅是单纯的速度对比。比如，厂商也可以从每瓦性能，或成本等维度进行对比。

MLPerf的运行及演进过程

正如Chukka所说，MLPerf之所以广受业界认可，部分原因在于它不断演进并持续增加新的基准测试。其演进过程主要是由MLCommons社区的公开讨论和辩论驱动的，而诸多大型企业、初创公司和学术界等均是该社区的参与者。

首先，新的基准测试会被提出并进行辩论，随后获批的基准测试需要一个公开的数据集用于训练。其中需要注意的是，该数据集可能已经存在，也可能需要重新创建。其次，参与者自愿组队，共同构建基准测试、确定或收集数据，并为基准测试的发布设定时间表。

最后，任何希望发布测试结果的公司都需要在截止日期前提交成果。如果错过该截止日期，则只能等待下一轮流程重新开启。

更快速、更高效的AI塑造世界的未来

当越来越多的人借助半导体技术攻克各类难题时，对于英特尔而言，无疑在宏观层面带来了显著的积极影响，然而，英特尔参与MLPerf基准测试，有着更为深远的意义。

英特尔一直在为AI开源框架贡献力量，如PyTorch及其扩展。当英特尔工程师努力优化代码以提升MLPerf的运行效率时，那些在英特尔芯片上部署相关AI应用的用户，无需任何额外操作，便能轻松受益于这些技术进步。

Chukka表示，“对于新的基准测试，我们也一直在探索可行的优化方案，并积极准备后续的提交工作。”

为了实现更出色的测试结果，Chukka团队汇集公司各方力量，在多轮测试中取得了出色的性能提升，例如，在2024年的测试结果中，推荐系统推理性能提升了80%，又如在本月的测试结果中，GPT-J基准测试性能提升了22%。

因此，当英特尔发布新一轮MLPerf测试结果时，往往也代表着整体AI系统都变得更快速、更高效，甚至时下热门的大模型，也能在响应用户新的需求时，给出更迅速、更智能的解答。