破解 AI 集群扩展中的关键瓶颈

人工智能技术的快速创新迭代也给数据中心网络带来了前所未有的压力。例如，Meta 最近发布的有关 Llama 3 405B 模型训练集群的论文显示，该模型在预训练阶段需要超过 700TB 的内存和 16000 颗英伟达 H100 GPU 芯片。据 Epoch AI 预计，到 2030 年，人工智能模型所需的计算能力将是目前领先模型的 1 万倍。如果企业拥有数据中心，那么部署人工智能只是时间问题，而其中人工智能集群的扩展则成为关键难题。

一、人工智能集群概述

所谓人工智能集群，就是一个高度互联的大型计算资源网络，用于处理人工智能工作负载。与传统的计算集群不同，人工智能集群针对人工智能模型训练、推理和实时分析等工作任务进行了优化。它们依靠数千个 GPU、高速互连和低时延的网络来满足人工智能对密集计算和数据吞吐量的要求。

构建人工智能集群需要将 GPU 连接起来，形成一个高性能计算网络，让数据在 GPU 之间实现无缝传输。这其中强大的网络连接至关重要，因为分布式训练往往需要使用数千个 GPU 进行长时间并行计算。计算节点如同人工智能集群的大脑，由成千上万个 GPU 组成并连接到机架顶部的交换机，随着复杂性的提升，对 GPU 的需求也在增加。以太网等高速互联技术可实现计算节点之间的快速数据传输。网络基础设施包括网络硬件和协议，它们能够支持在数千个 GPU 之间进行长时间的数据通信。

二、扩展面临的关键挑战

(一)网络挑战

GPU 可以有效地执行并行计算。然而，当数千个甚至几十万个 GPU 在人工智能集群中共同执行同一工作任务时，如果其中一个 GPU 缺乏所需的数据或遇到延迟等情况，其他 GPU 的工作就会停滞不前。这种长时间的数据包延迟或网络拥堵造成的数据包丢失会导致需要重新传输数据包，从而大幅延长了任务完成时间(JCT)，造成价值数百万美元的 GPU 闲置。

此外，人工智能工作负载产生的东西向流量，也就是数据中心内部计算节点之间的数据迁移，急剧增加，如果传统的网络基础设施没有针对这些负载进行优化，可能会出现网络拥堵和延迟问题。例如，在一些大规模的 AI 训练任务中，数据在不同计算节点之间频繁交换，原有的网络带宽无法满足如此庞大的数据传输需求，导致训练效率大打折扣。

(二)互联挑战

随着人工智能集群规模的拓展，传统的互连技术可能难以支持必要的吞吐量。为了避免瓶颈问题，企业必须进行升级迭代，采用更高速的互连技术，如 800G 甚至 1.6T 的解决方案。然而，要满足人工智能工作负载的严格要求，部署和验证此类高速链路并非易事。高速串行路径必须经过仔细调试和测试，以确保最佳的信号完整性、较低的误码率和长距可靠的前向纠错(FEC)性能。高速串行路径中的任何不稳定因素都会降低可靠性并减慢人工智能训练的速度。企业需要采用高精度、高效率的测试系统，在高速互联技术部署前对其进行验证。在实际操作中，一些企业在升级到高速互连技术时，由于没有充分测试，导致在使用过程中频繁出现数据传输错误，严重影响了 AI 集群的运行。

(三)财务挑战

扩展人工智能集群的总成本远远不止于购买 GPU 的花费。企业必须将电源、冷却、网络设备和更广泛的数据中心基础设施等相关投入考虑在内。以一个中等规模的数据中心为例，若要扩展 AI 集群，除了购置新的 GPU，还需要对供电系统进行升级，以满足新增设备的电力需求;冷却系统也需同步升级，防止设备因过热而出现故障。然而，通过采用更出色的互连技术并借助经过优化的网络性能来加速处理人工智能工作负载，可以缩短训练周期，并释放资源用于执行其他任务。这也意味着每节省一天的培训时间，就能大幅降低成本，因此对于财务风险和技术风险需要给予同等的重视。

三、测试和验证面临的挑战

优化人工智能集群的网络性能需要对网络架构和 GPU 之间的互连技术进行性能测试和基准测试。然而，由于硬件、架构设计和动态工作负载特性之间的关系错综复杂，对这些器件和系统进行验证具有很大的挑战性。

首先是实验室部署方面的限制。人工智能硬件成本高昂、可用的设备有限以及对专业网络工程师的需求缺口，使得全盘复制变得不切实际。此外，实验室环境通常在空间、电力和散热方面受到限制，与现实世界的数据中心条件不同。这就导致在实验室测试通过的方案，在实际数据中心部署时可能出现各种问题。

其次是对生产系统的影响。减少对生产系统的测试可能会造成破坏，并影响关键的人工智能操作。一些企业为了尽快上线新的 AI 集群扩展方案，减少了在生产系统上的测试环节，结果上线后引发了一系列故障，影响了业务的正常运行。

最后是复杂的人工智能工作负载。人工智能工作负载和数据集的性质多种多样，在规模和通信模式上也有很大差异，因此很难重现问题并执行一致性的基准测试。不同的 AI 模型训练任务，其数据量、数据传输模式都有很大不同，这给测试和验证工作带来了极大的困难。

人工智能将重塑数据中心的产业格局，因此构建面向未来的网络基础设施对于在技术和标准快速演进的过程中保持领先地位至关重要。面对 AI 集群扩展中的诸多关键瓶颈，企业需要从网络优化、互连技术升级以及合理规划财务投入等多方面入手，同时重视测试和验证环节，以确保 AI 集群能够高效、稳定地扩展，为人工智能技术的持续发展提供坚实支撑。