从主机节点到异构机架：重新思考AI CPU
人工智能 (AI) 基础设施正进入全新的关键阶段。生成式 AI 基础设施的首个发展阶段以加速器规模为核心特征，聚焦 GPU、NPU 及定制 AI 加速器的部署、供电、散热与互联能力。该阶段尚未落幕，但已无法满足当前发展需求。
下一阶段的核心是机架级系统组合：通过异构 AI 机架，让不同计算资源分别针对智能体 AI 工作流的各阶段完成专项优化。由 CPU、加速器、内存、网络设备组成的专用机架，正被整合为吉瓦级 AI 超级集群，每一台机架都作为高密度计算引擎，承载工作流中的特定任务。
AI 推理正从单次模型调用，演进为多步骤智能体流水线。基础设施设计的重心，也从单一聚焦加速器规模，转向更宏观的系统组合问题：如何为智能体 AI 工作流的各个阶段匹配适合的计算资源。加速器仍是预填充、解码与模型执行的核心;而 CPU 则在外围编排层发挥关键作用，支撑智能体跨工具、API、检索系统、云原生服务开展任务分发与多轮模型调用。
这一转变意义重大，因为推理的运行结构正在发生质变。传统推理大多是线性流程：请求进入系统、模型生成响应，单次事务随即结束。智能体 AI 的运行模式则完全不同：智能体可自主规划任务、检索数据、调用工具、运行代码、请求 API、基于中间结果推理，并循环执行多次模型调用，最终输出结果。
这正在重塑数据中心的整体形态。越来越多的工作负载不再局限于神经网络前向传播，系统更多算力消耗在加速器、内存、存储、网络与软件服务的跨组件协同调度上。基础设施的大量架构决策，正从服务器层级转向机架层级。
Austin Lyons 近期在 Chipstrat 中指出：“CPU 并非通用标准化产品，其价值竞争也并非只有单一维度。”这一观点至关重要。异构 AI 机架不需要普适型的通用 CPU，而是需要针对专项任务优化的 CPU：持续为加速器供给数据、承载内存密集型的解码运算、处理模型调用间隙的智能体任务。
机架正在成为 AI 系统
AI 基础设施在推理流水线的各个阶段日趋专用化，最典型的特征之一就是预填充与解码流程逐步解耦。预填充阶段负责处理输入提示词、构建 KV 缓存，属于计算密集型环节，高度依赖加速器算力。解码阶段逐词元生成响应内容;随着上下文长度扩张，该环节会持续受到内存带宽、内存容量、KV 缓存数据搬移的制约。
异构 AI 机架需要整合各类专用组件，使其协同形成统一的完整系统。它能够将请求路由至对应计算层级，在预填充与解码之间高效流转数据，管理 KV 缓存传输、维护会话状态、执行非模型类任务，并在整条推理流水线中严格保障服务等级目标 (SLO)。
正因如此，行业开始以系统级视角审视 AI 基础设施。数据中心可承载的有效智能体任务规模，并非仅由加速器算力决定，同时取决于 CPU 算力、内存带宽、网络性能、软件编排能力，以及真实工作负载压力下的系统全局均衡能力。架构设计的核心问题，已从“可部署多少加速器”转变为“如何为智能体 AI 工作流的各阶段做专门的配置与协同调度”。
在该架构下，CPU 的应用场景不再单一，而是呈现多元化分工。
异构 AI 机架中的三类 CPU 角色
第一类为预填充主机 CPU，负责统筹推理流程中计算密集型阶段;第二类为解码主机 CPU，管理延迟敏感、内存密集型的推理阶段;第三类为智能体/工作节点 CPU，作为计算层，承载模型调用间隙的智能体任务。三类角色彼此关联，但不能采用同一套评估标准衡量。
这种认知重构至关重要。行业以往普遍将“主机 CPU”视为单纯的辅助组件，但在机架级异构 AI 架构中，该认知过于片面。基础设施团队需要依据推理流水线各层级的差异化任务，针对性评估 CPU 算力。
基础设施设计的变革逻辑
依托这套新的系统级设计思路，基础设施团队可根据真实工作负载特征，对各计算层级进行合理的资源配比。例如，长提示词、短输出的工作负载，需要更强的预填充算力;长会话聊天机器人更依赖解码算力与内存带宽;企业级多智能体工作流，则需要大量工作节点 CPU 算力支撑工具调用、信息检索、策略校验与应用编排。
与此同时，异构基础设施长期存在的核心壁垒正在被打破。传统多架构部署存在显著的软件适配阻力，包括跨平台应用移植、软件栈验证、性能调优、DevOps 流程适配等繁琐工作。而智能体开发模式大幅简化了上述流程，AI 辅助的移植、测试、验证与运维能力，有效降低了大规模多架构环境的落地周期与风险。
这一变革意义重大，架构设计的核心逻辑已然改变。基础设施团队无需再为降低运维复杂度，将所有工作负载强行适配单一默认架构。如今可针对 AI 系统的不同层级匹配最优架构，并通过现代化软件自动化能力，隐性管控系统复杂度。
这一转变也重塑了 AI 基础设施的经济模型。行业关注点不再局限于“哪款加速器的模型吞吐量最高”，而是聚焦整机架如何将功耗、内存、I/O、软件调度资源高效转化为有效 AI 算力产出。
这是系统层面的问题，而非单一组件问题。
这也正是 Arm 架构优势得以充分释放的场景。当前 AI 基础设施正向异构计算、高并发、功耗受限规模化扩容、软件定义编排演进。此类场景高度依赖每瓦性能、广泛的生态覆盖与架构灵活性，而这正是 Arm 的核心优势。
Arm AGI CPU 与智能体基础设施新时代
Arm AGI CPU 专为适配这场行业变革设计，将 Arm 云基础设施技术路线延伸至新一代智能体 AI 系统，让 CPU 在任务编排、内存协同、加速器管理与机架级能效优化中承担核心职责。
异构 AI 机架的核心价值，并非依靠单一参数，而是多项能力的集成优势：高核心密度、高内存带宽、高速 I/O、原生支持 CXL、成熟的软件生态，以及数据中心功耗约束下的高能效表现。这些特性精准匹配前文所述机架级 AI 的三类 CPU 角色：预填充主机、解码主机、智能体工作节点。
Arm 丰富的生态系统，为基础设施开发者提供了多元选择。基于 Arm 架构的 CPU 已广泛应用于云计算、网络、边缘侧与 AI 系统。合作伙伴可根据定制化需求与上市周期，灵活选用 Arm IP、Arm 计算子系统或量产芯片方案。随着 AI 基础设施分化为多类专用且互联互通的架构层级，该灵活性的价值愈发凸显。
行业正跳出“加速器优先”的单一 AI 基础设施建设思路。加速器依旧关键，但仅是系统的组成部分。未来的核心差异化能力，将体现在整机架的编排调度能力、资源利用效率，以及系统在真实智能体工作负载下的运行稳定性。
下载文档
