从 Token 吞吐到行动落地：智能体 AI 时代，CPU 性能评估标准是什么？

大模型技术正从单一文本生成加速迈向具备自主规划与闭环执行能力的智能体阶段。在此背景下，数据中心基础设施的计算特征发生了变化，过去以单位时间Token（Tokens Per Second）产出为核心的衡量体系显现出局限性。近日，Arm正式发布面向智能体时代的《智能体 AI 性能评估方法论》技术白皮书。Arm 云 AI 解决方案架构总监 Ravi Malhotra 围绕智能体对计算架构提出的新需求展开解析，并公布了 Arm AGI CPU 在典型工作负载下与主流 x86 服务器处理器的实测对比数据。这标志着行业算力评测重心从单一加速芯片的浮点吞吐，延伸至包含工具调用、业务编排与环境隔离的全栈系统维度。

从 Token 生成到行动执行：智能体工作流中 CPU 意义重大

在传统大语言模型交互中，计算密集型任务主要集中于注意力机制与矩阵乘法，瓶颈多落在加速芯片的显存带宽与算力利用率上。业界评估标准通常是围绕Token展开，考察每秒Token数、每瓦Token数及单Token硬件成本。然而，随着各类企业级自动化智能体的部署，单纯生成文本已无法满足需求。完整的智能体闭环包含理解规划、工具调用、外部交互与结果验证四个阶段，模型生成的决策指令必须深入系统底层，转化为具体的软硬件操作。

计算流程的改变打破了由加速芯片主导的单一负载格局。在智能体基础设施中，系统物理上划分为负责推理与规划的加速器机架，以及负责工具调用与编排的高密度通用 CPU 服务器。当智能体接收任务后，加速芯片解析上下文并输出操作规划，控制权随即转移给 CPU 服务器。CPU 需要调用外部 API、读写数据库、在受限环境中编译代码并运行测试框架。在任务执行周期内，编译构建与测试验证等环节往往耗时较长，消耗大量 CPU 周期；若 CPU 执行缓慢，将直接导致昂贵的加速芯片处于闲置等待状态。

通用 CPU 在异构集群中还承担着保障加速芯片高效运行的控制职责。智能体在长周期任务中持续累积上下文，产生庞大的键值缓存，并依赖向量数据库进行实时检索增强生成。CPU 作为系统头节点，负责管理键值缓存、调度向量检索并处理前置文本，确保加速芯片进入下一轮推理前数据低延迟就绪。若 CPU 在工具调用、代码编译或数据检索环节出现延迟，昂贵的加速芯片就会空闲等待，拉低整个集群的综合利用率。

Ravi Malhotra 在媒体说明会上表示：“智能体 AI 它要求生成的 Token 能够在真实世界中得到切实应用。这意味着，我们不仅要从 Token 的角度评估性能，还要从智能体及其所执行任务的角度来评估性能。”

图 1：智能体 AI 基础设施设计架构示意图（AI 机架 vs CPU 机架）

智能体CPU评估方法论：关键组件解耦与端到端闭环

长期以来，数据中心评估 CPU 性能多依赖孤立的基准测试。然而，智能体应用是由多层服务协同构成的复合系统，单一组件峰值吞吐无法反映服务在执行回路中的交互延迟与瓶颈。为此，Arm 在白皮书中提出兼顾底层组件与业务流程的方法论，由组件基准（Components）与端到端智能体基准（End-End）两大方面共同构成。

图 2：智能体工作负载性能评估体系解构（组件基准与端到端工作流）

在组件基准测试维度，白皮书重点涵盖工具调用、推理与规划支撑以及编排隔离三大面向。在工具调用（Tooling）层面，选取 NGINX 作为 web服务代表，量化高并发工具调用时的吞吐与延迟；通过 MySQL 评估事务读写与结构化数据访问的每秒查询能力。在推理与规划支撑（Reasoning & Planning）层面，框架纳入向量数据库 Milvus 衡量语义检索与长期记忆访问效率；采用模型服务框架 vLLM 并剥离底层模型推理，专门测试 CPU 在请求分发、调度与服务控制栈上的纯软件开销；利用 fastText 评估文本与词嵌入数据处理中的并行词向量计算吞吐。在编排与隔离（Orchestration）层面，白皮书将沙箱容器创建视为为一种执行税（execution tax），即智能体为实现安全隔离必须付出的性能代价，并针对 Docker、Firecracker 与 gVisor 的创建进行了延迟分析。

仅仅有组件测试纬度是不够的，还需要在端到端层面进行真实智能体基准测试。此类评测侧重于考察多智能体并发场景下的任务完成度与系统扩展性，主流工具包括面向软件代码任务的 SWE-bench，以及面向命令行工具执行的 Terminal-Bench。在这些基准中，智能体需要在真实终端命令行中自主执行代码编辑、依赖包管理、编译构建与测试验证等组合动作。Arm 在该维度中明确提出了“持续性能（Sustained Performance）”指标：在多智能体并发场景下，系统资源争用往往会导致响应延迟急剧上升；评估 CPU 的关键不仅在于极限吞吐峰值，更在于高利用率与并发资源争用的复杂条件下，能否将单任务响应时间持续维持在服务等级协议（SLA）所允许的时限之内。

Ravi Malhotra 分享到：“性能评估不能只看单颗 CPU 能够承载多少智能体，也不能单纯追求最高吞吐量，还需要在吞吐量与 SLA（服务等级协议）要求之间取得平衡——这就是 Arm 强调的持续性能。”

图 3：并发智能体规模与持续性能及 SLA 响应关系曲线

整机架性能实测：Arm AGI CPU 与 x86 平台的能效博弈

在数据中心现实中，处理器选型绝非脱离系统级功耗与空间的单芯片算力对比。无论单颗芯片纸面规格如何，数据中心/服务器运营者面对的硬约束无外乎是配电上限、机柜空间与散热能力。因此，评测机构 Signal65 与 Arm 合作展开实测时，明确将“每机架性能”确立为核心基准，并且在相同机架功耗预算下，对比了基于 Neoverse V3 架构的 Arm AGI CPU 与第五代 AMD EPYC 9755 处理器的实际负载表现。

图 4：Arm AGI CPU 与 AMD EPYC 在智能体工作负载下的每机架性能实测对比

根据 Signal65 独立测试数据，在涵盖工具调用、推理支撑及端到端工作流的综合测试中，Arm AGI CPU 展现出机架级产出优势，在相同的功耗预算下，综合平均性能达到 AMD EPYC 9755 系统的 1.99 倍。细分负载方面，面向工具调用与交互，Arm 在 NGINX 测试中实现 1.95 倍机架吞吐，在 MySQL 事务数据库中达到 1.43 倍；在推理支撑场景下，文本处理工具 fastText 机架性能达对比平台的 3.19 倍，模型服务控制栈 vLLM 达 1.88 倍，向量数据库 Milvus 检索达 1.54 倍；而在端到端智能体评测中，Terminal-Bench 与 SWE-bench 的每机架任务完成吞吐分别达到对比平台的 1.93 倍与 2.00 倍。

机架级性能倍数源于微架构设计与系统级能效密度的差异。测试报告显示，在单个核心及单颗 SoC 层面，Arm AGI CPU 性能领先幅度约为 20%。由于 Neoverse V3 延续低功耗设计原则，单核心能耗显著低于传统复杂指令集服务器芯片，使集成商在相同机架供电与散热预算下，能够在标准机架内部署更多物理计算核心，最终在系统层面形成了几近翻倍的并发算力密度。

图 5：Arm AGI CPU 与 AMD EPYC 沙箱容器创建相对延迟实测对比（冷热创建与超额订阅）

除核心业务吞吐外，Signal65 还量化了多智能体运行下的沙箱创建开销。在多租户场景下，为防止越权与数据外泄，智能体需在轻量化虚拟容器中隔离运行，高频创建沙箱的启动延迟构成了执行开销。在单实例冷创建测试中，Arm AGI CPU 容器创建相对延迟为 AMD EPYC 的 0.55 倍；单实例热创建相对延迟为 0.73 倍；在并发创建且物理核处于 2 倍超额订阅时，Arm AGI CPU 的 p99 延迟为对比平台的 0.62 倍；在 4 倍超额订阅压力下，p99 延迟保持在 0.59 倍。更低的沙箱创建延迟与抗拥塞表现，直接降低了多智能体并发调度时的系统等待成本。

Ravi Malhotra 解释了机架层面评估的意义所在：“我们之所以要从机架层面来看整体性能，是因为客户在数据中心里部署和使用的是整个机架，而不仅仅是单颗 CPU。如果只是把一颗 CPU 与另一颗 CPU 进行对比，就无法衡量其他因素的优劣，包括 CPU 的能效、内存利用效率、服务器成本和功耗，以及单个机架能够容纳多少台服务器或多少颗 CPU。因此，AGI CPU 的优势不在于打造规格最高的 CPU，而在于兼顾核心层面的性能、服务器层面的可扩展性和机架层面的效率。”

场景需求分化，Arm加速硬件落地生态

根据白皮书中梳理的代表性用例，当前活跃的智能体呈现出显著的场景分化。在软件工程领域，代码生成与调试应用需要执行长时间的代码修改、依赖下载、编译构建与单元测试，任务链长且依赖连续工具链，对单智能体的绝对计算性能要求严苛；在企业运营与个人助理场景中，智能体主要处理工单支持、供应链查询或日程预订，单次操作以访问网页与数据库为主，任务周期短，系统核心转向追求高并发吞吐与极低单任务边际成本；在科学研究、金融分析及具身机器人领域，智能体则需应对特定领域数值模拟、实时控制循环与多智能体协同，产生海量数据交互。

图 6：当前智能体 AI 五类代表性用例原型及其计算特征

面对分化需求，单一针对特定场景极度优化的硬件架构难以兼顾通用部署。为此，Arm 联合伙伴推出了涵盖参考设计、商用服务器与整机柜的完整形态。在参考设计层面，Arm 提供面向高密度计算的 1OU 双节点参考服务器，以及面向标准环境的 2U2P 参考服务器。在商业量产产品层面，超微电脑推出专为 AI 机架打造的 5U PCIe GPU 系统；超微还推出 2U Hyper 系统、2U Hyper-E服务器，及面向云计算和 AI 工作负载 的 2U4N 液冷服务器；联想集团落地了 HR650a V3 2U Arm AGI CPU 系统，华擎科技推出2OU2N 双节点系统，符合 OCP ORv3 标准的高密度双节点服务器。在机架级解决方案上，Arm 及其合作伙伴提供了多种风冷和液冷方案，其中液冷方案涵盖支持 19 英寸与 Open Rack 双宽规格。

Ravi Malhotra 解释道：“没有两个智能体 AI 应用是完全相同的。为每个用例选择不同的 CPU 并不是一种可扩展的模式。对于大部分市场来说，需要的是一个均衡的选择：一款能够在性能、可扩展性和效率之间取得平衡的 CPU，而这正是 Arm AGI CPU 所带来的优势。”

图 7：Arm AGI CPU 参考设计与商用服务器整机柜生态产品矩阵

智能体时代，算力经济比拼开始

从大模型的Token生成比拼走向端到端智能体的任务解决效率，产业正经历从技术演示向商业生产力转化的关键阶段。Arm 通过推出智能体 CPU 评估白皮书，不仅为自身的 AGI CPU 明确了应用场景与市场定位，也试图引导业界将视线从单一加速芯片的峰值算力，拓展至异构协同、机架密度与全栈工作流等关乎数据中心总体拥有成本（TCO）的系统级考量。

在智能体基础设施的标准化衡量层面，仍处于早期阶段。当前随着跨节点工作流复杂化，CPU 机架与加速芯片机架间的高速网络互联、通信协议延迟，以及 DPU 在安全卸载与传输效率，都将对整个端到端效率产生不同方式的影响，所以这一标准的建立绝非易事。伴随评测基准的持续迭代，如何建立被各大芯片厂商与云厂商广泛认可的公共测试标准，并在全栈架构中持续优化执行延迟，依然是未来数据中心算力演进的核心课题，也是追求智能体算力经济的比拼关键。