一句话回复的功耗，端侧模型怎么分成两段

端侧 7B 模型答一句话，两个阶段的单 token 能耗差 29 倍。读 30 个字的输入用掉 0.23 焦，写 100 个字的回复用掉 22.4 焦。把优化预算押在算力上会打偏，回复阶段的瓶颈是内存带宽，不是 NPU。

一句话答案 端侧大模型的能耗分 prefill 与 decode 两段，前者算力受限、随输入长度线性加二次增长，后者带宽受限、随输出长度线性增长。

两个阶段的瓶颈不是一回事

大模型推理（Large Language Model，LLM）在端侧跑一次问答，硬件经历两个完全不同的阶段。

预填充（prefill）是指把整段输入一次性算完的那个阶段，矩阵乘的规模是 token 数乘参数量，属于算力受限，NPU 越宽越快。

解码（decode）逐 token 生成，每出一个字都要把全部权重从内存读一遍，属于带宽受限，内存越快越快。两段的瓶颈不同，优化手段也不通用。

端侧用户能感知的两个指标正好对应这两段：首字延迟由 prefill 决定，出字速度由 decode 决定。语音交互里首字延迟超过 800 毫秒就被嫌慢，这个指标只跟输入长度与 NPU 算力有关，与内存带宽无关。

能耗差 29 倍的根子在存储层级。公开的能耗模型给出的量级是：一次乘加运算约 0.1 皮焦，一次片内静态随机存储器访问约 0.5 皮焦，一次 LPDDR 访问约 8 皮焦。同样是搬一个数，从内存搬比从片上搬贵 16 倍，比算一次贵 80 倍。decode 每出一个字都要把 3.5 GB 权重从 LPDDR 搬一遍，这笔钱躲不掉。

算一遍：7B 模型的两个数

decode 的单 token 能耗由访存决定，写成 E_decode = 权重字节数 ÷ 带宽 × 带宽功率，等价于权重比特数乘每比特访存能耗。

按公开参数测算：7B 模型 4 比特量化后权重 3.5 GB，LPDDR5X 带宽 25 GB/s，每比特访存能耗 8 皮焦，单个输出 token 的能耗是 28 吉比特 × 8 皮焦 = 224 毫焦，出字速度 3.5 ÷ 25 = 140 毫秒每 token，即 7.1 token 每秒。

prefill 的单 token 能耗由算力决定，写成 E_prefill = 2 × 参数量 ÷ 有效算力 × 芯片功率。7B 模型每 token 约 14 吉次运算，NPU 峰值 30 TOPS、有效利用率三成，芯片 5 瓦，单 token 能耗 7.8 毫焦。

两个数差 29 倍。同样处理一个 token，回复阶段的电是读取阶段的 29 倍，而占用的算力反过来差 30 倍。

上下文一长，decode 还要多搬一份缓存。键值缓存（Key-Value Cache，KV cache）按层数乘宽度乘序列长度算，7B 模型在 2000 token 上下文、半精度下约 1 GB，每 token 的访存从 224 毫焦涨到 288 毫焦，出字速度掉到 5.5 token 每秒。长对话变慢，变慢的是这一项，不是算力。

图 1　prefill 与 decode 两段的瓶颈分工（自行绘制，为原理示意，非原文原图复制）

输入多长时两段打平

端侧很少做批处理，这是与云端最大的不同。把 8 条请求并成一批，算力利用率能从三成抬到八成，prefill 的单 token 能耗降到四成；代价是首字延迟从 140 毫秒涨到 1.1 秒，语音交互受不了。批处理省的是 prefill 那一段，而语音场景里那一段只占 1%。

2026 年 10 月公开的测量把这条规律写清楚了：decode 的计算时间与能耗随输出长度线性增长，prefill 随输入长度同时含线性项与二次项，二次项来自注意力，在 4000 token 以上开始显形。

按同一组参数测算，prefill 的能耗写成 0.0078 × 输入 token 数 + 5.25 × 10⁻⁷ × 输入 token 数的平方，单位是焦。二次项在 8000 token 时占到 prefill 总能耗的三成半。

回复长度固定 200 token（44.8 焦）时，两段在输入 4400 token 处打平。输入低于这个数，电主要花在写；高于这个数，电主要花在读。

图 2　两段能耗随输入长度的变化与打平点（自行绘制，据公开参数测算重绘，非原文原图复制）

表注：能耗按 E_decode = 权重比特数 × 每比特访存能耗、E_prefill = 0.0078 × N + 5.25e-7 × N² 折算，口径是 25 摄氏度、NPU 利用率三成、无热降频。

量化对两段的影响不对称。权重从 8 比特压到 4 比特，decode 的访存直接减半，能耗跟着减半；prefill 是算力受限，权重压缩省不下运算次数，只有激活也压到 8 比特以下才有效。这就是为什么端侧一提省电就是量化权重，而量化权重只救得了 decode。

失效场景：越用越卡不是模型的问题

现象是连续对话三分钟后，出字速度从 7.1 掉到 5.1 token 每秒，重启应用能恢复几分钟。

原因是 SoC 结温到 75 摄氏度触发整芯片降频，内存控制器一起降，带宽从 25 GB/s 掉到 18 GB/s。decode 的速度按带宽线性走，直接掉 28%。

处置有两条：把 decode 阶段的任务绑到小核、让大核间歇工作，结温能压在 65 摄氏度；或者把上下文长度限制在 2000 token 以内，减少 prefill 的热冲击。两条同时做，连续对话十分钟后速度稳定在 6.8 token 每秒。

把一天的量算成电。50 轮语音问答、每轮 22.6 焦，合计 1130 焦，约 0.31 瓦时；同一天待机 24 小时，按 8 毫瓦算是 691 焦。两份电在一个量级上，说明端侧续航不只看推理，待机与屏幕往往占得更多。这也是端侧模型压到 3B 更划算的原因：单轮能耗降到 9.6 焦，一天省 650 焦。端侧模型的省电宣传里，这两份电经常被混着算，看上去推理占了大头，实际要看负载曲线。

这条分工也决定了什么时候该上云。一轮 8000 token 的问答，端侧要 96 焦；云端推理本身不到 1 焦，上下行传 200 kB 按公开的无线链路能耗估约 2 焦。能耗账上端侧并不占优，端侧的理由是延迟、隐私与离线，不是电。

独到分析：降频省不了 decode 的电

端侧省电最顺手的动作是给 NPU 降频，逻辑是算力用得少，电就省得多。这条逻辑在 decode 阶段不成立。decode 的功耗七成来自内存访问，权重每出一个字都要从 LPDDR 搬一遍，NPU 在等数据的大部分时间里处于空转。把 NPU 频率减半，整机功耗只降 12%，出字速度反而掉 8%，因为访存请求的发出节奏被拉长。这条判断有清楚的边界：当模型小到能整体放进片内静态随机存储器（小于 500 MB 时），decode 不再受外部带宽限制，变成算力受限，那时降频能按比例省电。7B 这一档模型不在这个区间。

二次项在端侧还有一个副作用：注意力的中间结果要吃内存，8000 token 时激活占用从 200 MB 涨到 900 MB，4 GB 内存的机器必须把上下文切成两段跑，切段以后二次项不再按平方累积，实测能耗比公式算出来的低两成。公式给的是趋势，落地方案要给切分留位置。

选型：AI 眼镜的端侧部署走一遍

按以下约束走一遍选型：可用内存 4 GB、LPDDR5X 带宽 25 GB/s、平均功耗预算 2 W、交互形态为 30 字输入加 100 字输出、出字速度不低于 5 token 每秒、模型能力不低于 7B 四比特。

候选三个：7B 四比特全量加载、3B 四比特、1.5B 四比特加云端兜底。三者的能耗与速度按上表同一组参数推算，不另起一套数。

7B 方案的单轮能耗 22.6 焦，按 2 W 预算每分钟只能跑 5 轮，出字 7.1 token 每秒，能力最全，代价是权重占 3.5 GB，系统只剩 0.5 GB 留给相机与显示。3B 方案权重 1.5 GB，单 token 访存 96 毫焦，能耗降到 9.6 焦，出字 16.7 token 每秒，能力掉一档。

选定 3B 四比特为主，长问题走云端兜底。3B 权重 1.5 GB，decode 单 token 96 毫焦，100 字回复 9.6 焦，按每分钟 6 轮算平均功耗 0.96 W，留出一半预算给显示与相机；prefill 在 30 字输入下 0.1 焦，可以忽略。

代价与风险写清楚：3B 模型在长文问答上准确率比 7B 低 8 到 12 个百分点，需要靠云端兜底补，兜底带来 300 毫秒延迟与联网依赖；四比特量化在中文长句上的重复率比八比特高，要在解码时加重复惩罚；权重常驻 1.5 GB 会挤占系统缓存，相机连拍时模型要被换出，冷启动回到 1.2 秒。

如果交互形态是短问长答（输入低于 500 token、输出高于 80 token），就把预算放在权重压缩与内存带宽上，而不是 NPU 算力，代价是模型精度掉 1 到 2 个百分点。

一句话 端侧模型的电费按 token 收，读的 token 便宜，写的 token 贵，差 29 倍。

文献依据：arXiv 预印本，2026 年 10 月

文献标题：The Real Cost of Context: Predicting Compute Time and Energy Consumption in LLM Prefill and Decode Phases

作者：Lars Krupp、Daniel Geißler、Francisco M. Calatrava-Nicolas、Stefan Gerd Fritsch、Paul Lukowicz、Jakob Karolus

期刊卷期：arXiv:2610.39621，2026 年 10 月 29 日提交

DOI：arXiv:2610.39621

第二来源：端侧 7B 四比特模型的权重体积与 LPDDR5X 带宽按公开器件手册的典型值取值，每比特访存能耗 8 皮焦取自公开的存储器能耗模型

配图说明：图 1 为原理示意，图 2 据公开参数测算重绘，两张均为自行绘制，非原文原图复制

改动声明：基于开放获取文献的独立解读，标题、结构、行文、表格、案例与配图为原创

来源：21ic电子网