端侧推理跑几分钟就变慢，卡住的到底是哪一层

讨论端侧算力时，参数表上写的是 TOPS 和能跑多大的模型。真机跑起来，限制往往出现在另一个物理量上：外壳表面温度。对戴在脸上的设备，这个上限不是芯片结温的一百度，而是皮肤能接受的四十度出头。

把大模型放进不带风扇的盒子里，这件事在文字任务上已经跑通了。几亿参数的模型量化之后，在手机的 CPU 和 NPU 上能流畅出字。

但用户真正想要的场景，是长时间开着。连续翻译、持续录像加识别、随时能被唤醒的助手。这些任务的共同点是功率不能断，而功率不能断，就会撞上热。

约束不是结温

芯片的温度上限通常按结温算，一百度上下。这个数字对服务器有意义，对可穿戴设备意义不大。

戴在头上的设备有一条更早到达的线：接触皮肤的部件表面温度。国际安全标准对长时间接触皮肤的设备给出的上限在四十八度左右，而产品团队的实际目标通常压到四十一到四十二度，因为四十五度贴在太阳穴上已经很难受。

两条线之间差着将近六十度。这意味着散热的余量不是被硅限制的，是被人的耐受度限制的。

公开的热学建模研究给过一个直观的数字：AI 眼镜在持续负载下，内部芯片温度可以到六十二度，而真正决定产品能不能用的，是镜腿贴耳处那一点表面温度。

一阶模型算一遍

外壳的热行为可以用一个一阶 RC 网络描述：

· C_th · dT_s/dt = P(t) − (T_s − T_amb)/R_th

稳态时导数项为零，温升直接等于功耗乘热阻：

· ΔT_ss = P · R_th

时间常数是热阻乘热容：

· τ = R_th · C_th

公开文献给智能眼镜的一组典型参数是热阻二十开尔文每瓦，热容五焦耳每开尔文。代进去，时间常数一百秒。

再看功耗。一颗七 B 模型按 INT4 量化、批大小为一做推理，功耗在五瓦量级。五瓦乘二十，稳态温升是一百度。环境二十五度的话，表面温度会到一百二十五度，这当然不可能发生，因为系统在到达之前就已经降频了。但模型告诉你趋势：这不是一个慢慢变热的过程，是一个很快撞墙的过程。

具体多快。从二十五度升到四十二度，温升十七开尔文，占稳态值的一百开尔文的百分之十七。按一阶响应解出时间：

· t = −τ · ln(1 − 17/100) ≈ 19 秒

十九秒。这跟用户的实际体验是对得上的：AI 眼镜的高分辨率录像只能录很短一段，同时开相机和无线传输往往不被允许。这些限制不是软件保守，是热学算出来的。

图 1　一阶热模型下的表面温升曲线：五瓦负载在十九秒触及四十二度，持续能力被热阻锁死（依据公开参数绘制）

反推出来的预算有多紧

把上面的式子反过来用，能得到一个更值得记住的数字。

要长期维持在四十二度以下，环境按二十五度算，可用温升是十七开尔文。除以热阻二十开尔文每瓦，整机持续功耗上限是零点八五瓦。

不到一瓦。这个数字要同时养活摄像头、无线、显示引擎、音频和计算。端侧 AI 的功耗预算，不是"尽量省"，是被物理量直接钉死的。

还有一个推论容易被忽略：温升对功耗是线性的，所以降功耗的收益也是线性的，没有捷径。想让表面温度降五度，就得砍掉零点二五瓦的持续功耗。而一颗 NPU 从满频降到半频，省下的往往不止零点二五瓦，问题是这样一来算力也不够了。

这就是死结：热阻固定，功耗和算力绑在一起，降功耗等于降能力。

解法一：把热源摊开

既然总热量降不下去，就改变热量的分布。

MDPI Sensors 上的一项热学建模研究做了两组对照。第一组，把发热器件集中在一侧镜腿，与分摊到两侧镜腿相比，贴耳处的表面温度后者低百分之五十一点四。第二组，在分摊的基础上，再把高发热元件往远离接触点的位置挪，表面温度再降百分之十一点一。

百分之六十多的改善，没有换芯片、没有改算法，只是改了布局。

这条结论的工程含义很清楚：AI 眼镜的热设计不是芯片选型问题，是机械结构问题。主板分区、器件摆放、导热路径、外壳材料，每一项都在影响贴脸那一点的温度。这也解释了为什么同一颗 SoC 在不同产品上的持续性能差得很远。

解法二：让调度看得见温度

第二条路是把温度当成调度输入。

一篇发表在 ACM 移动沉浸式计算研讨会上的工作（ThermWear）做的是这件事：在推理窗口的粒度上，动态选择用 CPU、GPU 还是 NPU 执行。决策依据是一套代价模型，同时考虑下一窗口的时延、热状态估计、热预算惩罚、不同后端带来的精度损失，以及切换本身的开销。

在 Jetson Xavier NX 平台上，三个模型轮跑的平均峰值温度从八十六度降到五十二度，持续推理的时延保持在可比水平。

这个结果值得注意的地方不在数字，而在方法：它没有让任何一个后端跑满，而是让三个后端轮流承担，把热量在时间上摊开。这跟第一条路是一个思路的两个维度，一个摊在空间上，一个摊在时间上。

代价是调度开销和精度抖动。不同后端支持的量化精度不一样，切到低精度后端时输出会变，这个变化要在模型侧做补偿，否则用户体验是"有时候答得对有时候答得不对"。

图 2　三条路径的作用位置：布局摊热、后端调度摊时间、主动散热抬高换热系数（依据原文与企业公开资料绘制）

解法三：把换热系数抬上去

前两条都在管热量怎么分布，第三条管热量怎么出去。

紧凑设备的热路径通常是串联的：芯片到外壳靠导热，外壳到空气靠自然对流。前面一段可以用石墨片、均热板做得很好，后面一段受限于静止空气的边界层，换热系数只有几瓦每平方米每开尔文。

于是有厂商把风扇做到芯片尺度。用固态的微流器件在结构里产生气流，公开的厂商数据显示冷却效率提升六到七成，表面温度降幅可达四成。这组数字来自厂商自己的展示材料，还没有经过独立验证，但方向是合理的：一旦有了强制对流，热阻里最难压缩的那一段就有了下降空间。

代价是又多了一个耗电器件，还多了噪声和可靠性问题。在眼镜这种形态里，能不能塞进去、塞进去之后用户能不能接受，是两个独立的问号。

评价指标该换了

如果上面这些成立，端侧 AI 的评价方式就该调整。

现在厂商标的是峰值算力，多少 TOPS，能跑多大的模型。这些数字对应的是几百毫秒的爆发性能。用户感受到的是持续性能：连续用十分钟，还能保持多少 token 每秒。

一个更贴近实际的指标是热稳态下的持续吞吐，或者干脆用"可持续 token 每秒每瓦"这样的复合量。公开文献里也有类似的提法，把评价从零样本准确率转向"每瓦准确率"。

对做硬件的人，这意味着热预算要前置到架构设计阶段。等芯片选完、结构定完、再想办法压温度，能改的空间已经很小了。八十六度降到五十二度那种改善，靠的是运行时调度；而零点八五瓦这个上限，只能在架构阶段争取。

一句话

端侧 AI 的天花板不在算力表上，在外壳表面那十七开尔文的余量里。热阻定了，持续功耗就定了；持续功耗定了，能跑多大的模型也就定了。想突破，只有三条路：把热源摊开、把时间摊开、把换热系数抬上去。三条都不轻松，但至少方向是清楚的。

内容来源：MDPI Sensors（开放获取）；SCIRP 开放获取综述；ACM ImmerCom '26 会议论文（数据引自公开摘要）

原文标题：ThermWear: Thermal-Aware Backend Scheduling for On-Device Sustained DNN Inference；Edge-Centric Generative AI: A Survey on Efficient Inference for Large Language Models in Resource-Constrained Environments

作者：Zhihao Ren, Xiaoyu Fang, Tao Han, Nirwan Ansari（新泽西理工学院）

DOI：10.1145/3842656.3843822

配图说明：图 1、图 2 依据原文的热模型与调度架构描述自行绘制，为原理示意，非原文原图复制；主动散热数据引自厂商公开材料，未独立验证

改动声明：本文是对开放获取文献的技术编译与解读，用于中文技术传播；文中数据均取自原文，标题、行文与配图为原创

来源：21ic电子网