导读： 端侧设备的电流表上有两个数：待机十几微安，工作峰值几十毫安，两头差一千多倍。效率是比值，待机时间是绝对值。一颗峰值效率 90%、静态电流 40 微安的降压芯片，在 12 微安负载下的实际效率只有 11.7%，待机天数比一颗峰值效率 80% 的开关电容方案少一半多。
导读： 端侧跑不动长上下文，常被算成模型太大的问题。缓存按层数乘宽度乘序列长度长，七 B 模型在四 k 上下文要 2.1 GB，八 k 要 4.3 GB，而 int4 权重只有 1.75 GB。把权重再压一半，缓存一点没少。
带语音的设备里，有一段代码是从不掉线的。麦克风一直开着，唤醒词检测一直在跑，等你说出那一句话。这个功能叫关键词识别，英文缩写 KWS，它的功耗直接决定了设备要靠多大的电池。把这件事塞进单片机执行，约束就更紧了。一篇被 IEEE Sensors 2025 收录的论文把这条流水线从头到尾测了一遍，得出的结论有点反直觉：光看模型准确率，选出来的方案可能并不省电。
端侧大模型这两年在文字上已经跑通了。一到几亿参数的小模型，量化之后能在手机 CPU 和 NPU 上流畅出字。可用户真正想要的，是让手机"看懂"东西。拍张照问它是什么，指着屏幕问它怎么操作，给它一段视频让它总结。
把大模型放进手机、PC，或者任何不带风扇的盒子里，是过去两年被反复提起的方向。厂商介绍端侧芯片时，习惯把算力标在最前面：多少 TOPS，能跑多大的模型，第几代 NPU。这个数字当然重要，但它掩盖了一个更硬的约束。一篇发表在 ISLPED 上的论文把端侧大模型的推理拆开测了一遍，发现真正的瓶颈不在算力，而在内存带宽，而且两者差了将近两个数量级。
导读： 4 微米像素对应 6350 PPI，一块 1080p 的光机只有 7.7 毫米宽，这是 AI 眼镜把显示塞进镜框的前提。发光效率不跟着这个尺寸走：复合电流本该从有源区的上下两个面走，侧壁却是非辐射复合的中心，像素越小，周长占的面积比越高。50 微米的像素侧壁只分走 2% 的电流，4 微米时是 20%，同样的亮度要多给四分之一的电流。
把大模型压到 4 比特，端侧才有机会跑起来。可每次压到 4 比特，都会撞上同一堵墙：权重看着还算正常，一到激活上，总有那么几个通道的数值比周围高出好几个数量级。这几个通道把量化区间整个撑大，别的通道就被压成了很小的台阶，精度自然掉下来。
