导读： 端侧设备的电流表上有两个数：待机十几微安，工作峰值几十毫安，两头差一千多倍。效率是比值，待机时间是绝对值。一颗峰值效率 90%、静态电流 40 微安的降压芯片，在 12 微安负载下的实际效率只有 11.7%，待机天数比一颗峰值效率 80% 的开关电容方案少一半多。
导读： 端侧跑不动长上下文，常被算成模型太大的问题。缓存按层数乘宽度乘序列长度长，七 B 模型在四 k 上下文要 2.1 GB，八 k 要 4.3 GB，而 int4 权重只有 1.75 GB。把权重再压一半，缓存一点没少。
导读： 一份在 Cortex-M4F 上部署的唤醒词对比里，最小的 DS-CNN 权重 11 968 字节，准确率 44.78%；50 kB 级的 Inception 做到 91.95%。更值得看的是内存：11.7 kB 的模型要用 102 400 字节的缓冲才跑得起来，差 8.6 倍。权重是给 Flash 看的，内存是给激活看的。
导读： 玩具一边放儿歌一边等你喊它的名字，这件事在算法上叫回声消除。多数讨论盯着混响时间，按房间 0.4 秒去配滤波器长度，动辄上万阶。玩具的声学环境不是房间，喇叭和麦克风只隔 8 厘米，混响短得多，但耦合强了 27 分贝。真正卡住端侧算力的不是尾长，是这 27 个分贝，以及喇叭失真给线性滤波器画的那条天花板。
导读： 端侧模型装不装得下，常被当成内存容量问题。真正决定上限的是另一条式子：可用于钉住权重的缓存，等于权重循环块总大小减去存储带宽乘允许延迟。一台 8 GB 的手机，系统只划出 256 到 512 MB 给这段循环；int4 量化下 15 亿参数要 0.75 GB，超出的部分每次换入就要几百毫秒，而生成一个 token 只给 80 到 125 毫秒。
导读： 2:4 结构化稀疏的卖点是权重减半、算力翻倍。把这条放到端侧 NPU 上算一遍，两件事都不成立：权重并没有减半，因为每组要带索引；算力也不是瓶颈，因为 8 TOPS 配 25.6 GB/s 的机器，拐点在 312 次运算每字节，模型里没有一层够得着。稀疏在这里省的是带宽，能兑现的上限是 1.6 倍。
导读： 衍射光波导把光送进眼睛，实测效率只有 3.85%。想让眼盒中心达到户外可读的 1000 nit，光引擎得输出两万六千尼特。亮度账到这里还没完，像素缩到 4 微米以下，发光效率又要掉一截，功耗跟着翻上去。
导读：智能眼镜上的麦克风阵列，两只麦之间的间距受镜腿长度限制，撑死七厘米。这个尺寸决定了空间混叠的起点在 2.45 千赫，而辅音的能量正好落在这条线以上。把间距拉开能救低频，却把可用带宽切掉一半；把间距缩小能救高频，低频又彻底没有指向性。这是一个由形态决定的死结。
导读：讨论端侧算力时，参数表上写的是 TOPS 和能跑多大的模型。真机跑起来，限制往往出现在另一个物理量上：外壳表面温度。对戴在脸上的设备，这个上限不是芯片结温的一百度，而是皮肤能接受的四十度出头。
把大模型压到 4 比特，端侧才有机会跑起来。可每次压到 4 比特，都会撞上同一堵墙：权重看着还算正常，一到激活上，总有那么几个通道的数值比周围高出好几个数量级。这几个通道把量化区间整个撑大，别的通道就被压成了很小的台阶，精度自然掉下来。
端侧大模型这两年在文字上已经跑通了。一到几亿参数的小模型，量化之后能在手机 CPU 和 NPU 上流畅出字。可用户真正想要的，是让手机"看懂"东西。拍张照问它是什么，指着屏幕问它怎么操作，给它一段视频让它总结。
把大模型放进手机、PC，或者任何不带风扇的盒子里，是过去两年被反复提起的方向。厂商介绍端侧芯片时，习惯把算力标在最前面：多少 TOPS，能跑多大的模型，第几代 NPU。这个数字当然重要，但它掩盖了一个更硬的约束。一篇发表在 ISLPED 上的论文把端侧大模型的推理拆开测了一遍，发现真正的瓶颈不在算力，而在内存带宽，而且两者差了将近两个数量级。
带语音的设备里，有一段代码是从不掉线的。麦克风一直开着，唤醒词检测一直在跑，等你说出那一句话。这个功能叫关键词识别，英文缩写 KWS，它的功耗直接决定了设备要靠多大的电池。把这件事塞进单片机执行，约束就更紧了。一篇被 IEEE Sensors 2025 收录的论文把这条流水线从头到尾测了一遍，得出的结论有点反直觉：光看模型准确率，选出来的方案可能并不省电。
AI 眼镜的续航瓶颈，行业里有个大致公认的数字：整机电池容量普遍在 300 毫安时左右。这点电量要撑一整天的佩戴，还要让唤醒词检测一直在线、让端侧模型随时能跑。结果就是用户每天得充两三次电。要解决这个矛盾，先得搞清功耗都花在哪几个模块上，而这几个模块的账，各自有各自的算不清。
把模型烧进微控制器之后，它不再是一个可以随时更新的云端服务，而是一件被安装在设备里的实物。复制一份的成本，取决于设备被拆开之后能不能把权重读出来。训练这样一个模型要花几十万条数据、几周时间和一大笔算力，而一次成功的模型提取可能只要几天。这种投入产出上的不对称，是模型水印这门技术存在的理由。
