AR 和 VR 近眼显示要同时满足一长串指标：角分辨率、视场角、眼盒尺寸、焦距线索、透明度、虚拟图像亮度、形态因子、重量、色散。麻烦的地方在于这些指标彼此耦合，调整其中一个，往往会牵动另外几个。
一个不需要联网就能听懂指令的玩具，听上去是很小的需求。但把它落到硬件上，问题立刻具体起来：模型要塞进闪存，推理要在内存里跑完，延迟要低到人感觉不到，功耗还得让纽扣电池撑得住。这四个约束互相挤压，最后变成了一个在几十 KB 的尺度上做取舍的问题。
提到把 Transformer 放进单片机，行业里几乎条件反射地给出同一个答案：量化到 int8，激进一点就 int4。但量化本身要付出代价，量化感知训练需要校准集、需要重训，还需要在精度和位宽之间反复试，模型还没上板，先花掉一轮工程成本。
把模型烧进微控制器之后，它不再是一个可以随时更新的云端服务，而是一件被安装在设备里的实物。复制一份的成本，取决于设备被拆开之后能不能把权重读出来。训练这样一个模型要花几十万条数据、几周时间和一大笔算力，而一次成功的模型提取可能只要几天。这种投入产出上的不对称，是模型水印这门技术存在的理由。
把模型部署到设备上，事情只做了一半。训练时的数据分布和上线后遇到的不一样，光照变了、天气变了、拍摄角度变了，精度掉得比预期快。云端可以重新训练，端侧设备付不起反向传播的算力和时间。
电池供电的端侧设备大多活在同一个循环里：采一段数据，算一遍，把结果发出去，然后睡到下一个周期。这个循环看起来没什么可优化的空间，因为采样率是传感器定的，处理量是算法定的。但如果把主控的供电电压和时钟频率当成两个可以逐任务调整的参数，同一段程序在不同任务阶段用不同的配置运行，一个工作周期的总能耗会出现三分之一以上的差距。
导读： 端侧模型装不装得下，常被当成内存容量问题。真正决定上限的是另一条式子：可用于钉住权重的缓存，等于权重循环块总大小减去存储带宽乘允许延迟。一台 8 GB 的手机，系统只划出 256 到 512 MB 给这段循环；int4 量化下 15 亿参数要 0.75 GB，超出的部分每次换入就要几百毫秒，而生成一个 token 只给 80 到 125 毫秒。
导读： 一份在 Cortex-M4F 上部署的唤醒词对比里，最小的 DS-CNN 权重 11 968 字节，准确率 44.78%；50 kB 级的 Inception 做到 91.95%。更值得看的是内存：11.7 kB 的模型要用 102 400 字节的缓冲才跑得起来，差 8.6 倍。权重是给 Flash 看的，内存是给激活看的。
导读：讨论端侧算力时，参数表上写的是 TOPS 和能跑多大的模型。真机跑起来，限制往往出现在另一个物理量上：外壳表面温度。对戴在脸上的设备，这个上限不是芯片结温的一百度，而是皮肤能接受的四十度出头。
AI 眼镜的续航瓶颈，行业里有个大致公认的数字：整机电池容量普遍在 300 毫安时左右。这点电量要撑一整天的佩戴，还要让唤醒词检测一直在线、让端侧模型随时能跑。结果就是用户每天得充两三次电。要解决这个矛盾，先得搞清功耗都花在哪几个模块上，而这几个模块的账，各自有各自的算不清。
导读： 衍射光波导把光送进眼睛，实测效率只有 3.85%。想让眼盒中心达到户外可读的 1000 nit，光引擎得输出两万六千尼特。亮度账到这里还没完，像素缩到 4 微米以下，发光效率又要掉一截，功耗跟着翻上去。
导读：智能眼镜上的麦克风阵列，两只麦之间的间距受镜腿长度限制，撑死七厘米。这个尺寸决定了空间混叠的起点在 2.45 千赫，而辅音的能量正好落在这条线以上。把间距拉开能救低频，却把可用带宽切掉一半；把间距缩小能救高频，低频又彻底没有指向性。这是一个由形态决定的死结。
导读： 2:4 结构化稀疏的卖点是权重减半、算力翻倍。把这条放到端侧 NPU 上算一遍，两件事都不成立：权重并没有减半，因为每组要带索引；算力也不是瓶颈，因为 8 TOPS 配 25.6 GB/s 的机器，拐点在 312 次运算每字节，模型里没有一层够得着。稀疏在这里省的是带宽，能兑现的上限是 1.6 倍。
导读： 玩具一边放儿歌一边等你喊它的名字，这件事在算法上叫回声消除。多数讨论盯着混响时间，按房间 0.4 秒去配滤波器长度，动辄上万阶。玩具的声学环境不是房间，喇叭和麦克风只隔 8 厘米，混响短得多，但耦合强了 27 分贝。真正卡住端侧算力的不是尾长，是这 27 个分贝，以及喇叭失真给线性滤波器画的那条天花板。
