NPU量化为何先坏在激活尾部？

量化部署出问题时，很多人先盯权重量化精度，真正先失真的却常是激活分布。NPU如果只把校准当成“给每层找个 scale”，激活尾部和重标定链条很快就会把少量异常值放大成整层误差。

激活比权重更难约束，原因在于它跟输入分布一起漂。卷积权重在离线阶段就固定了，激活却会受光照、背景、裁剪位置和前级层输出共同影响；一旦某些通道偶发出现长尾值，统一量化尺度就会被迫拉宽。尺度一宽，中间大量正常值又被挤进更粗的量化台阶，结果不是少数点失真，而是整片特征分辨率下降。模型表面上还能推理，边界样本却会先掉。

重标定溢出会让这个问题更隐蔽。很多执行链会在卷积后立刻做 bias 合并、激活函数和 requantize，如果中间尺度设计得太激进，乘法累积还没出错，后面的缩放和位移就可能先把高位截掉。更麻烦的是，某些实现为了省指令会把多步缩放合成一步近似，离线仿真误差看着不大，硬件上却因为舍入方向不同而累积偏差。现场误判往往来自这类“数值路径和框架不完全一致”的细缝。

逐通道量化能缓解部分问题，但并非全能。对通道差异明显的层，逐通道尺度确实能保住小信号分辨率；可一旦后续层要做跨通道融合、残差相加或共享后处理，尺度管理就会迅速复杂化。若编译器在合并路径时偷偷退回逐张量尺度，前面辛苦保住的分辨率又会被抹平。量化方案的可靠性，不只看单层误差，而要看整条图里尺度是否能稳定传递。

校准集偏窄也是常见陷阱。只用干净样本做校准，得到的阈值在实验室里很漂亮，现场一遇到强反光、局部遮挡或极端纹理就会爆尾。更合理的做法，是在校准集里刻意放入难样本，并把高风险通道的统计单独看，而不是只看全局均方误差。量化不是追求最均匀的数据，而是要覆盖最可能出错的输入边界。

阈值裁剪要带工程判断。把极少数尾部直接裁掉，常能换回大多数样本的分辨率，但前提是这些尾值确实不承载关键语义；如果它们恰好来自小目标、高亮点或罕见纹理，过度裁剪就会让召回率先掉。实践里更稳的是分层设策略：早期特征层谨慎裁剪，后期语义稳定层再适当压尾，而不是全图套一把剪刀。

对残差支路明显不平衡的网络，还应分别检查两条支路的尺度是否在同一数量级，否则相加前看似都没溢出，合流后却会把小信号整片吞没。

排查量化问题时，单看最终精度不够，应把各层饱和比例、通道级动态范围、requantize 前后误差和难样本失真位置一起拉出来。若错误总集中在少数层或少数通道，说明是尺度路径问题；若几乎全图都均匀变差，才更像整体位宽不够。把误差从“模型不好”拆回“哪一段数值链失真”，修复路径会短很多。

量化能不能稳，不是看权重压到几 bit，而是看激活尾部是否被有边界地管理。只要尺度传播和重标定先被算清，NPU上的低比特部署就不会因为少数长尾值把整层判断拖偏。