芯片稀疏计算，非零更少未必跑得更快

模型剪掉大量权重后，理论乘加次数下降，实际延迟和精度却未必改善。芯片加速器要分别处理非零元素分布不均造成的阵列空闲，以及长点积在低位宽累加器中的溢出，两者都不能由稀疏率概括。

规则阵列通常按行、列或固定块并行执行，某个处理单元完成自己的非零项后，若其他单元仍有较长列表，它只能等待同步。全层稀疏率相同的两个模型，只要非零在通道间分布不同，利用率就可能相差很大。索引解码和不规则访存还会消耗带宽，使节省的乘法被元数据搬运抵消。

结构化稀疏要求每个小组保留固定数量非零，硬件可用规则选择器保持吞吐，却限制训练自由度；完全非结构化剪枝压缩率更高，但需要复杂索引和动态调度。选择不能只看模型大小，应以目标阵列的分块方式统计每拍有效操作数、负载尾部和元数据字节，并把重排开销算入端到端周期。

动态工作窃取可把剩余非零任务转给空闲单元，但跨单元队列、结果归并和顺序控制会增加面积。分块过小，调度开销占比上升；分块过大，又无法消除局部失衡。更稳妥的编译策略是在离线阶段按非零分布重排通道，运行时只处理有限残差，同时确保重排与后续算子、残差连接和内存布局一致。

性能验证应构造相同稀疏率但不同聚集程度的矩阵，并分别报告峰值、平均和最慢处理单元的工作量。只用随机均匀稀疏模型会高估真实网络，因为注意力掩码、剪枝通道和专家路由常形成成片热点。若阵列利用率随分布方差快速下降，调度器必须把方差纳入编译成本。

数值路径的风险出现在乘积求和。输入和权重即使只有八位，一个卷积通道仍可能累加成百上千项，理论最坏和远大于单个乘积。若累加器位宽不足，二进制回绕会把大正值变成负值；饱和算术虽避免符号翻转，却会截平幅值，后续激活和归一化仍产生系统偏差。

根据平均校准样本选择位宽不够，极端输入、偏置项和稀疏重排后的求和顺序都可能改变峰值。分块累加并在块间缩放可降低范围需求，却引入舍入噪声；使用更宽累加器最直接，但增加面积、能耗和寄存器带宽。工程上应从每层最大有效扇入、量化尺度和符号范围推导上界，再用真实极值数据校核。

溢出检测也要可观测。仿真模型若默认无限精度累加，部署后才量化，无法暴露硬件回绕；参考模型必须逐拍复现截位、舍入和饱和位置。验证应统计每层饱和次数并回放触发样本，判断是校准范围不足、异常输入还是位宽设计错误。把少量溢出当成随机噪声，可能让安全相关类别稳定偏置。

编译器还要保证稀疏重排不改变数值契约。并行归约的加法顺序不同会改变定点舍入位置，零值跳过逻辑若误判压缩索引，则错误常表现为少量通道异常而非整体崩溃。可对每个稀疏块记录非零数量、预期累加范围和校验摘要，在仿真、仿真加速与实物间逐层比对。性能计数器同时给出空闲拍和饱和次数，才能判断优化是在省算力还是牺牲精度。

所以，稀疏收益取决于非零是否能均匀喂给阵列，推理正确性取决于部分和是否始终留在数值范围内。联合评估调度利用率与累加上界，芯片加速器才能把理论压缩兑现为可用性能。