通道剪到 168,端侧推理为什么白剪 24 个
把卷积通道从 256 剪到 168,参数量少三成四,端侧延迟只快三成三,跟剪到 192 一模一样。多剪的那 24 个通道换不回一微秒,只换来更低的精度。端侧剪枝的停点不是精度边界,是分块宽度。
一句话答案 端侧加速器按固定宽度分块算卷积,168 个通道占 6 个 32 宽的分块,与 192 个通道占同样多的块,耗时相同。要跨台阶,必须剪到 160。
参数量与延迟不成比例
结构化剪枝(Structured Pruning)是指按整条通道或整个卷积核为单位删减网络,得到的仍是规整的稠密张量,不需要稀疏索引。它与非结构化剪枝的区别在于删掉的是整条通道,硬件能直接跳过。
截至 2026 年 10 月,按公开评测,在 Jetson Nano 与 Hailo-8 这类端侧器件上,配合硬件对齐处理的标准剪枝平均延迟降幅 21.44%(多模型、多数据集、多稀疏度取平均),对应 1.27 倍加速。参数量砍一半,速度只多两成七。
同一份评测给了三条路。按延迟优化,平均降 21.44%;按精度优化,精度反涨 2.46%,延迟不动;折中方案降 7.46%,精度涨 1.32%。三条路的共同点是都要先知道目标板子的分块宽度,而这正是标准剪枝缺的一环。
差距来自两处。一处是分块,剪完的通道数落不到硬件分块的整数倍上,空位照样占时间;一处是阿姆达尔定律,卷积只占总延迟的一部分,其余是预处理、后处理与内存搬运。这两项在论文里常被合称部署开销,在板上却是可以分开量的。
阿姆达尔这一项可以先估。卷积占端侧检测模型总延迟的 65%,其余是图像缩放、色彩转换与后处理。卷积时间减半,总延迟变成 0.325 加 0.35 等于 0.675,加速 1.48 倍。实测 1.27 倍,差的 0.2 倍就是分块空转与内存搬运的固定开销。
分块宽度决定台阶位置
端侧加速器的卷积按固定宽度分块,常见 16、32、64 条通道一组。一组内的乘加在同一个周期并行完成,组里没填满,空位照样占一个周期。
于是一个 256 通道的层,剪到 192 是 6 个 32 宽的分块,剪到 168 也是 6 个分块。每块耗时相同,总耗时相同,差值只有每块里空着的通道数,从 0 变成 24。
按公开参数测算,延迟只认块数,不认块里的有效通道。加速比等于原块数除以新块数,256 通道的 8 块除以 6 块,1.33 倍。168 与 192 都是这个数。
内存受限的层是另一回事。3×3 深度卷积每输出一个点只做 9 次乘加,权重 9 个字节,算术强度不到 1,远低于端侧加速器的拐点。这类层剪掉三成通道,权重流量降三成,特征图读写一点没少,延迟只降一成以内。骨干网里深度卷积占比越高,整体收益越差。
|
剪后通道数 |
实际稀疏度 |
占用分块(宽 32) |
每块有效通道 |
理论加速比 |
判据 |
|
256 |
0% |
8 |
32 |
1.00 |
基线 |
|
224 |
12.5% |
7 |
32 |
1.14 |
对齐,可剪 |
|
192 |
25.0% |
6 |
32 |
1.33 |
对齐,推荐停点 |
|
168 |
34.4% |
6 |
28 |
1.33 |
与 192 同速,白剪 |
|
160 |
37.5% |
5 |
32 |
1.60 |
跨台阶,收益最大 |
|
128 |
50.0% |
4 |
32 |
2.00 |
跨台阶,精度代价高 |
表注:分块宽度按 32 通道取,对应 256 位向量寄存器装 int8;理论加速比按每块耗时相同、块数之比计算,未计非卷积层的固定开销。
168 与 192 一样快,精度却更低
这张表里最反直觉的是第三行和第四行。剪到 192,稀疏度 25%,延迟 1.33 倍;再往下剪 24 个通道到 168,稀疏度涨到 34.4%,延迟一动不动。
按参数量算,168 比 192 少了 12.5% 的乘加,理论上该再快 12.5%。实际上这部分算力落在分块的空位里,硬件不会因为它空着就少跑一个周期。
所以 168 这个停点是最差的选择:精度比 192 低,速度与 192 一样。要么停在 192 保住精度,要么一口气剪到 160 拿 1.6 倍。
还有一笔隐性成本。剪到 168 之后,工具链往往要插入补零或退回通用卷积核,因为 28 不是常见的内核展开宽度。这条路走下来,实测延迟有时比 192 还高 5%,属于典型的负优化。要么对齐,要么跨台阶,中间地带不要停。
稀疏度不是可以优化的目标
行业里习惯用稀疏度衡量剪枝方案,论文里也比谁在同样精度下剪得更多,这个指标在端侧是失效的。延迟与稀疏度之间没有单调关系:168 与 192 相差 24 个通道,稀疏度差 9.4 个百分点,延迟完全一样;160 只比 168 少 8 个通道,稀疏度差 3.1 个百分点,延迟却差 20%。稀疏度高的一方不一定更快,稀疏度低的一方也可能更快,把稀疏度当优化目标,等于在一条没有斜率的轴上找方向。这个结论对任何按块调度的加速器都成立,只是块宽从 32 换成 16 或 64 之后,台阶的位置跟着挪。
决定延迟的自变量是通道数除以分块宽度之后的余数,这个余数决定了每块里空几格。通行说法“剪到精度允许的边界”在端侧要改成“剪到分块对齐点,再决定要不要跨台阶”。这个判断可证伪:如果两个模型的稀疏度相差不到 4%、延迟差超过 15%,那就是分块在起作用;把不对齐的那个剪到相邻对齐点,延迟应当立刻跳到按块数算出的值。
图 1 通道数与分块宽度的对齐关系,标注 256、192、168、160 四档(自行绘制,为原理示意,非原文原图复制)
失效场景:剪完精度塌在一个类上
一个 8 类手势检测模型剪到 160 通道,整体精度只掉 0.8 个百分点,但“捏合”这一类的召回从 94% 掉到 71%,整机误触发率翻了三倍。
原因是剪枝打分按通道权重的 L1 范数排序,捏合手势依赖的几个高频纹理通道权重绝对值小,被优先剪掉。整体精度被其他七类摊平,看不出问题。
处置办法是把打分改成按类敏感度加权,对每个类单独算通道重要性再取并集,或者对弱势类重采样后重训。改完之后同样 160 通道,捏合召回回到 90%,整体精度掉 0.6 个百分点。
同类问题还有一层。剪枝后重训若只跑 30 轮,弱势类还没收敛,测试集上的召回看着回来了,装到整机上又掉。稳妥做法是重训轮数不低于原训练的三分之一,并在验收集里给每个类单独设门槛,不达标就回退到上一个对齐点。
图 2 不同剪后通道数下的加速比与精度损失,柱为理论加速比,折线为精度跌幅(自行绘制,据公开参数重绘,非原文原图复制)
按约束走一遍选型
按以下约束走一遍选型:AI 眼镜端侧手势检测,输入 640×480,8 类,目标单帧延迟 8 毫秒,NPU 分块宽度 32 通道,模型体积上限 3 兆字节,精度允许掉 1 个百分点。
延迟的换算基准先立起来:256 通道的基线在目标板子上 12.8 毫秒,8 个分块,每块 1.6 毫秒。后面所有数字都从这个基准推,不另起一套。
候选三个。A 是原模型 256 通道,延迟 12.8 毫秒,超预算。B 是剪到 168 通道,延迟 9.6 毫秒,仍超预算。C 是剪到 160 通道,延迟 8.0 毫秒,卡线。
逐项对比,A 与 B 都过不了 8 毫秒,B 只比 A 快 33%,剪枝的工程量大部分白费。C 的延迟正好 8 毫秒,精度掉 0.8 个百分点,模型体积 2.6 兆字节,都在约束内。
选定 C。代价是 8 毫秒没有任何余量,环境温度上来触发降频,延迟会跳到 11 毫秒,掉帧。缓解办法是把输入分辨率从 640×480 降到 512×384,特征图面积少三分之一,延迟留出 1.5 毫秒余量,代价是远处手势的召回再掉 2 个百分点。
验证只做一件事:在目标板子上跑十次冷启动,取第 95 百分位延迟,而不是平均值。平均值会被缓存命中拉低,端侧真正掉帧的是长尾。十次里若有两次超过 9 毫秒,说明对齐还没做干净,回去查逐层的块数。
if-then 判据:如果剪完的通道数不是分块宽度的整数倍,就继续剪到下一个对齐点,代价是精度多掉 0.2 到 0.5 个百分点;如果这一层是深度卷积这类内存受限层,就别剪,代价是白花两周工程量换不到 5% 延迟。
一句话 端侧剪枝的收益不在剪掉多少参数,而在剪完停在哪个能被分块整除的数上。
文献依据:以下开放获取文献为本文的实测延迟与优化策略口径来源,正文的表格、算式、案例与配图均为独立完成。
文献标题:Hardware-Aware Pruning for Efficient Inference on Embedded Devices
作者:Martin Lechner、Axel Jantsch
期刊卷期:IEEE Access,2025,13:189358–189371
DOI:10.1109/ACCESS.2025.3628133(CC BY 4.0)
配图说明:两张配图均自行绘制,为原理示意或据公开参数重绘,非原文原图复制;图 2 的加速比按分块规则计算。
改动声明:基于开放获取文献的独立解读,标题、结构、行文、表格、案例与配图为原创。
来源:21ic电子网





