剪枝量化与低秩微调

编译自 MDPI Future Internet 2025, 17(9), 417

端侧推理这件事，难点从来不是「能不能跑」，而是「跑起来之后还剩多少」。一个几百亿参数的模型硬塞进手机或者嵌入式设备，内存装不下、算力跟不上、电池也扛不住。过去几年围绕这个问题长出来的技术很多，它们的共同点是把模型变小，但缩小模型这件事本身是有代价的，而每一种手段付出的代价并不相同。

四类压缩手段的分工

论文把边缘侧的模型优化手段归成四类：剪枝、量化、知识蒸馏和低秩分解。这四类不是互相替代的关系，它们作用的维度不一样，剪枝针对的是参数量，量化针对的是每个参数的表示位宽，蒸馏换的是模型容量，低秩分解改变的则是需要训练的参数规模。

剪枝的出发点是过参数化。神经网络里存在大量冗余连接，删掉它们对精度的影响很小，但能直接减少计算与存储。按粒度分，有权重剪枝、单元剪枝和结构化剪枝；按范围分，有层内优化的局部剪枝和面向整网效率的全局剪枝。论文给出的量化数字是：剪枝可以把训练好的网络参数降低最多 90%，同时保持精度水平。这条路线的代表起点是深度压缩研究，它把模型尺寸压缩了 35 倍 而没有牺牲性能，至今仍被当作边缘智能的奠基工作。面向大模型的后续方案里，SparseGPT 支持一次性准确剪枝，LLM-Pruner 则做结构化剪枝。

8 bit 之后还能降多低

量化是把浮点张量换成低精度表示，直接减小内存占用并加速计算。做法分两种。训练后量化不需要重新训练，直接对已训练好的模型做精度转换，实现简单，但可能带来精度损失；量化感知训练则在训练过程中就模拟量化操作，精度保持得更好，代价是训练成本更高。还有一种更细的划分是只量化权重，还是权重与激活一起量化，两者的难度差得很远。

收益是可以量化的：8 bit 整数量化相比 32 bit 浮点，模型尺寸约小 4 倍，计算速度提升 1.5 到 4.0 倍。位宽还能继续往下走，目前公开的方案覆盖 8 bit、4 bit、2 bit，直到 1 bit。极低位宽的代表是 BitNet 系列，1 bit 量化的核心思路是把矩阵乘法替换成整数加法，这对边缘推理的功耗与延迟都是数量级的改善。这类极端量化通常与知识蒸馏配合使用，用大模型的能力去弥补低精度带来的信息损失。

图1　量化位宽与相对存储占用、速度提升区间

蒸馏与低秩微调

知识蒸馏换的是模型容量。让一个小的学生模型去学习大教师模型的输出分布，而不是只学硬标签，学生能拿到类别之间的相对关系。举个例子，教师模型看到一张猫的照片，输出可能是 90% 的猫加 5% 的狗，这个软分布比一个 one-hot 标签携带更多信息，学生的泛化能力也会更好。按迁移的知识类型，可以分为基于响应、基于中间层特征和基于关系三类；更进一步的变体包括对抗蒸馏、多教师蒸馏、跨模态蒸馏，以及面向大模型的 MiniLLM 与多粒度结构蒸馏。论文里提到的联邦蒸馏，则是在边缘节点之间协作压缩模型而完全不共享原始数据。

低秩分解是近两年最活跃的一支，代表就是 LoRA 及其衍生方案。思路是把预训练权重冻结，在每一层插入可训练的秩分解矩阵，只训练一小部分参数。

· LoRA：冻结原权重，只训练低秩适配矩阵，可训练参数量大幅减少，是这类方法里最通用的一种。

· QLoRA：把 32 bit 的权重表示压缩到 4 bit 的量化空间，再结合动态精度切换维持训练效果。这一步对内存的节省是显著的，让大模型能在受限设备上完成微调。

· QA-LoRA：用量化与 LoRA 参数微调的组合，通过分组算子平衡适配器参数与量化参数之间的关系。

· DoRA：把预训练权重分解成幅度与方向两个分量，只针对方向做适配，从而在学习能力和训练开销之间取得更好的平衡。

图2　四类模型压缩手段的适用维度

联邦学习与运维的位置

模型压缩之外，还有一层问题属于系统侧。联邦学习让多个设备在不共享原始数据的前提下联合训练，基础算法是 FedAvg，即本地更新后由服务器聚合。针对设备异构带来的权重偏差，FedProx 加入正则项；FedPer 采用共享底层加个性化本地层的结构；FedOpt 引入自适应优化；此外还有双模型结构的 SplitFL、基于预训练全局细化的 FedTL 以及结合进化算法的 FedEL。开源实现方面，FATE 与 FedML 提供一体化框架，Flower 与 FLUTE 面向横向场景，CrypTen 走安全多方计算路线，FedTree 专做联邦决策树，NVIDIA FLARE 与 PySyft 则提供 GPU 加速支持。

运维体系也在向边缘延伸。边缘侧的 MLOps 被归纳为四根支柱：模型部署与实验、模型监控、生产部署，以及发布前的准备。对应的工具包括 MLFlow 做追踪与注册、Kubeflow 做容器化伸缩、MLReef 做协作、ZenML 做流水线简化、MLRun 提供标准接口、Seldon Core 负责部署接口。这套东西要解决的，是机器学习项目长期存在技术债的问题。

硬件层面的分层同样清楚。CPU 与 GPU 已经完全生产就绪；NPU 专为 AI 负载设计，并行处理矩阵运算，支持 INT4、INT8、FP16 等低精度格式，配高带宽内存，与 CPU、GPU 做异构协作。它们的作用是同时压低延迟与功耗，本地处理还顺带保住了隐私，这在医疗、汽车、工业场景里尤其重要。目前 NPU 已经在高通与苹果的移动设备上商用，但企业级的标准与生态仍在形成过程中。

怎么衡量才算合格

论文给出了一组评价指标的定义，这些定义值得留意，因为它们决定了优化方向。延迟是推理起止时间之差；吞吐是操作数除以耗时；单次推理能耗由平均功耗与推理时间的乘积除以推理次数得到；内存利用率是已用内存与总内存之比；可用性则由平均无故障时间与平均修复时间共同决定。基准测试上，论文提到 MLPerf 的边缘与移动测试集。

把这套指标和前面的技术对起来看，选型逻辑就出来了。延迟敏感的场景，比如自动驾驶，优先考虑量化与硬件感知的神经架构搜索；内存极度受限的场景，比如植入式微芯片，稀疏模型加二值化量化是更现实的选择；隐私敏感的场景，比如医疗，知识蒸馏更合适，因为它避免传输原始数据。论文补充的新兴手段包括联邦蒸馏、训练后量化与神经形态计算，整体思路是混合与自适应，也就是不再指望单一技术解决所有指标。

论文还点出了三个明显的研究空白：多模态模型的端侧部署、概念漂移条件下的流式学习、以及软计算技术与边缘编排框架的结合。这三块共同指向同一个事实，即端侧 AI 的瓶颈正在从「模型能不能压缩」转向「压缩之后系统能不能持续稳定运行」。对做端侧产品的团队来说，压缩率只是起点，真正决定体验的是精度、延迟、功耗与可维护性这几笔账能不能同时算平。