当前位置:首页 > 物联网 > 智能应用
[导读]把各端参数取平均,既不保证训练稳定,也不意味着更新内容已经保密。人工智能联邦训练能否运行,需要分别约束本地优化产生的偏移,以及参与端掉线后安全聚合协议的恢复边界。

把各端参数取平均,既不保证训练稳定,也不意味着更新内容已经保密。人工智能联邦训练能否运行,需要分别约束本地优化产生的偏移,以及参与端掉线后安全聚合协议的恢复边界。

客户端漂移出现在各端优化目标明显不同的时候。例如,不同工厂生产不同产品,本地缺陷类别和背景分布也不一致;各端从同一全局参数出发,连续执行多步更新后,会分别靠近自身损失较低的区域。此时上传的参数差值不再等同于全局目标上的一次同步梯度。简单平均可能相互抵消有用方向,也可能让参与频繁、数据较多的客户端主导更新,造成整体指标反复波动。

增加本地训练步数通常能够减少通信轮次,但在分布差异较大时,也会放大更新方向的分离。只降低学习率可以缓和某些不稳定现象,却未必消除系统性的方向偏差。以控制变量为基础的校正方法,会估计本地与全局更新方向的差异,并在本地梯度步骤中加入修正,使多步训练不至于完全沿各自目标漂移。它需要额外维护状态,其效果仍依赖状态估计和实际参与机制。

客户端并非每轮都在线,因此校正量还可能滞后。工程实现要记录状态对应的模型轮次,不能把长时间未参与端的旧修正量当作即时全局方向。比较方案时,应保持参与率、每轮本地步数与通信字节预算一致,并分别观察全局平均指标和不同客户端的表现。全局收敛并不保证每端都受益;若业务要求强烈的本地差异,继续追求单一共享模型可能需要重新论证。聚合权重还必须与声明的总体目标相符,按样本数加权和按客户端等权代表不同目标。设备经常离线又会改变实际被采样的总体,因此参与偏差应单独测量,不能假定优化校正已经自动修复所有端的代表性问题。

方向校正解决优化问题,安全聚合解决服务器能看到什么。常见方案由客户端给更新向量加上成对抵消的随机掩码,再上传被遮蔽的向量。当参与关系满足协议条件时,各端掩码在求和中相消,服务器得到总和,却不能直接读取单个更新。数据留在本地只改变原始数据的传输方式,不能据此推导参数更新没有隐私信息;单独可见的梯度仍可能暴露训练样本的特征。

掉线会打破掩码抵消,因此协议通常提前分发恢复所需的秘密份额,在确认参与集合后按规则恢复相应掩码。关键不是让服务器恢复所有秘密,而是只释放完成聚合必需的信息,并维持针对存活客户端的隐私边界。人工智能系统实现时必须明确掉线发生的阶段、最少存活数量与串谋假设;若在线数量低于协议阈值,就应终止该轮,不能绕过检查上传明文补齐。

安全聚合还限制了服务器逐个检查更新的能力,异常更新检测与隐私目标之间因而存在取舍。它也不自动提供差分隐私,聚合结果本身仍可能泄露群体信息;是否另加噪声,要依据明确的保护目标设计。性能验收应分别测量密钥协商、份额交换、向量上传和掉线恢复时间,防止把协议通信误算为模型训练。对低带宽终端,握手和恢复成本可能决定可接受的客户端规模。

联邦训练应把优化收敛与协议保密分别验收。先限定本地更新的偏移,再验证掉线条件下只恢复必要信息,才有依据确定训练轮次与参与规模。

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除( 邮箱:macysun@21ic.com )。
关闭