基于Python的嵌入式差分升级工具开发:自动生成固件差分包与校验文件
嵌入式OTA做差分,核心不是“算出差异”而是“可验证、可续传、可回退”。Python在PC/CI侧把old.bin、new.bin转成带元信息的补丁包,设备端只负责按基线版本解补丁、整包校验、写备份区,启动由Bootloader确认。小改动固件用bsdiff通常比整包小很多,弱网卡、NB-IoT、LoRa场景最划算。
一、差分包封装与元信息
不用裸patch,先定义包头:magic、算法、旧/新版本、分块大小、新旧SHA256、patch SHA256。这样设备端先校基线再解包,避免用错old。
import hashlib, json, os, struct, bsdiff4
def sha256_file(p):
h=hashlib.sha256()
with open(p,'rb') as f:
for blk in iter(lambda:f.read(65536),b''):
h.update(blk)
return h.hexdigest()
def build_delta(old, new, patch, meta_json, old_ver, new_ver, block=65536):
old_sha, new_sha = sha256_file(old), sha256_file(new)
bsdiff4.file_diff(old, new, patch) # 生成二进制补丁
patch_sha = sha256_file(patch)
meta={
"magic":"EMBDELTA1",
"algo":"bsdiff4",
"old_ver":old_ver, "new_ver":new_ver,
"old_sha256":old_sha, "new_sha256":new_sha,
"patch_sha256":patch_sha,
"block":block,
"patch_size":os.path.getsize(patch),
"new_size":os.path.getsize(new)
}
with open(meta_json,'w') as f:
json.dump(meta,f,indent=2)
# 包头二进制化,方便设备无JSON解析
head=struct.pack("<8s16s16sI", meta["magic"].encode(),
old_ver.encode().ljust(16)[:16],
new_ver.encode().ljust(16)[:16], block)
with open(patch,'rb') as f: data=f.read()
with open(patch+'.pkg','wb') as f:
f.write(head); f.write(data)
return meta
分块大小用于设备端续传和逐块写Flash;bsdiff对二进制固件友好,但链接地址重排会让补丁变大,固件应尽量可复现构建。
二、设备端解包与整包校验
设备拿到pkg后先读包头,比对当前固件SHA256是否等于old_sha,再解补丁生成new_recv,最后比对new_sha256:
import bsdiff4, hashlib
def apply_pkg(pkg, old_bin, out_new):
with open(pkg,'rb') as f:
head=f.read(struct.calcsize("<8s16s16sI"))
magic,old_ver,new_ver,block=struct.unpack("<8s16s16sI",head)
patch=f.read()
old=open(old_bin,'rb').read()
new=bsdiff4.patch(old,patch)
# 整包校验交给调用方比对meta.new_sha256
open(out_new,'wb').write(new)
return hashlib.sha256(new).hexdigest()
只传patch不校整包风险很高,损坏一位可能合成坏固件;生产环境整包再做ECDSA/RSA验签,patch传输层再上TLS/AES。
三、分块续传与断电保护
弱网不要把整patch一次下完。Python服务端按block切片,设备写状态文件记录offset,重启续传:
def slice_patch(pkg, block=65536):
chunks=[]
with open(pkg,'rb') as f:
while True:
b=f.read(block)
if not b: break
chunks.append(b)
return chunks
def save_progress(path, idx):
with open(path+'.prog','w') as f:
f.write(str(idx)) # 已成功写入的块数
设备端每写一块验CRC32/SHA256短摘要,全部收齐再解bsdiff;写备份区不碰当前运行区,断电重启用prog恢复,不重复下载。
四、A/B回滚与提交确认
差分合成出新固件后写secondary/SlotB,Bootloader校验整包hash+签名;首次启动标test,应用完成网络、传感器、关键任务自检后再confirm,否则回退SlotA:
def mark_test(img_header):
img_header['state']='test'
def confirm_if_ok(img_header, selftest_pass):
if selftest_pass:
img_header['state']='confirmed' # 类似MCUboot confirm
只看“能起机3秒”不够,业务线程、通信重连、存储挂载都要自检;未confirm超阈值,Boot自动回旧版本。
五、工程落地清单
基线唯一:服务器按old_ver+old_sha发补丁,设备版本不符直接下全量,禁止跨基线硬解;
可复现构建:固定链接脚本、关闭随机化,减少函数重排导致patch膨胀;
小RAM MCU不在片内跑bsdiff,PC生成、设备只做轻量apply,或改块级/hdiff流式;
校验分层:传输块CRC、patch SHA256、整包SHA256、发布签名四层都留;
回滚数据隔离:OTA区与用户配置区分开,升级不清参数;
CI自动产包:Git tag出new.bin→脚本比对上一_release旧bin→出patch+meta+全量兜底→上传OTA服务器。
按“Python封包元信息+bsdiff出差异+分块续传+整包/签名双校验+备份区合成+Boot确认回滚”,百台、千台嵌入式节点可做到省流量且不砖机。





