用PySerial做多串口数据聚合:同时采集16台嵌入式设备的运行日志
16台嵌入式设备同时出日志,最忌主线程轮询16个口:任一口阻塞、波特率不匹配、485竞争都会拖垮整体。工程做法是用PySerial给每个口起独立读线程,原始字节进队列,聚合进程打统一时间戳、按设备名分文件落盘,异常断线自动重连,必要时再转MQTT/InfluxDB。
一、端口白名单与参数表
先按VID/PID或固定/dev/ttyUSB*白名单锁定16台,避免扫到鼠标、4G模块:
import serial, serial.tools.list_ports
def pick_ports(allow_vid=None, whitelist=None):
out=[]
for p in serial.tools.list_ports.comports():
if whitelist and p.device not in whitelist: continue
if allow_vid and p.vid not in allow_vid: continue
out.append(p.device)
return out
DEVS=[
{"port":"/dev/ttyUSB0","baud":115200,"name":"dev01","parity":"N"},
{"port":"/dev/ttyUSB1","baud":9600, "name":"dev02","parity":"E"},
# ...按16台补齐,RS485可加rtscts=False、自定义收发切换
]
多口USB Hub要核实总带宽;RS485总线一台转换器挂多设备时,按从机地址轮询而不是当16个独立口。
二、单口读线程+生产消费队列
PySerial官方建议读放在后台线程,慢解析不要阻塞接收,避免缓冲区溢出。 每个口一个Reader,原始bytes投到全局queue,由聚合线程解码:
import threading, queue, time, serial, datetime
raw_q=queue.Queue(maxsize=200000)
class PortReader(threading.Thread):
def __init__(self, cfg):
super().__init__(daemon=True)
self.cfg=cfg; self.running=True; self.ser=None
def open(self):
self.ser=serial.Serial(self.cfg["port"], self.cfg["baud"],
parity=self.cfg["parity"], timeout=0.1, write_timeout=1)
self.ser.reset_input_buffer()
def run(self):
while self.running:
try:
if self.ser is None: self.open()
if self.ser.in_waiting:
buf=self.ser.read(self.ser.in_waiting)
raw_q.put((self.cfg["name"], time.time(), buf))
else:
time.sleep(0.001)
except serial.SerialException as e:
print(self.cfg["name"],"down",e);
try: self.ser.close()
except: pass
self.ser=None; time.sleep(min(2**self.reconn(),8))
def reconn(self):
self._n=getattr(self,"_n",0)+1; return self._n
timeout=0.1保证不永久阻塞;reset_input_buffer清掉旧残数据,避免上电脏日志。
三、聚合线程:时间戳、粘包、分文件
串口是字节流,行协议用换行切,二进制协议按头长/固定帧长切。统一用接收时刻打ISO时间戳,再按设备写独立日志:
import os
OUT="/var/log/serial_agg"
os.makedirs(OUT,exist_ok=True)
fps={}
def line_buffers():
return {}
lb=line_buffers() # name->str缓存
def aggregator():
while True:
try:
name,ts,buf=raw_q.get(timeout=1)
except queue.Empty:
continue
txt=buf.decode("utf-8","replace")
lb[name]=lb.get(name,"")+txt
while "\n" in lb[name]:
line,lb[name]=lb[name].split("\n",1)
stamp=datetime.datetime.fromtimestamp(ts).isoformat()
line=f"{stamp} [{name}] {line.rstrip()}"
f=fps.get(name)
if not f:
f=open(f"{OUT}/{name}.log","a",encoding="utf-8"); fps[name]=f
f.write(line+"\n"); f.flush()
非文本设备把txt换成hex或按帧解析;高吞吐可批量写、按大小滚动切文件,避免单文件过大。
四、16口并发启动与重连策略
threads=[PortReader(c) for c in DEVS]
for t in threads: t.start()
try:
aggregator()
except KeyboardInterrupt:
for t in threads: t.running=False
for f in fps.values(): f.close()
重连用指数退避但设上限;同一USB口频繁掉线先查线材、供电、HUB,别只靠脚本重连。白名单+设备自报SN可防止重插后端口错位,生产环境用udev规则把每台固定成/dev/ttyDev01之类。
五、向上游转发与可靠性
若做中心化监控,聚合后再发MQTT,别让16个读线程各自建socket:
import paho.mqtt.client as mqtt
mc=mqtt.Client(); mc.connect("broker.local",1883,60)
# aggregator里替换写文件:
# mc.publish(f"plant/{name}/log",line,qos=1)
断网时本地磁盘先落盘,恢复后按时间区间补传;关键告警单独入队,普通调试日志可降采样。工业场景还要处理485方向、Modbus异常码、CRC错误,日志聚合层只负责“不丢原始字节”,业务解析另写模块。
六、避坑
多口不要共用一个Serial对象,线程不安全;写命令走独立写队列,由对应口线程发送。
16口全115200、持续打印,先估总字节率;树莓派/工控机用独立USB控制器比单芯片分16虚拟口更稳。
readline()只适合严格行协议;变长帧用read(size)按协议状态机拼包,避免半包。
日志量大数据用SQLite/Parquet归档比纯文本方便,但实时排障仍保留按设备文本文件。
权限问题:debian系把用户加dialout,容器跑要挂/dev/ttyUSB*并给相应cap。
按“白名单开16口线程—原始字节入队—统一时间戳分设备落盘—异常指数重连—聚合后转MQTT”的架构,单台Linux工控机稳定聚合16台设备运行日志,既方便现场排错,也能直接接入后端运维平台。





