轻量Java在边缘网关上的应用:完成多协议工业数据的统一清洗转换
边缘网关接Modbus、OPC UA、MQTT、S7等异构源,核心不是“能连上”,而是把寄存器号、节点路径、Topic字段统一成一套点模型,再做量程、质量、时间、去重清洗,最后按标准JSON上送平台。协议解析与业务语义解耦,新增设备只注册适配器,上层不用改。
一、统一点模型
所有南向协议都转成同一结构,避免平台直接消费原始报文:
public class Point {
public String deviceId, pointId, unit, sourceProto;
public long ts;
public double value;
public String quality; // GOOD/BAD/UNCERTAIN/STALE
public int seq;
}
统一字段至少保留设备、点名、单位、时间戳、质量码、来源协议,OPC UA的Bad、Modbus校验错、MQTT超时都映射成quality,下游统计自动剔脏点。
二、多协议适配器
Modbus寄存器先做地址、字节序、量程归一:
public class ModbusAdapter {
public Point convert(String dev, int regAddr, int raw, String pointId, double zero, double full){
Point p=new Point();
p.deviceId=dev; p.pointId=pointId; p.sourceProto="modbus_tcp";
p.value=zero + raw*(full-zero)/65535.0; // 16位无符号线性量程
p.unit="eng"; p.ts=System.currentTimeMillis(); p.quality="GOOD";
return p;
}
}
OPC UA用Eclipse Milo订阅,回调里只取数值和质量,不写业务规则:
subscription.addDataChangeListener(item->{
Point p=new Point();
p.deviceId=item.getItemId(); p.pointId=item.getNodeId();
p.value=((Number)item.getValue().getValue()).doubleValue();
p.quality=item.getStatus().isGood()?"GOOD":"BAD";
p.ts=System.currentTimeMillis(); p.sourceProto="opcua";
pipeline.submit(p);
});
MQTT用Paho收JSON,按device/point展开成Point,Topic只做路由、语义放payload。
三、清洗管线
用过滤器链做量程、死区、越限、质量、时间戳归一:
public class CleanFilter {
double deadband, min, max;
long lastTs; double lastVal;
public Point filter(Point p){
if(!"GOOD".equals(p.quality)) return null; // 坏点丢弃
if(p.value<min||p.value>max) {p.quality="BAD"; return null;}
if(Math.abs(p.value-lastVal)<=deadband && p.ts-lastTs<5000)
return null; // 死区+最小周期抑噪
if(p.ts==0) p.ts=System.currentTimeMillis(); // 补网关时间
lastVal=p.value; lastTs=p.ts;
return p;
}
}
批量场景加(seq,device,point)去重,重连补传按seq幂等,避免MQTT重投产生重复遥测。
四、解耦与转发
采集和上行用有界队列,防止高并发把小内存网关打满:
BlockingQueue<Point> q=new LinkedBlockingQueue<>(20000);
public void submit(Point p){ if(!q.offer(p)) log.warn("drop,backpressure"); }
@Scheduled(fixedDelay=1000)
public void flush(){
List<Point> batch=new ArrayList<>();
q.drainTo(batch,500);
if(batch.isEmpty()) return;
String json=JsonUtil.toJson(batch); // 标准上行报文
mqtt.publish("plant/normalized",json.getBytes(),1,false);
}
断网时队列满后本地落SQLite,恢复后按ts补传;只缓存标准化点而不缓存各协议原包,存储和清洗逻辑都更简单。
五、小内存轻量落地
ARM网关1~2GB可用Spring Boot精简版,512MB级改Quarkus/Micronaut,原生镜像更省;JVM固定堆避免动态扩张:
java -Xms128m -Xmx256m -XX:+UseG1GC \
-XX:MaxMetaspaceSize=64m -XX:+AlwaysPreTouch \
-Dio.netty.allocator.numDirectArenas=2 \
-jar edge-clean.jar
原则:适配器无状态、Point对象池化、JSON用轻量库、定时批量而非逐点发布、质量/时效分离。这样Modbus老表、OPC UA新PLC、MQTT无线传感器可在同一网关完成“协议翻译+工程值转换+脏数据过滤+标准JSON上行”,平台侧只做业务,不背协议包袱。





