边缘AI多摄融合,时基比帧率更关键
多台相机都输出三十帧,并不意味着它们观察的是同一时刻。边缘AI做空间融合时,真正决定几何一致性的,是曝光时基和对象运动之间的关系。
软件收到帧的时间不能直接当作采集时间。图像从曝光结束到驱动回调,要经历传感器读出、总线传输、ISP处理和缓冲排队,这些阶段的延迟会随负载变化。若两路视频仅按到达时间配对,系统忙时就可能把相差一个周期的帧拼在一起。静止标定板仍会显示外参正确,运动目标却产生双影,随后被误判为深度异常或目标尺寸变化。
硬件触发能把曝光起点锁到同一脉冲,但还要核对触发传播与传感器内部延迟。不同型号可能在触发后等待不同数量的行周期,自动曝光也可能改变曝光长度,因此记录“触发沿”并不等于知道“有效观测时刻”。工程上应为每路相机标定曝光中心相对触发沿的偏置,并把偏置与帧号一同送入融合链路;跨板卡时还需测量振荡器漂移,避免运行数小时后慢慢错开。
同步质量应以时间残差转换成空间误差来验收。目标横向速度为v、两路曝光相差Δt时,位置差近似为v乘Δt;允许误差越小、对象越快,时间预算就越紧。用闪光LED或旋转编码盘同时进入各相机视野,可量出真实曝光差,而只比较驱动日志会把共同时钟的戳点误差隐藏起来。丢帧后也不能把下一帧强行补位,必须保留缺口并重新建立配对。
如果触发线无法覆盖全部节点,网络授时只能作为次级方案。精密时间协议可校正时钟频率与相位,但交换机排队不对称、时间戳位置不同和网卡驱动路径都会留下误差;软件时间戳尤其容易随负载抖动。部署前应明确授时精度上界,并设置失锁检测:偏差超过融合预算时,宁可暂停跨视角三角化,也不要继续输出看似完整的三维结果。恢复后还需重新确认帧号对应关系。对高速闭环,还应把授时告警直接纳入控制降级条件,不能只留在运维日志里。
即使相机同时开始曝光,滚动快门仍会让一幅图内部包含多个时刻。传感器逐行读出时,顶部和底部可能相差数毫秒;相机或目标高速运动后,直线会倾斜,不同视角的同名点也不再满足单一时刻的极线关系。直接用全局快门模型求深度,会把时序形变吸收到外参或物体姿态中,造成随速度变化的系统偏差。
边缘AI若能取得每行读出时间和惯性测量数据,可把像素回投到统一参考时刻。补偿链条是:由行号恢复曝光时刻,用陀螺仪和位移估计获得该时刻姿态,再按相机模型重采样。这个方法依赖IMU与相机外参、时钟偏移和运动估计质量;振动强、平移不可观或曝光严重模糊时,补偿不能凭空恢复细节,此时应缩短曝光或改用全局快门器件。
验收要覆盖速度方向和图像行方向的组合。水平运动可能主要表现为位置偏移,垂直运动更容易放大逐行时差;只在低速直线工况校准,会漏掉转弯、颠簸和频闪照明下的误差。应同时记录触发脉冲、帧号、曝光参数、IMU时间戳和融合残差,并检查温升后偏置是否变化。这样才能分清问题来自时钟、读出模型还是外参,而不是反复重标几何。
因此,多摄系统先要回答“各像素属于哪一刻”,再讨论更高帧率。把触发对齐与逐行补偿做实,边缘AI的融合结果才不会随运动速度漂移。





