嵌入式AI流水为何错拍？时间戳怎么对齐？

摄像头、麦克风和执行器都能按时工作，并不代表推理结果活在正确时刻。嵌入式AI一旦把流水线排队和时间戳混在一起，闭环就会拿过去的画面控制未来的动作。

流水错拍首先来自队列深度被隐藏。图像从曝光结束到 ISP 输出，中间要经过去噪、缩放、颜色转换和缓冲排队；再进入 NPU 后，推理任务可能还在等待上一帧完成，后处理又会把框选、跟踪和阈值判断继续向后推。若系统只在应用线程读到帧时打时间戳，就把前面所有物理延迟都抹掉了。控制算法以为自己处理的是当前画面，实际目标可能已经移动了几十毫秒。

更糟的是，排队延迟并不固定。高分辨率帧、曝光切换、内存拥塞或另一个模型抢占 NPU，都会让某一帧比前后帧慢。若系统为了追赶实时性随意丢帧，还可能出现后处理结果与原始帧序号错位，上一帧的检测框被贴到下一帧画面上。嵌入式AI流水线要先给每个缓冲带上不可变序号，并记录采集完成、预处理完成、推理开始、推理结束和输出生效的时间点，才能判断错拍发生在哪一级。

时间戳对齐的关键，是把戳点放在物理事件上，而不是放在软件拿到数据的时刻。相机应优先记录曝光中心或帧同步沿，麦克风记录采样块首样本，惯性传感器记录数据就绪中断；如果只能在驱动层打戳，也要把传感器内部 FIFO 深度折算进去。多传感器融合时，统一时钟源比统一线程更重要，因为线程调度只保证处理顺序，不能保证数据属于同一时刻。

输出侧同样要建模。识别结果写进控制任务后，动作还要经过滤波、仲裁、总线发送和执行器内部周期，实际生效时刻会继续滞后。若只补偿采集到推理结束的延迟，而忽略指令落地延迟，系统仍会出现相位不足或目标过冲。对移动机器人、视觉分拣和手势控制，真正需要对齐的是“对象状态被观察的时刻”和“控制量作用于对象的时刻”。

缓冲策略也要服务于时间一致性，而不是只服务于吞吐。三缓冲可以减少阻塞，却会让过期帧更容易滞留；最新帧覆盖策略能降低延迟，却可能丢掉跟踪算法需要的连续性。若后处理依赖历史轨迹，就必须在丢帧时显式标注时间间隔，不能假装帧率仍然恒定。否则预测器会把采样间隔错误当成目标加速度变化。

验证这类问题时，应把时间线打印和外部量测结合起来。用硬件触发信号同时打到传感器输入和示波器，再让软件日志记录每个阶段时间，能够分清是采集戳点漂移、NPU排队变长，还是执行器响应慢。跨时钟域系统还要周期性校准时钟偏差，否则长时间运行后时间戳会缓慢分叉；记录格式也要保留帧序号，便于发现乱序和重复消费，必要时还要保留丢帧原因。只用视频回放看结果，往往会把时延问题误判成模型精度不足。

因此，实时推理不是越快越好，而是每个结果都要知道自己代表哪一刻。把戳点、队列和输出延迟对齐，嵌入式AI才不会在闭环里错拍。