Mid-360 时间同步实操：雷达、IMU 与相机时间戳对齐调试方案

在把 Livox Mid-360（简称 Mid-360）和 IMU、相机等传感器放在一起做多传感器融合时，一个容易被忽视、却影响结果的关键问题是时间同步。Mid-360 的点云、IMU 的惯性数据、相机的图像，各自按自己的节奏和时间戳产生，如果它们的时间没有对齐，融合时就会把不同时刻的数据当作同一时刻使用，导致运动补偿不准、融合结果错位、定位漂移。做好时间同步，让雷达、IMU、相机的时间戳对齐，是多传感器融合正确运转的基础。这篇文章就从 Mid-360 时间同步的实际操作出发，拆解时间同步的原理、雷达与 IMU、相机时间戳对齐的调试方案，以及常见的坑。

先理解时间同步要解决什么

要设计时间同步方案，先要理解多传感器时间同步要解决什么问题，以及为什么时间不同步会出错。

多传感器系统里，每类传感器按自己的频率和数据协议产生数据，各自带时间戳：Mid-360 的点云有采集时间，IMU 的高频数据有采样时间，相机的图像有曝光时间。这些传感器各自的时间基准可能不同（有的是自己内部时钟、有的是主机系统时间），时钟可能有偏差、漂移，数据到达的时刻也不同。如果把这些时间戳没有对齐的数据当作同一时刻的数据来融合，就会引入时间误差。

时间误差的影响，在多传感器融合里很直接。比如运动补偿时，用某一时刻的 IMU 数据去补偿另一时刻扫描的点云，如果两者时间没对齐，补偿就会错；紧耦合定位（前面文章讲过）融合激光和 IMU，时间不同步会直接影响定位精度；激光和相机的融合，如果图像和点云时间不对齐，投影对齐就会错位。时间同步，就是让各传感器的时间戳对齐到统一的时间基准、并且同步各传感器数据的对应时刻，消除这些时间误差。

理解时间同步要解决的是"时间基准统一和时间戳对齐"，就能围绕这个设计调试方案。

雷达与 IMU 的时间同步

Mid-360 和 IMU 的时间同步，是激光惯性融合的基础，主要靠时间戳对齐和运动补偿来落实。

Mid-360 内置了 IMU，它输出的 IMU 数据和点云在设备内部就有时间关系，但要把这两者用好，还是要确认时间同步正确。Mid-360 的点云是随时间累积的，每个点对应设备扫描过程中的不同时刻，IMU 数据高频地测量设备运动，要用 IMU 数据去补偿点云的运动畸变，前提是知道每个点对应什么时刻、该用哪一段 IMU 数据，这就依赖点云和 IMU 的时间对齐。

调试雷达与 IMU 时间同步时，要确认几个方面。一是时间基准统一：确认点云和 IMU 数据用的是同一个时间基准，或者做了正确的时钟换算，避免两类数据各自用不同的时钟。二是时间戳对应关系正确：确认每帧点云的时间戳、以及它覆盖的时间范围，和对应时段的 IMU 数据能正确对应，运动补偿时取用的 IMU 数据时段正确。三是用运动补偿效果验证：时间同步是否正确，最终反映在运动补偿的效果上，时间同步准，运动补偿后点云清晰、无畸变；时间同步不准，运动补偿后点云仍有畸变、错位。调试时可以结合 IMU 数据观察点云去畸变的效果，判断时间同步是否到位。

激光与相机的时间同步

激光和相机融合（比如激光点云和图像投影对齐）也需要时间同步，把两者的时间戳对齐。

激光和相机各自按自己的频率产生数据，相机的图像有曝光时刻，激光的点云有采集时刻。要融合它们（把点云投影到图像上、或者用图像辅助点云），就要让图像和点云对应到同一时刻，时间不同步会导致投影错位、物体位置对不上。

调试激光与相机时间同步时，要确认几个方面。一是确认相机时间戳的准确性和一致性，相机图像要带准确的曝光时间戳，时间戳不准、或者相机的时钟和系统不一致，都会造成时间错位。二是建立激光和相机的对应关系，确认某一帧点云和某一帧图像在时间上对应，融合时取用的是同一时刻的数据。三是在运动场景下验证，时间同步的误差在静止时不明显，在运动时（物体在动、或者设备在动）会放大，要在运动场景下观察激光和相机的投影是否对齐，判断时间同步是否到位。运动场景下激光和相机投影错位，往往就是时间同步的问题。

时间同步调试的整体方案与常见坑

把雷达、IMU、相机的时间同步放在一起做，要有一套整体调试方案，并避开常见的坑。

整体方案上，先统一时间基准：把各传感器的时间戳换算到统一的主机时间基准，或者利用硬件时钟同步（PTP 等）让各传感器时间一致，保证所有数据在同一个时间体系里。再做各对传感器的时间对齐：分别确认点云和 IMU、点云和相机的时间戳对应关系。最后用融合效果验证：通过运动补偿、投影对齐、融合定位的实际效果，验证时间同步是否准确。这套流程，从基准统一到逐对对齐、再到效果验证，把时间同步做扎实。

常见的坑有几个。一是各传感器时钟漂移：传感器运行久了内部时钟会漂移，时间同步不是一次就固定，要定期检查、必要时重新对齐。二是忽略时间基准不一致：不同传感器可能默认用自己的时钟，不统一基准就对不齐，要明确换算关系。三是只用静止场景验证：时间同步误差在静止时难发现，要用运动场景验证，否则会漏掉时间不同步的问题。四是硬件触发和时间戳的配合：硬件触发拍照、扫描要和正确的时间戳配合，触发和时间戳不匹配也会造成时间错位。

整体来看，Mid-360 的时间同步，是让雷达、IMU、相机的时间戳对齐到统一时间基准，消除多传感器融合的时间误差。雷达与 IMU 的时间同步，通过确认时间基准统一、时间戳对应正确、并用运动补偿效果验证来落实；激光与相机的时间同步，通过确认相机时间戳准确、建立激光相机对应关系、并在运动场景下验证投影对齐来落实。整体调试要按"统一时间基准-逐对时间对齐-融合效果验证"的流程推进，并注意时钟漂移、时间基准不一致、只用静止场景验证、触发与时间戳配合这几个常见坑，才能让多传感器融合建立在准确的时间同步基础上。