TensorRT与ONNX Runtime在Jetson Orin上的推理延迟对比：YOLOv8s INT8量化评估

在Jetson Orin这类边缘AI平台上部署YOLOv8s模型时，推理框架的选择直接决定了实时性能否达标。TensorRT作为NVIDIA官方推理引擎，与ONNX Runtime在这一硬件上的表现差异，并非简单的“谁更快”，而是涉及GPU/CPU架构隔离、量化策略和系统负载的多层次问题。

选型要点：GPU加速路径与CPU执行路径的根本分野

Jetson Orin平台的核心特点是CPU与GPU共享LPDDR5内存总线，但两者在执行推理时的资源竞争模式完全不同。TensorRT推理走GPU专用路径，通过DMA通道完成数据搬运，受CPU负载影响极小;ONNX Runtime若使用CPU执行提供者，则直接竞争CPU时间片、缓存和DRAM带宽。

在基准配置下(MobileNetV2，224×224输入)，TensorRT FP16路径的端到端平均延迟为10.6ms(P99为10.9ms)，而ONNX Runtime FP32在CPU上的平均延迟为14.5ms(P99为18.6ms)。当施加75% CPU负载时，ONNX Runtime延迟飙升至73.7ms(5.1倍于基准)，而TensorRT路径几乎不受影响，维持在约10.6ms。在综合负载(CPU 75% + 内存50% + BLE干扰)下，ONNX Runtime FP32的P99延迟达到104.0ms，超出10Hz临床周期预算65%，而TensorRT仍保持在11ms以内。两者在同硬件上的延迟差异达到9.8倍。

YOLOv8s INT8量化的实测数据

在Jetson Orin Nano上的实测数据更具参考价值。YOLOv8s在TensorRT INT8量化下的推理速度达到57 FPS(单帧约8.2ms)，FP16版本为48 FPS(约11.4ms)，PyTorch原始模型仅27 FPS。INT8量化使速度较FP16提升约19%，代价是mAP从44.7%略降至41.2%，精度损失约3.5个百分点。

在更高规格的Orin NX上，YOLOv8n(轻量版本)的INT8量化推理可达65 FPS，而YOLOv8s则表现稍低。相比之下，YOLOv8s若通过ONNX Runtime在Orin的CPU上运行FP32模型，在无负载时可达约14.5ms延迟，但在CPU负载下性能会急剧恶化。虽然ONNX Runtime可通过CUDA或TensorRT执行提供者调用GPU加速，但这本质上与直接使用TensorRT引擎无异，并会引入额外的图解析开销。

精度与延迟的权衡边界

TensorRT INT8量化的精度损失主要体现在小目标检测和复杂背景场景。研究显示，YOLOv8s经TensorRT INT8量化后，在COCO val2017上的mAP从44.9%降至约41.2%。若精度要求更高，可选择FP16量化，延迟仅比INT8高约19%(11.4ms vs 8.2ms)，而精度保留更完整。

一个值得注意的工程细节是：ONNX Runtime在使用CUDA执行提供者调用GPU时，存在额外的图解析和内存拷贝开销，其“GPU推理”本质上是将ONNX图翻译后通过CUDA执行，而非像TensorRT那样进行层融合和内核自动调优的深度优化。GitHub社区反馈表明，在Jetson Orin上通过ONNX Runtime的TensorRT执行提供者运行时，推理延迟可能出现偶发性尖峰，某些帧的延迟可达1393ms，这进一步证明了ONNX Runtime作为中间层的不确定性。

程序实现与部署建议

TensorRT INT8量化的典型部署流程为：PyTorch模型导出ONNX→trtexec或Python API构建INT8校准引擎→序列化为.engine文件→在Jetson Orin上加载推理。需要使用校准数据集(通常500-1000张代表性图像)来确定激活值的动态范围，TensorRT提供了熵校准器(Entropy Calibrator)和百分比最大校准器(Percentile Max Calibrator)等多种选择。显式量化模式允许用户通过插入QDQ节点精确定位量化层，在精度和性能之间获得更好的平衡。

ONNX Runtime在Jetson Orin上的部署流程为：PyTorch模型导出ONNX→使用ONNX Runtime加载模型，指定CUDAExecutionProvider或TensorrtExecutionProvider→直接推理。若选择ONNX Runtime CPU路径，则完全避免GPU依赖，适合对GPU资源竞争敏感的多任务场景;若选择TensorrtExecutionProvider，则能调用TensorRT优化，但需注意其实现的兼容性和偶发性延迟尖峰问题。

在系统负载不确定的边缘部署场景中，TensorRT GPU路径提供了显著的隔离优势——无论CPU任务如何干扰，推理延迟的P99始终控制在11ms以内。这对需要实时响应的工业质检、无人机避障和医疗边缘AI场景尤为关键。