VLA 延迟 150 毫秒,控制带宽卡在哪
把端侧视觉语言动作模型的推理压到 42 毫秒,力控环才勉强摸到 3 赫兹。卡住的不是算力,是整条链路 150 毫秒的绝对延迟。提高推理频率这个动作,收益封顶只有半个控制周期,延迟不降,带宽就上不去。
一句话答案 控制带宽的硬上限等于两倍等效滞后时间的倒数。150 毫秒延迟配 5 赫兹控制,等效滞后 250 毫秒,2 赫兹处相位滞后 180 度,正好站在稳定边界上。
延迟换算成相位就一目了然
视觉语言动作模型(Vision-Language-Action,VLA)是指把相机图像与语言指令一起编码,直接输出关节动作序列的策略网络。它每输出一次动作,控制环就要多等一个周期。
延迟对控制环的伤害不在时间,在相位。频率 f 的控制环里,一段时延 T 带来的相位滞后是 360 乘 f 乘 T。2 赫兹的环配 100 毫秒延迟,滞后 72 度;配 200 毫秒,144 度,已经吃掉大半裕度。留 45 度裕度的话,2 赫兹环能容忍的纯延迟只有 187 毫秒。
截至 2026 年 10 月,公开的端侧 VLA 评测里,单次推理仍在百毫秒量级,延迟被当作部署约束而不是实现细节。
工程上还要加上零阶保持的半个周期。控制频率 5 赫兹时这个半周期是 100 毫秒,频率 10 赫兹时是 50 毫秒。真正进入相位算式的等效滞后时间,等于单次延迟加半个控制周期,150 毫秒加 100 毫秒等于 250 毫秒。
推理频率的杠杆有天花板
很多人把提高推理频率当成主要抓手。这个杠杆确实有用,但它的上限是固定的:频率再高,也只能把半个周期从 100 毫秒压到接近 0,能省的相位最多 180 度乘 f 再乘 100 毫秒。
按公开参数测算,链路分成六段:曝光与读出 8 毫秒,图像传输 2 毫秒,预处理 5 毫秒,推理 95 毫秒,动作后处理 10 毫秒,总线和伺服接口 30 毫秒,合计 150 毫秒。
用两个实例做流水线,控制频率从 5 赫兹提到 10 赫兹,等效滞后从 250 毫秒降到 200 毫秒,2 赫兹处的相位从 180 度降到 144 度,省下 36 度。这是频率能给的极限附近,再往上提,半个周期只剩 50 毫秒,没有多少可削。
延迟那一头没有上限
把单次推理从 95 毫秒压到 42 毫秒(56% 的降幅),整条链路从 150 毫秒降到 97 毫秒,等效滞后 147 毫秒,2 赫兹处的相位 106 度,比原版省 74 度,比只提频多省一倍。
延迟这一头没有天花板。云端方案 380 毫秒的延迟,把控制频率从 1 赫兹提到 10 赫兹,等效滞后从 880 毫秒降到 430 毫秒,2 赫兹处相位仍有 310 度,照样越界。频率救不了大延迟,这是两种旋钮的本质差别。
|
方案(2 赫兹力控环) |
单次延迟(毫秒) |
控制频率(赫兹) |
等效滞后(毫秒) |
2 赫兹相位(度) |
带宽上限(赫兹) |
判据 |
|
云端 VLA |
380 |
1 |
880 |
634 |
0.57 |
只能做任务规划 |
|
云端加提频 |
380 |
10 |
430 |
310 |
1.16 |
提频救不回大延迟 |
|
端侧原版 |
150 |
5 |
250 |
180 |
2.00 |
正在稳定边界 |
|
双实例流水线 |
150 |
10 |
200 |
144 |
2.50 |
只省 36 度 |
|
推理压缩 56% |
97 |
10 |
147 |
106 |
3.40 |
裕度 74 度,可用 |
|
压缩加感知提速 |
72 |
10 |
122 |
88 |
4.10 |
可进力控环 |
表注:等效滞后等于单次延迟加半个控制周期;带宽上限按相位滞后 180 度反解,即 1 除以两倍等效滞后;相位按 360 乘频率乘等效滞后计算,未计滤波器附加滞后。
感知占了延迟的三成
150 毫秒里推理占 95 毫秒,剩下 55 毫秒藏在相机与总线里。曝光 8 毫秒是硬开销,30 毫秒的总线与伺服接口却常被当成零。
一条 EtherCAT 从站链路,分布式时钟抖动在 1 微秒级,但动作从主站下发到关节电流环真正响应,中间还隔着位置环与速度环各一层滤波。两层一阶滤波在 2 赫兹处各贡献 15 到 20 度,和 25 毫秒延迟等价。
所以压缩延迟要按整条链路算。只盯推理,最多拿回 53 毫秒;把图像传输从千兆网换成相机直连,能再省 15 毫秒,代价是布线从一根网线变成三根线束。
这里有个容易算错的地方。总线周期 250 微秒看起来很干净,但从站收到动作指令到电流环真正输出力矩,中间还有插值与斜坡限制,实测常常是 10 到 20 毫秒。把这 20 毫秒当成零,相位预算就会少算 14 度(2 赫兹、20 毫秒)。
图 1 控制环里延迟、零阶保持与相位滞后的关系,标注为 2 赫兹、5 赫兹、150 毫秒工况(自行绘制,为原理示意,非原文原图复制)
频率与延迟不是两个独立旋钮
把推理频率当成独立指标,是端侧 VLA 部署里最常见的误判。通行说法是“跑到 10 赫兹就算实时”,这句话只在延迟已经够小时成立。推理频率的上限就是单次推理时间的倒数,10 赫兹要求单次推理在 100 毫秒内完成,150 毫秒的链路根本进不了 10 赫兹;能同时做到 10 赫兹与 150 毫秒的只有多实例流水线,它提高的是吞吐,延迟分毫未减,此时相位只靠半个周期那一段改善,36 度,占原版 180 度滞后里的两成。而把延迟从 150 毫秒压到 97 毫秒,省 74 度,是前者的两倍。
判断边界很清楚:当单次延迟超过半个控制周期,压延迟的收益一定大于提频率。5 赫兹时半周期 100 毫秒,小于 150 毫秒,属于这一侧;等到延迟压到 40 毫秒以下,半周期反而更大,提频率才开始划算。反过来说,任何声称“提频就能进力控环”的方案,只要单次延迟没降,都可以直接否掉。
图 2 不同等效滞后下相位滞后随控制频率的变化,180 度线为稳定边界(自行绘制,据公开参数按相位公式重绘,非原文原图复制)
失效场景:时间戳错位,相位算得再准也没用
一台双臂装配台把推理压到 45 毫秒,实测力控仍然抖,关节力矩上有 8 赫兹的持续振荡。
原因是图像时间戳打在相机触发时刻,动作在推理结束后才贴上去,两者相差一个曝光周期加传输时间,约 12 毫秒。这 12 毫秒在 8 赫兹处相当于 35 度额外滞后,正好把裕度吃穿。
处置办法是把时间戳改到曝光中点,并在动作里带上采样时刻,让伺服按时间对齐插值。改完之后振荡消失,同样的 45 毫秒延迟能稳住 2.5 赫兹。
这条经验对多相机系统同样成立。四路相机若各自用自己的曝光节拍,动作里贴的时间戳平均差半个帧,融合之后延迟方差能到 8 毫秒,比平均延迟更伤相位裕度。统一用主站的分布式时钟打戳,是省不掉的。
按约束走一遍选型
按以下约束走一遍选型:装配工位需要 2 赫兹阻抗控制带宽,相位裕度不低于 45 度,单臂控制器成本上限 3 万元,功耗不超过 60 瓦,机柜内环境温度 45 摄氏度。
候选三个。A 是云端 VLA 加本地伺服,单次延迟 380 毫秒。B 是 Jetson 级模组跑原生模型,单次 150 毫秒,控制 5 赫兹。C 是同一模组加推理压缩与相机直连,单次 72 毫秒,控制 10 赫兹。
逐项对比,A 的等效滞后 430 毫秒,2 赫兹处相位 310 度,等于把 2 赫兹环变成正反馈,只能做任务层规划。B 的相位 180 度,裕度为零,抓取会周期性过冲。C 的等效滞后 122 毫秒,相位 88 度,裕度 92 度,过线。
选定 C。代价是模型要做一次 56% 的推理预算压缩,按公开评测,任务成功率要预留 5 个百分点的余量;相机直连还要多两根线束,整机走线复杂度上升。风险在热:推理压到 42 毫秒要靠更大的批处理与更高频率的时钟,模组功耗从 35 瓦升到 52 瓦,45 摄氏度机柜里要加一块均热板,否则降频之后延迟又回到 80 毫秒以上。
if-then 判据:如果单次延迟大于半个控制周期,就先压延迟,别动频率,代价是牺牲模型规模或输入分辨率;如果延迟已经小于半个周期,再提频率才有意义,代价是功耗与散热。
一句话 VLA 能不能进力控环,看的是整条链路的绝对延迟,不是推理跑得多勤。
文献依据:以下开放获取文献为本文的延迟数据与评测口径来源,正文的表格、算式、案例与配图均为独立完成。
文献标题:Training-Free Inference-Budget Reduction in Flow-Matching Vision–Language–Action Models for Robot Manipulation: An Evaluation Against a Prespecified Task-Success Margin
作者:Jungwoo Lee、Jong-Deuk Lee、Young-Ho Choi、Goobong Chung
期刊卷期:Robotics,2026,15(11):227
DOI:10.3390/robotics15110227(CC BY 4.0)
第二来源:Wire-Level Interrupt-to-Decision Latency of On-Sensor MLC Versus Host Inference on the NVIDIA Jetson Orin Nano: A Preregistered Measurement Study,Akul Swami、Dnyaneshwar Sonawane,IEEE Sensors Letters,2026,10(11):7005304,DOI 10.1109/LSENS.2026.3743869(CC BY 4.0)
配图说明:两张配图均自行绘制,为原理示意或据公开参数重绘,非原文原图复制;图 2 的曲线按相位公式计算。
改动声明:基于开放获取文献的独立解读,标题、结构、行文、表格、案例与配图为原创。
来源:21ic电子网





