机器人与人协作搬东西：力的信号要怎么和动作一起学

编译自 MDPI Machines 2026, 14(2), 249　·　开放获取 CC BY 4.0

两台机器人一起抬一件东西，或者一台机器人与人各抬一端，动作对不对不看轨迹像不像，看的是力。人往左使劲，机器人的手要跟着让一点，否则东西会被拧。这条判断线在视觉里看不出来，在力矩传感器里是明摆着的。

上海交通大学机械与动力工程学院的 Weiming Wang 在 Machines 上给出了一个做法：在动作分块变换器模型里加一条力的支路，并且让力和动作在同一个编码器里联合学习。文章的比较对象是作者自己搭的三套模型，从只吃视觉与关节状态的基线，到单独加一路力的版本，再到力与动作协同的版本。

力从哪里进入模型

模型的输入由四部分组成。力这一路由 50 个高频采样点组成，每点 6 个维度，先投影到 128 维隐空间，再压成一个 256 维的全局力特征，再落到 512 维。视觉一路用 DinoV2 提 768 维特征，经一层一乘一卷积映射到 512 维。末端执行器的 9 维状态直接线性投影到 512 维。这三路加上一个隐变量，拼成一条长度为 515 的统一输入序列，送进 4 层变换器编码器，位置编码对一维标记与二维视觉标记分开处理。

力还带一个自回归的预测分支。它以当前帧的 256 维力特征为输入，并行预测未来 50 帧的力。损失函数给时序做了加权，前 20 帧也就是短期预测的权重取 1.4，后 30 帧的长期预测取 0.9。这个设计对应一个具体需求：协作任务里，力比位置更早出现变化，把权重压在近期，等于让模型先学会跟着力走。

一百个示范案例

训练数据靠遥操作采集。操作员操纵主手控制一台机械臂，与人类操作员配合完成协同搬运，四名参与者各做同样的任务，动作轨迹各不相同。文章正是想要这种差异：需要学的是对力变化的感知，而不是复制一条固定路径。最终收集了 100 个高质量协作案例，每条记录包含双路相机信息、时间对齐的力传感信息与机器人末端位置，按 8 比 2 划分训练与测试，研究方案经上海交通大学伦理委员会批准，批号 20260054I。

传感配置上，两台 Intel RealSense SR300 相机以 15 赫兹采集，六轴力传感器以 1000 赫兹采集，两者相差近七十倍。信号先过二阶巴特沃斯低通滤波器，截止频率 10 赫兹，训练时再注入不超过最大值 3% 的随机噪声，再做最小最大归一化。相机与力传感器之间的采样率差距，是这类多模态系统必须处理的第一个工程问题，滤波与对齐做不好，力的高频分量会先被当成噪声丢掉。

图1　力-动作联合模型的四模块结构与 515 维输入序列的组成（依据原文第 3 节绘制）

误差和协作时间

三套模型在同一批数据上训练之后，平均轨迹预测误差分别是 0.0187、0.0181 和 0.0103。协同版本比基线低 44.9%，比仅加力通道的版本低 43.1%，误差标准差 0.0003，比基线降低一半，误差波动范围 0.0011，是另外两个模型的一半。

更能说明问题的是有效协作时间比例，定义为运动方向与交互力方向夹角小于 90 度的时间占比。基线 62.76%、独立力通道版本 64.32%、协同版本 75.43%，标准差从正负 13.30% 收到正负 4.87%，变异系数从 21.2% 降到 6.5%。协同版本在 72 次实验里的比例集中在 65% 到 87% 之间，最小值仍高于 65%；基线模型的波动范围达到 60 个百分点，从 30% 到 90% 都有。这两个数字放在一起看，结论不只是平均值更高，而是行为更可预测。

图2　三种模型的误差、有效协作时间比例与训练代价对比（依据原文表 3 至表 5 绘制）

多出来的训练时间

代价是算力。基线模型训练 7.2 小时，独立力通道版本 7.5 小时，协同版本 12.8 小时，接近前两者的两倍。训练配置是两块 RTX 4090、AdamW 优化器、批大小 32、最多 50000 步，骨干网络用低秩微调，每轮预测 50 步动作、执行前 10 步，累计执行 150 步。推理侧的代价小得多：单块推理延迟分别是 0.784、0.799 和 0.872 毫秒，差距不到 0.1 毫秒，都能满足机器人动作执行的实时要求。

作者自己列了几条限制。力数据的采集质量直接决定上限，多模态数据的时间同步与标注成本高；不同机器人平台与任务之间的泛化能力还没有验证；实验没有设计操作者的主观体验量表，所以有效协作时间比例更高这件事，与人的实际感受是否一致，文章没法回答。

把力从一条独立的支路挪进联合编码，本质上是承认了协作任务里动作与力互为因果。这个判断要在数据采集环节付出代价，因为力与视觉的时间尺度差着两个数量级，而它换来的模型在平均值和稳定性上都更好。

文章还把协同版本和几类已有方法做了定性比较。一类做法把重点放在复杂动力学建模或单纯的轨迹优化上，力只作为约束而不是学习目标；另一类把多模态信息做浅层融合，要依赖高精度传感器才能维持效果。协同版本的定位介于两者之间，用一次联合训练把力的预测与动作的生成绑在一起，传感器则用常见的六轴力矩计，硬件门槛不高。代价是训练时长翻倍，这一点在上面那组数据里已经露出来了。