人工智能机器人 未来世界万物触手可见

麻省理工学院计算机科学与人工智能实验室的研究人员称，可以通过触摸学习视觉的机器人触手。在将于下周在加州长滩举行的计算机视觉和模式识别会议上发表的一篇新发表的论文中，他们描述了一个人工智能系统，该系统能够根据触觉信号生成物体的视觉表征，并从视觉数据片段预测触觉。

“通过观察这一场景，我们的模型可以想象触摸到平坦表面或锋利边缘的感觉，”CSAIL的博士生、这项研究的主要作者李云柱(音译)说。“通过盲目地触摸周围，我们的模型可以纯粹从触觉来预测与环境的互动。把这两种感觉结合起来，可以增强机器人的能力，减少我们在操作和抓取物体时可能需要的数据。”

该团队的系统使用了GANs——由生成样本的生成器和试图区分生成的样本和真实样本的识别器组成的两部分神经网络——来基于触觉数据拼凑视觉图像。美联储从VisGel触觉样本，语料库超过300万对视觉/触觉数据包括12000视频剪辑的近200个对象(如工具、面料和家用产品),它熟悉的形状和材料的接触位置和回头参考图像“想象”的相互作用。

例如，给定鞋子的触觉数据，该模型可以确定鞋子最可能被触碰的位置。参考图像有助于对对象和环境的细节进行编码，使机器学习模型能够自我改进。它被安装在一个库卡机器人手臂上，带有一个触觉GelSight传感器(由麻省理工学院的另一个团队设计)，它将当前帧与参考图像进行比较，以确定触摸的位置和规模。

研究人员指出，目前的数据集只有在受控环境中进行交互的例子，他们说，一些细节，比如物体的颜色和柔软度，仍然很难让系统推断出来。不过，他们说，他们的方法可以为在制造环境中实现更无缝的人机一体化奠定基础，特别是在缺少视觉数据的任务中，比如关灯或工人盲目地把手伸进容器时。

“这是第一种能够令人信服地在视觉和触觉信号之间进行转换的方法，”加州大学伯克利分校(University of California at Berkeley)博士后研究员安德鲁欧文斯(Andrew Owens)表示。“像这样的方法有可能对机器人非常有用，你需要回答这样的问题，‘这个物体是硬的还是软的？’”或者“如果我提起这个杯子的把手，我的握力会有多好？”这是一个非常具有挑战性的问题，因为信号是如此不同，而这个模型已经显示出了巨大的能力。”