当前位置:首页 > 消费电子 > 消费电子

当前具身智能规模化落地的核心瓶颈,并非视觉识别精度不足,而是物理接触感知能力缺失。市面上绝大多数机器人依赖纯视觉方案,可精准识别物体位置、形态,但无法感知接触力度、受力位置、滑移状态、挤压形变等物理交互信息,直接导致插拔、抓取、折叠、装配等精细化实操任务频繁翻车,无法适配工业量产、家庭服务等真实复杂场景,这也是制约具身智能从技术演示走向产业落地的核心痛点。

针对行业核心技术短板,新智具身联合复旦大学可信具身智能研究院,发布Neo-Foundation、Neo-VTLA、Neo-TWAM三套完整触觉技术体系,从数据底座、融合算法、认知模型三层完成全栈技术突破,构建“数据标准化+实时预判+物理认知”的完整触觉能力闭环,为全行业提供可直接落地、可开源复用的具身智能解决方案。

Neo-Foundation:统一触觉数据标准,搭建行业通用交互数据底座

行业痛点

市面触觉传感器硬件品类繁杂,凝胶形变、电容矩阵、六维力等各类数据格式互不兼容,数据碎片化严重,无法跨设备、跨机器人、跨场景融合训练,导致触觉模态难以规模化复用,长期沦为视觉的辅助补充。

技术方案与核心优势

团队构建的NeoData大规模视觉-触觉交互数据集,打造行业首个标准化触觉数据基座,核心参数行业领先:覆盖6类主流机器人本体、450项全场景长程任务,累计3万小时实操数据、140万条操作片段,整合百亿级视觉与触觉帧数据,场景覆盖居家服务、工业装配、精密操作等核心落地场景。

搭配自研NeoForce统一表征算法,实现底层硬件无关的标准化触觉表征,可精准输出受力位置、接触力度、横向拉扯、滑移趋势等核心物理信息,彻底解决跨设备数据融合难题。该方案可为机器人研发厂商、自动化企业、科研机构提供标准化训练数据与通用感知模型,大幅降低触觉感知技术的研发落地门槛。目前项目已开源5千小时高质量数据,可供行业客户直接部署复用。

Neo-VTLA:轻量化视触语言动作模型,实现触觉预判与失败自主迭代

行业痛点

传统VLA模型简单拼接视觉与触觉信号,高频瞬时的触觉信息极易被海量视觉Token淹没,且仅能反馈已发生的动作结果,属于滞后性感知,无法应对动态物理交互场景;同时传统模仿学习仅依赖成功案例,无法从实操失误中迭代优化,长程复杂任务稳定性极差。

技术方案与核心优势

Neo-VTLA创新引入潜在触觉Token压缩+未来50步触觉预判机制,摒弃传统滞后感知模式,通过轻量化编码压缩触觉特征,结合视觉上下文预判物理交互趋势,提前调整动作策略,从“事后纠错”升级为“事前预判”,彻底解决动态交互滞后问题。工程落地效果显著:精密插拔类任务成功率实现跨越式提升,插插头任务成功率85%、拔钥匙任务成功率99%,远超纯视觉方案。同时创新构建任务进度评估模型,可精准识别任务执行、退步、救场等复杂行为,结合离线强化学习实现失败数据自主进化,让毛巾折叠、纸箱收纳、精密组装等长程任务成功率翻倍提升,完美适配商用服务机器人、工业柔性装配机器人的落地需求,兼顾轻量化、高精度、高稳定性三大核心优势。

Neo-TWAM:触觉原生世界模型,解决仿真与真机落地“虚实脱节”难题

行业痛点

现有AI世界模型仅聚焦未来视觉画面生成,缺失触觉、动作耦合信息,无法理解物理世界的受力逻辑,导致仿真测试效果优异,但真机落地时频繁出现夹持不稳、卡位卡顿、操作失效等问题,虚实对齐难度极大,严重制约高阶具身智能的落地应用。

技术方案与核心优势

Neo-TWAM是行业领先的触觉原生世界动作模型,打破单一视觉生成范式,实现视频、触觉、动作三序列异步协同预测,让机器人具备“触觉想象”能力,在执行任务前即可完整推演全流程物理交互效果,精准预判接触状态与受力变化。

模型采用混合专家轻量化架构,拆分视频、触觉、动作三大独立专家网络,在保证高精度预测能力的同时,将参数量压缩至72亿,仅为传统方案的一半,大幅降低终端部署算力成本。实测数据验证技术优势:仿真场景成功率84.5%,真机8项核心任务平均成功率46.3%,较传统视觉世界模型实现数倍提升。消融实验证实,触觉预测是模型物理交互能力的核心支撑,缺一不可。

行业价值总结

三套技术体系层层递进、完整闭环:Foundation解决触觉数据标准化、规模化问题,搭建行业通用底层基建;VTLA解决实时物理交互、动态预判迭代问题,适配轻量化商用落地;TWAM解决机器人物理认知、虚实对齐问题,拔高具身智能认知上限。

本次技术突破彻底改写行业技术范式,推动具身智能从“视觉认知”迈向“视触融合全维度物理认知”,有效解决居家服务、工业精密装配、智能仓储等多场景落地痛点,为机器人厂商、自动化企业、科研机构提供全套可开源、可落地、可迭代的触觉具身智能解决方案,加速行业商业化落地进程。

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除( 邮箱:macysun@21ic.com )。
换一批
延伸阅读

随着大模型技术深入物理世界,物理AI(Physical AI)正成为人工智能进化的终极形态。从实验室里的人形机器人、到路上的自动驾驶汽车、再到繁忙的智能工厂,AI正在从虚拟的逻辑推理,演变为能够感知、决策并实时改变物理世...

关键字: 物理AI 具身智能 AMD AAI

具身机器人与人形机器人的研发是一个复杂的系统工程,涉及感知、决策、执行等多个环节。这类设备对芯片提出了极高的综合要求,包括高性能、低功耗以及极具竞争力的成本结构。传统的通用芯片往往难以在满足高性能计算的同时兼顾低功耗与低...

关键字: 自动驾驶 具身智能 RISC-V 定制芯片

随着人工智能技术的演进,AI正在从屏幕中的数字交互迈向具备物理实体的感知与执行,具身机器人作为人工智能的终极形态之一,正逐渐成为半导体与智能化产业关注的焦点。在复杂的物理环境下,机器人不仅需要处理海量的多模态感知数据,还...

关键字: 具身智能 人形机器人 芯原 定制芯片平台

在具身智能的演进路径中,多模态大模型(VLA)的出现为机器人注入了理解与规划的“灵魂”。然而,将复杂的感知、理解、动作与规划整合进单一模型,在物理世界中面临着严峻的实时性挑战。具身机器人在复杂的现实环境中,必须在毫秒级的...

关键字: DSP 具身智能 芯原

在通用人工智能与机械电子深度融合的浪潮下,具身智能机器人正经历从简单的自动化工具向高度感知、决策与交互的复杂系统转化的过程。这种转化的背后,是对机器人“数字大脑”算力效率的极致追求。感知、决策与交互的闭环,本质上依赖于强...

关键字: 具身智能 NPU GPGPU 芯原

在人工智能从虚拟走向现实的演进过程中,具身智能正成为科技变革的核心驱动力。作为机器人感知世界的首个物理窗口,视觉系统的优劣直接决定了机器人在复杂物理环境中的生存与协作能力。随着移动影像技术的跨越式发展,ISP(图像信号处...

关键字: CPP2000 芯原 ISP 具身智能

具身智能通过感知前端与执行后端的闭环,正在重塑半导体、自动驾驶与通用制造的边界。这种“有身体的智能”不仅要求极高的边缘计算能力与超低延迟控制,更通过跨行业的供应链协同,开启了一场关于形态、算力与数据的全方位竞赛,预示着一...

关键字: 具身智能 人形机器人 EV

2026年7月3日,芯原具身机器人专题技术研讨会在上海正式举行。会上,芯原股份首席战略官、执行副总裁、IP事业部总经理戴伟进以“机器人技术基石,从传感器到AI”为主题,分享了芯原在机器人领域的深厚积累、技术路径以及与客户...

关键字: 具身智能 芯原 DSP IP ISP

随着商务部等八部门联合发布《关于加快“人工智能+消费”发展的实施意见》,中国AI产业正经历一场从“产业技术扶持”向“消费内需刺激”的战略转向。在这场变革中,芯原股份 凭借其在AI ASIC领域深厚的技术积淀和“轻设计(D...

关键字: AI ASIC 具身智能 芯原

随着人口老龄化加速和慢性病康复需求激增,康复机器人正从科研前沿走向临床应用,甚至尝试叩开家庭大门。然而,技术突破之外,个体化训练如何实现?家庭场景怎样落地?标准体系如何构建?商业模式又该如何创新?这些问题不仅关乎产品成败...

关键字: 具身智能 康复机器人 南渡江论坛
关闭