搭载 LanderPi 的体感式人工智能：将大型语言模型、ROS 2 和 3D 视觉技术融合在一起

业余爱好者和教育类机器人技术的领域正在发生转变。机器人不再仅仅需要按照预先设定的程序循环运行;现在的目标是“具身人工智能”——即能够感知周围环境、理解自然语言意图并自主执行复杂任务的机器。LanderPi 是一款复合机器人，旨在探索这一前沿领域，它充当了高级推理与实际操作之间的桥梁。

智能层：边缘端的多模态大型语言模型

LanderPi 的架构基于一个高性能计算栈，该栈由一台 Raspberry Pi 5 与一个 STM32 双核控制器组成。虽然硬件提供了“动力”，但其智能部分则来自多模态大型语言模型(LLMs)的部署。

通过整合诸如 Qwen、DeepSeek 或 Yi 等模型的 API，LanderPi 构建了一个复杂的“感知 - 决策 - 行动”循环系统。它不仅在听到关键词时触发脚本;还会解析自然语言以理解语境，通过 3D 视觉识别物体，并规划出合理的动作序列。这使得能够实现诸如语义导航等高级应用，让机器人能够“理解”场景，而非仅仅看到像素。

构建、编程、探索：通过我们完整的“陆地者Pi”教程掌握高级机器人技术。

多地形机动性和精确的SLAM技术

机器人的能力取决于其在现实世界中的操作能力。LanderPi 支持三种不同的底盘配置——米卡努姆底盘、阿克曼底盘和履带式底盘——使其能够适应从平整的实验室地面到崎岖地形等各种环境。

在导航方面，它采用了与高精度编码器和惯性测量单元数据相结合的 MS200 TOF 激光雷达系统。这种配置能够实现厘米级的同步定位与建图(SLAM)功能。通过结合诸如 A* 和迪杰斯特拉这样的全局规划算法，以及诸如 DWA 和 TEB 这样的局部动态规划算法，LanderPi 能够自主在复杂环境中导航，执行多点巡逻任务，并实时避开障碍物进行动态路线调整。

手眼协调：三维操作

传统的机械臂在处理不规则形状的物体时常常会遇到困难。而 LanderPi 则通过将 3D 结构光视觉技术与定制的逆运动学(IK)算法相结合的方式解决了这一问题。

深度摄像头能够实时捕捉点云数据，使系统能够确定物体在三维空间中的坐标、尺寸和方向。当与 RTAB-VSLAM 结合使用时，机器人会构建出其周围环境的语义三维地图。这种“手眼协调”使得机械臂能够根据物体的物理状态动态调整其抓取动作，不再局限于固定的、预先设定的动作组。

专为 ROS 2 生态系统而设计

对于开发者而言，一个平台的真正价值在于其软件环境。LanderPi 完全基于 ROS 2 构建，确保了“模拟到实际”的无缝转换。开发者可以在虚拟环境中使用 MoveIt 进行运动规划，并使用 RViz 进行实时数据可视化，从而确保从模拟到硬件的转换尽可能地顺畅无阻。

本文编译自hackster.io