制造一个“绘图驱动”的机器人

手势捕获和“绘制模式”

我们的项目从一个基于网络摄像头的手跟踪界面开始，它把一个简单的手势变成了一个绘图工具。使用MediaPipe，我们跟踪一只手，并根据相对于手掌大小的指尖距离计算标准化的“开放性”分数。当开放度低于拳头阈值时，我们进入拳头状态，并开始以像素坐标记录拳头中心的二维路径。当拳头保持关闭时，我们只在拳头移动了至少一个小的最小步时附加点，以避免噪音和重复。我们还通过在画布覆盖上绘制线段来渲染跟踪，因此用户可以确切地看到正在记录的路径。当用户再次张开手(张开程度超过张开阈值)，退出绘制模式，完成绘制轮廓。

关键点提取和路径排序

轮廓确定后，我们通过检测路径上的关键特征，将绘制的笔画转换为一组稳定的路径点。我们将折线光栅化为二进制遮罩，并运行goodFeaturesToTrack (GFTT)来找到代表整体形状的角和突出点，而无需传输每个原始痕迹样本。由于GFTT可以返回聚类检测，我们应用简单的基于半径的非最大值抑制，因此最终的航点集在整个行程中分散。接下来，我们通过将每个检测到的点投影到原始折线上，并根据它们沿路径的距离参数对它们进行排序，从而按照正确的行程顺序对这些关键点进行排序。这一步很重要，因为探测器本身并不知道哪个点是“第一个”还是“下一个”，发送无序的点会产生不稳定的运动。结果是一个路径点的有序列表，它们遵循路径绘制的相同方向。

标准化，缩放和网络传输

在传输之前，我们将有序的像素路径点转换为机器人友好的坐标(以米为单位)，并确保它们适合有界的工作空间。我们平移整个路径，使路径点0成为原点(0,0)，我们可以选择翻转y轴，因为相机坐标向下增加，而机器人/世界坐标通常向上增加。然后，我们统一缩放平移路径，使最大绝对坐标位于±1.25米内，保证机器人不会被命令超出预定范围。最后的输出被打包成一个标准的64-float有效负载，代表最多32个(x,y)点;如果生成的点较少，我们用零填充其余的点(用作嵌入侧的“停止”哨兵)。我们通过TCP将有效负载传输为8个数据包，每个数据包有8个浮点数，由开始和结束字节组成，并且我们故意在数据包之间添加短延迟以保持嵌入式接收器的稳定。这给了机器人一个完整的、一致的路点列表，它独立于相机分辨率或绘图比例。

嵌入式接收、路点存储和后续控制器

在嵌入式系统上，每个传入数据包更新八个接收浮点数，我们将这些浮点数视为每个数据包的四个(x,y)路点对。当数据包到达时，我们填充一个全局robotdest[]数组并增加计数器，直到我们接收到所有64个路点，此时我们通过设置wp_rx_done = 1和重置statpos = 0从“等待”模式切换到“跟随”模式。在等待完整的集合时，机器人只是保持位置在(0,0)，这样它就不会过早地移动部分数据。一旦跟随开始，我们的控制循环就会反复调用xy_control(…)函数，该函数接受机器人的估计(x,y，偏航)状态，并输出指向当前航路点的前进速度参考和转弯率命令。当控制器报告到达当前路径点时，我们前进到下一个索引，并在到达恰好为(0,0)的路径点时停止，由于Python填充方案，它充当了一个明确的路径结束标记。停止后，我们继续指挥最后的航路点作为等待位置，这样机器人就可以稳定下来，而不是漂移。这种端到端管道让绘制的手势路径成为机器人可以自主遵循的安全、有界、有序的路点计划。

本文编译自hackster.io