AI手势操控机械手：意法半导体STM32构建工业自动化的科幻现实

[导读]在当今制造业转型升级的浪潮中，工厂自动化正以前所未有的速度发展，而计算机视觉作为其中的关键一环，赋予了机器“看”和理解周围环境的能力，可帮助工厂提高生产效率，优化产品质量，降低总成本，为制造业带来了诸多变革。

在当今制造业转型升级的浪潮中，工厂自动化正以前所未有的速度发展，而计算机视觉作为其中的关键一环，赋予了机器“看”和理解周围环境的能力，可帮助工厂提高生产效率，优化产品质量，降低总成本，为制造业带来了诸多变革。

计算机视觉在工厂自动化中的应用主要包括四个应用场景：

◆ 质量检测：精准识别产品表面的微小缺陷，如划痕、裂纹等，有效提升产品质量，降低次品率。

◆ 机器人技术与自动化：支持引导系统和拾取与放置功能，提升生产效率。

◆ 过程控制：实现对生产过程的实时监控及分拣和分级，提高可控性。

◆ 提升安全性：降低风险和确保合规，保障工厂安全运行。

随着人工智能和深度学习算法的融入，计算机视觉的性能将得到进一步提升，能够处理更复杂的任务，为工厂自动化提供更强大的支持。

为满足工厂自动化计算机视觉应用的发展需求，意法半导体凭借深厚的技术积累与敏锐的市场洞察力，精心打造出一款基于STM32N6和STM32MP257的手势识别与控制系统。该系统主要由三大部分构成：基于STM32N6的手势识别与数据采集的感知部分，基于STM32MP257的数据转换与处理任务的PLC部分，基于STM32G431实现运动控制与手势跟随的灵巧手部分。接下来，就让我们深入探索这套系统的精妙之处。

感知部分：手势识别与数据采集

系统的“眼睛”是摄像头，它像不知疲倦的观察者，实时采集手部视频。而负责处理这些视频的“智慧大脑”，则是STM32N6微控制器。它集成了意法半导体强大的Neural-ART加速器神经处理单元（NPU），在视觉数据处理方面有着卓越的计算能力，为手势识别的高效与精准提供了坚实保障。

手势识别技术采用的是Google提供的MediaPipe Hand Landmarker技术。其核心是深度卷积神经网络（CNN）训练出的掌部检测与手部关键点检测两个模型，二者协同合作。掌部检测模型率先在图像中精准定位手部区域，并裁剪出手掌图像；接着，手部关键点检测模型在裁剪后的图像上大展身手，迅速提取出21个关键点的xyz坐标（z轴代表相对深度信息）。

STM32N6凭借出色的计算能力，能让手势识别达到每秒超过30帧的高识别速率，真正实现实时处理。而且，借助ST的X-CUBE-AI软件扩展包及ST提供的完整AI生态系统，该模型能轻松部署到STM32N6平台，无需复杂优化即可高效运行。最后，STM32N6通过485总线，将计算得出的21个关键点坐标数据发送给PLC，为后续控制提供精确的输入。

数据转换与处理：关节角度计算与控制

数据处理的关键环节由基于STM32MP257的PLC承担。STM32MP257是一款专为工业自动化打造的高性能工业级MPU，采用双核Cortex-A35处理器和单核Cortex-M33组成的异构架构，拥有强大的计算和实时处理能力。丰富的通信接口、图形加速、AI加速以及多种安全功能，使其在工业自动化、机器人控制和智能边缘计算等领域大显身手。

这款PLC的一大亮点是集成了CODESYS软件平台。它在自动化控制系统中应用广泛，开发者可以通过它轻松创建、调试和部署控制程序，极大缩短开发周期。

在本系统里，PLC借助CODESYS平台完成多项关键任务：

◆ 关节角度计算：根据视觉系统传来的21个关键点坐标，精确计算每个手指三个关节的角度数据，并转化为与机械手电机目标位置的映射关系；

◆ 数据处理与转换：对关节角度数据进行坐标转换、目标位置设定等处理，生成最终的控制帧；

◆ 实时通信与控制：通过标准CAN协议，将计算出的目标位置实时发送给机械手电机驱动系统，确保运动精确执行。

在本系统里，基于STM32MP257的PLC仅承担数据转换与传输的功能，但它的功能非常丰富，包括支持EtherCAT、Modbus TCP/RTU、Ethernet等常用的通信协议和逻辑控制功能，能灵活适应不同工业环境，连接和控制各种设备，保障系统在多样化场景中稳定运行，同时STM32MP257也是异构架构，这意味着用户将具备更多升级空间。

此外，ST还提供了基于STM32MP135的PLC方案。它与STM32MP257在整体结构上相似，主频与网口数量稍差，但性价比较高。在实际工业自动化场景中用户可以根据自身实际需求和预算，灵活选择合适的PLC方案，为系统的优化和拓展提供了便利。