工控虾，工业控制插上大模型的翅膀，工控机部署千问8B大模型

时间：2026-07-16 16:43:53

关键字：工控机 AI 大语言模型

[导读]OpenClaw 方案：推理过程不依赖云端，在本地完成大模型推理、视觉理解与数据处理代号“本地小龙虾” · 本地推理 · 约 20W 功耗

一、引言

米尔MEC-B5760工控机部署千问8B大模型，以此为基础构建的OpenClaw本地AI计算方案，正为工业与边缘场景提供一种不依赖云端的高效推理选择。云计算为 AI 应用提供了便捷的算力供给，但数据隐私、网络延迟和服务成本三个问题始终无法回避。将敏感数据上传至云端会带来合规与安全风险，实时推理受网络质量影响，而持续运行的云端推理服务在长周期内也会形成可观成本。对于需要处理敏感数据、需要离线运行，或希望长期控制推理成本的用户来说，本地算力正在重新变得重要。

OpenClaw 正是面向这类需求构建的本地 AI 计算方案。它基于米尔MEC-B5760 工控机，将 Rockchip RK3576 SoC 与 RK1828 算力协处理器结合起来，形成一套面向边缘场景的本地推理平台。方案代号“本地小龙虾”，强调的是小型化、低功耗和功能完整：在不依赖云端推理服务的前提下，完成大语言模型推理、多模态理解、视觉模型推理与本地数据处理等典型 AI 负载。

在 AI 应用逐步进入设备端、产线、园区和本地办公环境的背景下，OpenClaw 的价值在于让开发者和企业可以把数据留在本地，把推理能力部署在边缘，并在功耗和成本可控的条件下获得可用的大模型能力。

二、硬件基础

2.1 主处理器：RK3576

RK3576 采用 8nm 制程，配备四核 Cortex-A72 + 四核 Cortex-A53 的 big.LITTLE CPU 架构，并集成 6 TOPS 算力的 NPU。在本方案中，RK3576 主要承担系统主控和调度角色：

• 系统主控：运行 Linux 操作系统，负责设备管理、应用运行和外设连接。

• 推理调度：运行 OpenClaw 运行时与调度服务，将计算任务通过 PCIe 分发至 RK1828。

• 网络与存储：网络与存储：提供双千兆网口、USB 3.0、PCIe等高速数据通道，为边缘部署提供基础 I/O 能力;板载eMMC存储容量为64GB。

2.2 算力协处理器：RK1828

RK1828 是 OpenClaw 方案中的主要 AI 算力来源。它是一颗独立的算力协处理器，采用 3D RAM 堆叠架构，集成 5GB 片内 DRAM，提供 20 TOPS INT8 算力。RK3576 与 RK1828 通过 PCIe 接口互联，实现系统控制与推理计算的协同分工：RK3576 负责系统管理、任务调度与数据通路，RK1828 负责大模型推理中计算密集的矩阵运算。

需要说明的是，“支持 8B 级模型”指的是在量化模型和合理上下文长度配置下进行本地推理，而不是进行大模型训练或无限上下文推理。

硬件规格参数如下：

三、OpenClaw 软件栈

OpenClaw 软件栈采用分层架构设计，自下而上分为内核与运行时层、计算后端层和用户界面层。各层职责清晰，既方便开发者调用，也便于后续扩展更多模型和后端。

• 内核与运行时层：基于 Linux Kernel 6.x，集成 RKNN Driver、PCIe Driver 与 RK1828 固件，提供硬件抽象、设备通信和运行时支撑。

• 计算后端层：包含 RK3576 NPU、RK1828 算力协处理器以及 A72/A53 CPU 通用计算单元，形成异构计算资源池。传统视觉模型可根据模型类型选择 RK3576 NPU 或 RK1828 后端执行，LLM/VLM 等矩阵计算密集型任务则主要通过 RK1828 加速。

• 用户界面层：提供 OpenClaw CLI、Web Dashboard 与 REST API，方便用户完成模型管理、推理调用和应用集成。

图1. OpenClaw 软件栈架构图

四、应用场景与实测数据

4.1 本地视觉模型推理

我们以 YOLOv8n 为例测试了 OpenClaw 的视觉推理表现，并比较了单核与 8 核配置下的推理时间。结果显示，在当前测试条件下，YOLOv8n 的单核与 8 核推理耗时基本一致，差异处于测量误差范围内。

这一结果并不代表平台缺乏并行能力，而是说明 YOLOv8n 这类轻量模型本身计算量较小，单路推理已经可以较快完成，多核调度、数据搬运与同步开销会抵消并行收益。对于 LLM/VLM 等计算密集型任务，RK1828 多核心并行的优势会更加明显。

图2. YOLOv8n 单核与 8 核推理时间对比

4.2 本地多模态模型推理

我们在 OpenClaw 上运行 MiniCPM-V 4B 多模态大模型进行图片理解测试。该模型在 RK1828 的 8 个核心上并行运行，视觉部分输入图片缩放至 448×448，语言模型词表大小为 73448，EOS Token ID 为 14746。测试包含图片识别效果验证和端到端推理性能测量两部分。

图3. 多模态模型识别示例：测试输入图片(1024×640)

模型对输入图片的识别输出能够较准确地捕捉画面中的主要元素，例如月球表面的宇航员、远处的地球、手中的饮料以及画面整体的幽默感。这说明 MiniCPM-V 4B 在该平台上具备可用的图片理解与描述能力。

多模态推理性能数据如下：

图4. MiniCPM-V 4B 运行效果：终端输出与性能数据

从数据可以看出，MiniCPM-V 4B 在 OpenClaw 上实现了较流畅的图片理解体验。Vision 阶段约 228 ms 完成图片编码，生成阶段达到 94.94 tokens/s，能够满足实时图片理解、视觉问答、现场图像描述等边缘场景的需求。

4.3 本地大语言模型推理

OpenClaw 的核心优势在大语言模型推理上体现得更加明显。在 MEC-B5760 上，可以运行量化后的开源大语言模型，例如 Qwen3-1.7B、Qwen3-4B、Qwen3-8B 等。RK3576 负责模型加载、应用运行与推理调度，计算密集的矩阵运算则通过 PCIe 卸载至 RK1828 加速。