使用 XiaoZhi AI 和 DFRobot ESP32-S3 AI 相机,设计一个 AI 语音助手
如今大多数AI演示都能说得很流利,但实际却无法完成任何有用的功能。在这个项目中,我们将通过使用开源的XiaoZhi AI项目和功能丰富的DFRobot ESP32-S3 AI摄像头,来改变这一现状,打造一个语音控制的人工智能助手。最终成果不仅是一个聊天机器人,更是一个真正实用的AI伙伴,它能够感知周围环境、控制硬件,甚至还能帮你管理日历。
这款助手可让你控制灯光开关、获取传感器数据、按指令拍照,以及进行实时的视觉识别对话。最棒的是,整个项目采用MIT许可证开源,这意味着你可以免费使用,甚至可用于商业应用。如果你已准备好打造一个真正实用的人工智能系统,请继续阅读。
为您的项目定制制造PCB板
您必须去PCBWAY在线订购便宜的PCB!
您可享受低价优惠,获得10块高品质PCB板,并直接送货上门。首次下单还可享运费折扣。将您的Gerber文件上传至PCBWAY,即可获得高质量、快速交付的PCB制造服务。PCBWay现在可提供从设计到外壳生产的一站式完整解决方案。欢迎体验其在线Gerber文件查看功能。通过积分奖励,您还可以在礼品商店免费获取各种商品。此外,点击此处查看PCBWay为KiCad提供的实用插件博客。使用该插件,您只需在KiCad完成设计后,一键即可直接订购PCB板。
你需要准备的物品
硬件
•1 × DFRobot ESP32-S3 AI摄像头——这是全场的焦点。它内置麦克风、扬声器、摄像头,并具备充足的处理能力。
•1 × Type-C USB 数据线 – 用于供电和编程。
软件与服务
•小智AI固件——开源ESP32聊天机器人项目的核心。
•ESP-IDF 或预构建固件——您可以选择从源码构建,或快速刷入。
•小智控制面板——用于设备管理与自定义(可在 xiaozhi.me 获取)。
了解硬件
在深入之前,让我们先了解一下DFRobot ESP32-S3 AI摄像头的优势。它搭载了Espressif的ESP32-S3芯片,专为智能家居和物联网应用而设计。以下是其详细说明:
•主处理器:Xtensa® 32位LX7双核处理器,最高运行频率可达240MHz,配备16MB闪存和8MB片上RAM。
•摄像头模块(OV3660):配备200万像素传感器和160°广角镜头,可同时实现可见光和940纳米红外线感应,这意味着无论在完全黑暗的环境中还是在明亮的白天,它都能同样出色地工作。
•音频系统:集成I2S PDM麦克风用于采集您的声音,另配MAX98357 I2S放大芯片和扬声器接口用于播放。
•附加的板载功能:LTR-308 环境光传感器、复位和启动按钮、用于存储扩展的 SD 卡插槽,以及由 GPIO 控制的 LED 用于状态指示。
软件先决条件
您有两种方式来刷入小智固件:一种是使用预编译的二进制文件,操作快捷简便;另一种是使用 ESP-IDF 从源码构建。如果您刚开始入门,我建议采用预建版本的方法,因为它更快且出错的可能性更小。
1:刷写小智固件
将固件安装到你的ESP32-S3 AI摄像头。访问以下git仓库,即可找到xiaozhi esp32 s3 ai camera的bin文件。
将主板设置为下载模式。在连接USB数据线时,按住BOOT按钮并保持按压,然后松开按钮。您的计算机应该能识别到该主板。
启动Flash下载工具。在该工具中:
•芯片类型:ESP32-S3
•设置工作模式:开发
•设置加载模式:UART
•加载固件文件。在第一行空白处,点击...按钮,选择您下载的.bin格式固件文件,并将起始地址设置为0x00。
•选择正确的COM端口。选择您的板卡所连接的端口,并将波特率设置为1152000。
•擦除并刷写。点击“擦除”以清除现有的固件,然后点击“开始”将小智固件刷写到板上。
2:开启并配置Wi-Fi
•成功闪存后,按下 ESP32-S3 AI 相机上的 RST 按钮。设备将进入 Wi-Fi 配置模式,并广播一个类似 Xiaozhi-xxxx 的热点名称。
•使用手机或电脑连接热点。
•配置页面将自动弹出。请选择您本地的2.4GHz Wi-Fi网络(不支持5GHz网络),并输入密码。
•等待连接。连接成功后,设备将在终端屏幕上显示一个唯一的设备代码。
3:通过小智控制面板激活您的设备
现在是时候正式将你的助手上线了。
•创建一个免费账户。
•导航至控制台(仪表盘)
•点击“添加设备”或相应的激活按钮。
•请输入来自ESP32-S3终端的设备代码(或语音提示内容)。
•然后你可以根据需要自定义代理。
•重启您的设备。重新连接后,您的AI助手将正式上线,随时准备开始对话。
4:与您的AI助手互动
您的助手现已启动。您可能会在屏幕上看到一个友好的面孔或动画表情,表示它已准备就绪。
唤醒方法
你可以通过多种方式唤醒助手,使其从空闲状态中恢复:
•语音唤醒:说“Hello XiaoZhi”或“Hi ESP”即可吸引它的注意。
•物理按钮:按下 BOOT 按钮。
助手确认闹钟后,您就可以开始提出您的请求了。
你可以做什么
在您的 DFRobot ESP32-S3 上安装 XiaoZhi 固件后,您可以进行以下操作:
•一般问题:“今天天气怎么样?”
•计时器和提醒:“设置一个10分钟的计时器。”
•硬件控制:“打开LED。”(MCP协议将AI决策转化为物理动作)。
•摄影:“给我拍张照片。”(我们将在下一步中启用此功能)。
总结
恭喜!你刚刚使用DFRobot ESP32-S3 AI摄像头和开源的XiaoZhi AI项目,搭建了一个智能语音控制的AI助手。你现在手中的这台设备,不仅仅是一个会说话的小工具,更是一个功能完整的AI伙伴,能够看见、说话,甚至控制周围的世界。
小智的开源特性意味着可能性真正无穷无尽。无论你是在开发智能家居控制器、厨房中的视觉助手,还是仅仅想尝试一个有趣的全新玩具,唯一真正的限制就是你的想象力。
本文编译自hackster.io





