如何使用CrowPanel ESP32-S3高级HMI显示器来创建一个语音交互聊天机器人

有没有想过自己的人工智能聊天机器人项目?现在你可以建造一个了!在本教程中，我们将使用CrowPanel ESP32-S3高级HMI显示器来创建一个语音交互聊天机器人，它连接到Wi-Fi，通过WebSocket进行通信，记录和播放语音，甚至在屏幕上显示实时状态。让我们把你的人工智能助手变为现实吧!

教程概述

本教程涵盖：

1. 代码解释-理解工作流程。

2. 生成十六进制图像数据-用于显示屏幕。

3. 获取AI模型API -设置你的AI聊天机器人项目。

4. 演示-运行完整的项目。

安装和所需文件

打开教程文件夹，其中包含：

•库-需要Arduino库。

Sofrware版本

ESP32: 3.0.2

按钮：1.0.0(这里的按钮库需要从库管理器下载。)

Python: 3.10.6

●display-picture -图像文件。

●lcd-imager-converter -图像转换工具。

•代码-用于ESP32 AI项目和服务器的Arduino和Python文件。

安装库

打开Arduino并在代码开头检查所需的库。这些库包含在下载的文件中，应该放在正确的Arduino库目录中。

代码浏览

1. 初始化组件

●Wi-Fi & WebSocket -设置Wi-Fi并通过指定IP地址连接到服务器。

●屏幕设置-根据显示尺寸调整参数(可在产品页面找到参数)并更新image .h。

•麦克风和扬声器-确保正确的引脚配置为您的硬件。

对于小型开发板，需要设置这两个引脚来放大音量。

2. 聊天机器人工作流

•按启动键会中断回放或唤醒项目中的聊天机器人。

●机器人图标会根据扬声器状态进行更新。

•web .py中的服务器事件循环处理JSON数据并控制回放。

●ts.py将文本转换为语音。更新此文件中的API密钥、URL和其他所需内容。

●设置麦克风的检测阈值。在聊天机器人项目中，你可以降低音量，使更安静的语音更容易识别。

●板控制扬声器和麦克风的文本数据和播放音频的二进制数据，处理它使用asr.py(语音到文本)。还要更新API密钥、URL和该文件中所需的其他内容。

•聊天机器人逻辑运行在llm_openai.py中。相应地更改模型、API URL和密钥。

•在config.py文件中，你是主管!根据您的喜好自定义角色，将其部署到服务器上，然后看着它活过来，在这个ai聊天机器人项目中与您的开发板聊天。这将是令人兴奋的!

设置API密钥

OpenAI(大型模型AI API)

1. 登录OpenAI，进入API Keys。

2. 单击Create New Secret Key并保存。

3. 在代码中使用此键。

火山引擎(语音到文本和文本到语音)

1. 登录到Volcano Engine并转到控制台。

2. 在搜索栏中搜索关键字，比如“voice”。

3. 创建一个新的应用程序，并获得应用程序ID和密钥。

4. 按照API文档进行集成。

用于显示的图像转换

1. 打开图像转换工具。

2. 选择一个镜像(镜像大小不能超过2MB)。点击“选项”->“转换”。预设为R5G6B5，并选择16位块大小。

3. 单击Show Preview，复制生成的数据数组，并将其替换到Arduino代码中。

4. 更新主代码文件中的图像大小和坐标。

运行聊天机器人

1. 将ESP32 HMI显示器连接到计算机并打开Arduino项目。(注意：将开发板的功能选择键设置为00)

2. 设置正确的显示大小后上传代码。

3. 配置Wi-Fi：取消注释第一次设置和上传的相关代码。

a.用手机连接ESP32的Wi-Fi(名称以“AI”开头)。

b.输入Wi-Fi密码。

一旦你完成了，屏幕就会亮起来——这意味着你已经连接上了!

4. 连接单板和PC服务器

a.打开Windows命令提示符，进入服务器端代码的根目录。

b.如果存在venv文件夹，删除该文件夹。

c.依次输入如下命令。

i.为Python项目创建一个虚拟环境。

Python -m venv venv

2。激活虚拟环境。

\ \ acticate venv \脚本

3。从requirements.txt文件中安装依赖项。

PIP install -r requirements.txt

iv.更新pip(仅在提示时)。

Python -m PIP install——upgrade PIP

v.安装OpenAI依赖项。

PIP安装openai dashscope

vi.启动服务器。

python ws.py

一旦服务器开始运行，您应该看到开发板开始记录。

本文编译自hackster.io