在DFRobot ESP32 S3相机上构建DIY语音控制GPT系统

曾经希望使用DFRobot ESP32-S3 AI相机创建声控ChatGPT吗?这篇博客将指导你完成整个过程。我们将引导您完成以下步骤：通过内置麦克风收集用户命令，将音频保存为SD卡上的WAV文件，使用Deepgram API将音频转换为文本，查询OpenAI的响应，并在串行终端中打印答案。

组件要求:

•DFRobot ESP32-S3 AI摄像头

•MicroSD卡

•USB电缆

•安装Arduino IDE的计算机

ESP32-S3 AI CAM概述：

ESP32-S3 AI CAM是一款基于ESP32-S3芯片的高级摄像头模块，专为视频图像处理和语音交互而设计。它在视频监控、边缘图像识别和语音对话等人工智能项目中表现出色。该模块具有广角红外摄像头，可全天候监控，即使在低光条件下也能确保清晰的图像。

内置麦克风和扬声器，支持语音识别和对话，是智能家居和物联网应用的理想选择。此外，它还可以通过Wi-Fi连接到互联网，通过云人工智能平台实现图像分类和自然语言对话等高级任务。

用Justway的3D打印服务开启制造业的未来!

通过JUSTWAY的顶级3D打印服务，体验创新和效率的顶峰。无论您是想创建详细的原型，功能部件还是定制设计，我们都能为您提供帮助。

JUSTWAY的尖端技术，包括SLA， SLS， DLP， MJF， FDM和SLM，确保每一个打印的精度和质量。从各种材料中选择，如树脂，尼龙，金属等，让您的视觉栩栩如生。

受益于即时报价，无缝的在线订单跟踪，和专业的后处理服务。凭借快速的生产和可靠的交付，JUSTWAY是您所有3D打印需求的首选合作伙伴。

但是等等，还有更多!JUSTWAY还提供一系列其他一流的金属3D打印服务，以补充您的制造要求：

•数控加工服务：高精度铣削，车削，电火花加工(EDM)复杂的零件。

•钣金加工服务：根据您的规格定制钣金零件。

•注塑成型服务：高品质，大批量生产各种材料的零件。

•表面精加工服务：通过专业的精加工选择，提高零件的外观和耐用性。

通过justway提升您的制造游戏-创新与完美的结合!

如何在JUSTWAY为您的3D模型下订单

订购您的3D模型JUSTWAY是简单的。首先以可接受的格式准备您的3D CAD文件。访问JUSTWAY网站，登录或创建一个帐户，并在“获取即时报价”部分上传您的设计。

选择您的制造工艺，定制您的订单与所需的材料和完成，并收到一个即时报价。确认细节，付款，并在线跟踪您的订单。

一旦您的订单被放置，JUSTWAY将确保高质量的生产与严格的质量控制检查。期望您的3D模型在指定的交货期内交付。使用JUSTWAY，享受将您的3D模型带入生活的便利和效率!

项目流程:

我计划使用OpenAI或DeepSeek支持创建一个语音助手，包括向ESP32 S3 AI相机提出一个问题。相机将通过其内置的I2S PDM麦克风捕捉我们的请求，然后将录音保存到SD卡上

然后我们可以使用DeepGram将音频转换为文本，然后我们可以使用OpenRouter来获得答案。

步骤1：设置硬件

将MicroSD卡插入ESP32-S3 AI摄像机。

步骤2：设置软件

安装Arduino IDE：从官方网站下载并安装最新版本的Arduino IDE。

安装所需库：打开Arduino IDE，安装以下库：

•SD

•HTTPClient

•WiFiClientSecure

•ArduinoJson

要安装这些库，请转到Sketch > Include Library > Manage libraries，搜索每个库，然后单击install

步骤3：收集音频数据

初始化麦克风：使用以下代码初始化内置麦克风和录制音频命令。

下面的草图可以录制5秒的音频，然后它也会将其保存为。wav文件在SD卡上，它通过内置扬声器播放音频。

步骤4：使用Deepgram API将音频转换为文本

注册Deepgram API：登录Deepgram网站，然后，注册一个API密钥。

发送音频文件到Deepgram：使用以下代码将WAV文件发送到Deepgram API并将音频转换为文本。

在这个代码部分，您只需要输入您的音频文件。它将使用Deepgram将WAV文件转换为文本。

步骤5：查询OpenAI的响应

注册OpenAI API：访问OpenRouter网站并注册一个API密钥。

发送文本到OpenAI：使用以下代码发送文本到OpenAI API并打印响应。

步骤6：整合一切

最终代码：将前面的步骤合并到一个代码库中。

最后的输出:

设置好所有内容后，只需打开串行终端并查找响应。

首先，它将连接到网络，然后它将录制5秒的音频。然后它会使用deepGram将音频转换为文本，然后它会向OpenAI或DeepSeek查询。

演示:

根据我的测试，结果很快就出来了。我的下一个计划是使用ESP32 S3的扬声器将响应转换为音频输出。

使用案例

•无障碍解决方案：开发先进的人工智能助手，为身体残疾的个人提供免提互动。

•智能家居自动化：通过语音命令控制家用电器，提高便利性

结论

恭喜你!您已经使用OpenAI、DFRobot ESP32-S3 AI Camera和Deepgram API成功构建了语音命令ChatGPT。本指南提供了一个全面的演练，以帮助您创建和定制您的声控AI助手。编码快乐!

您可以随意尝试并添加更多功能，不要犹豫，分享您的项目和经验。如果您有任何问题或需要进一步的帮助，请随时提出!

本文编译自hackster.io