基于 ESP32-P4 的神奇会说话的故事书
扫描二维码
随时随地手机看文章
屏幕可以显示信息。但当一个设备开始讲述故事、对触摸做出反应、用声音说话，并像有生命的东西一样进行动态展示时，这种体验就会完全改变。
该项目将 ELECROW 的 CrowPanel Advance ESP32-P4 转化为一款集互动功能与人工智能技术于一体的互动式故事书，具备动画场景、本地语音播放以及触摸交互等功能。
除了作为演示应用程序之外，该项目还展示了 CrowPanel Advance ESP32-P4 平台的强大功能，该平台能够构建具有丰富、响应迅速和视觉沉浸感的独立嵌入式体验，其中包括动画图形、本地音频播放、触摸交互以及边缘人工智能处理等功能。
这展示了 CrowPanel Advance ESP32-P4 如何能够转变为一款精致的交互式设备，能够提供下一代人机界面(HMI)和沉浸式故事体验。
不再是静态的用户界面元素，整个设备本身就成了体验的一部分：它会播放动画、说话、做出反应，并直接在面板上引导用户完成故事的阅读。
结果感觉介于以下两者之间：
•一个智能玩具
•一个互动式展览
•一个会说话的相框
•以及一款新一代嵌入式人机界面演示系统
因为所有操作都在设备本地进行，所以这种体验感觉是即时且独立的——没有云端延迟，没有外部渲染管道，也没有远程处理。
该项目不仅具有演示价值，而且还能作为实际产品和安装方案的起点：
•互动式博物馆展览
•教育设备
•智能显示屏
•讲故事装置
•儿童产品
•品牌化体验
•定制嵌入式人机界面系统
该项目完全开放，并且设计具有可修改性。您可以更换资源、修改故事、重新设计用户界面，并在此框架之上构建自己的体验。
硬件
该项目使用：
•ELECROW 羽翼面板升级版 ESP32-P4(7 英寸、9 英寸或 10.1 英寸)
•GRC tinyTTS
•微型 SD 卡
•CrowPanel(克罗面板)
ESP32-P4 平台对于需要丰富嵌入式用户界面的项目来说尤其具有吸引力，因为它集成了以下功能：
•高分辨率图形支持
•基于 LVGL 的流畅界面
•无线网络连接
•当地媒体的报道处理情况
•足以应对大型动画用户界面场景的性能表现
在该项目中，我们还针对基于透明度的大型过渡效果尝试了不同的动画流程。我们不再仅仅依赖传统的 GIF 播放方式，而是为较为复杂的场景采用了编译式动画方法，从而降低了运行时开销，并提高了复杂过渡效果的播放流畅度。
GRC AI 插件
该项目的核心是 GRC 人工智能附加组件——一个小巧的边缘人工智能模块，它将本地神经网络推理功能引入到 CrowPanel 中，从而实现互动式故事讲述和智能行为，而无需进行云端处理。
GRC AI 插件直接插入到 CrowPanel 背部的专用扩展槽中，使得整个安装过程既整洁又紧凑，而且易于组装。
快速入门
测试该项目最简单的方法是使用来自 GitHub 的预编译固件镜像。
CrowPanel ESP32-P4 包含两个控制器：
•ESP32-C6 — 用于 Wi-Fi 通信 — 先对其进行烧录操作
•ESP32-P4 — 执行主应用程序(在 C6 之后)——闪存操作
首先必须更新 ESP32-C6 的固件，因为某些面板可能是出厂时就使用了较旧的 Wi-Fi 固件版本。
步骤 0. 准备 microSD 卡
•将一张微型 SD 卡插入您的电脑中。
•将 microSD 卡格式化为“FAT32”格式。
•在微型 SD 卡的根目录下创建一个名为“assets”的文件夹。
•将存储库中的运行时资产文件复制到此文件夹中。
•最终形成的 microSD 卡布局应是这样的：
复制完文件后，要安全地拔出微型 SD 卡，并将其插入 CrowPanel 的 TF 卡插槽中。
注意：该应用程序需要同时安装 GRC AI 插件和 microSD 卡才能运行。如果缺少其中任何一个组件，仍可以进行固件更新，但应用程序在启动后可能无法正常运行。
步骤 1.闪存 ESP32-C6 固件
步骤：
•下载并解压带有 ESP32-C6 固件的压缩文件
•通过 UART USB Type-C 接口将面板连接到您的电脑上
•打开包含已提取的固件文件的文件夹。
•运行“Flash_tool.exe”程序以对 ESP32-C6 版本的固件进行操作。
•请等到闪烁过程结束。
步骤 2.闪存 ESP32-P4 固件
•下载并解压 ESP32-P4 的压缩文件
•运行“flash_from_binaries_p4.exe”程序，用于 ESP32-P4 应用程序的固件操作。
第 3 步：初始设置
设置过程设计得非常简单。您所能进行的唯一配置就是指定该面板在与您交流时使用的名称。
当设备首次启动时，会自动显示设置界面。您可以输入自己的名字，或者直接保留默认名称。
配置工作通过一个轻量级的网络界面来完成，该界面可以从智能手机或笔记本电脑上打开。
步骤：
•该面板会自行构建一个无线网络。
•扫描第一个二维码以连接到面板的无线网络
•扫描第二个二维码以进入设置页面(或者在您的浏览器中手动打开 192.168.4.1)
•输入您的姓名并保存设置
您可以在任何时候通过设置界面返回名称设置页面——只需点击面板用户界面角落中的齿轮图标即可。
就是这样——面板已准备好投入使用了。
本文编译自hackster.io
下载文档
