AI相机V2：建立自己的GPT- 40供电的智能相机使用

这一切都始于几个月前，当时我用ESP32-CAM和TFT触摸屏制作了我的第一个版本的人工智能相机。这个想法很简单，但令人兴奋：捕获图像，询问有关图像的问题，然后从GPT获得响应。虽然这个概念行得通，但现实并不顺利——硬件动力不足，内存有限，整个设置经常崩溃或死机。我知道我可以做得更好。

然后有一天，makerfab寄来了一个包裹——带摄像头的MaTouch ESP32-S3 2.8英寸显示屏。它拥有我所需要的一切：一个更好的ESP32芯片(拥有更多内存和USB支持)，一个更清晰的摄像头，一个触摸屏，甚至还有一个microSD插槽。当我把它拿在手里时，我想：“这可能是我的新版本人工智能相机的完美大脑和身体。”

于是开始了构建AI Camera V2的旅程。

分解它

我决定采用模块化的方法。首先，让相机实时流工作，然后让它捕捉触摸图像，最后将它们存储到SD卡。这一次，一切都比预期的顺利。看到触摸屏上的实时摄像头已经是一种乐趣了!

接下来是键盘——不然我怎么能问GPT问题呢?我尝试使用LVGL作为UI，但它并不能很好地配合镜头流。SquareLine Studio也不支持动态图像小部件。经过几个小时的沮丧和挖掘论坛，我意识到我必须离开LVGL，去完全Arduino GFX -这意味着从头开始构建我自己的键盘。

我就是这么做的。

手动绘制按键，映射触摸输入，处理字符输入——这是一个挑战，但也是值得的。这是我第一次在Arduino GFX上使用一个完全自定义的键盘。

是时候变聪明了

一旦我的图像捕获和文本输入工作，是时候引入真正的魔力：gpt - 40。我将图像转换为base64，添加了键入的提示符，并将其发送给OpenAI API。当我第一次看到GPT的回复出现在屏幕上——准确地回答了一个关于我刚刚点击的图片的问题——我兴奋地笑了。那是你作为一个创造者而活的时刻。

最后

为了让它看起来更时尚、更方便使用，我设计了一个3d打印的外壳。现在，这款设备看起来不太像一个原型，而更像是一个迷你的人工智能智能手机。整洁、干净、紧凑。但更重要的是——稳定。

与第一个版本不同，这个版本没有崩溃。它没有滞后。它兑现了自己的承诺：一个小型的、独立的人工智能摄像头，能够理解它所看到的东西。这是演示项目工作的视频。您可以从16:22分开始观看项目测试部分。如果你想知道我们是如何制作它的，你也可以观看完整的视频。

接下来是什么?

我不只是为自己造的。我希望学生、创客和教育工作者也能尝试一下。这就是为什么我在我的网站上提供一个现成的工具包-预编程，包装和测试。只需插上电源，输入Wi-Fi和OpenAI密钥，就可以在边缘探索人工智能了。

这个项目证明，当你迭代时，从过去的构建中学习，并不断突破界限——神奇的事情就会发生。

本文编译自hackster.io