建造一个自主的人工智能小工具
扫描二维码
随时随地手机看文章
小型AI设备能检测作弊吗?
上周,我收到了一个男人的信息,他担心他女朋友出去抽烟时从阳台发来的语音留言。他希望有人帮他破解她的WhatsApp,以消除一些疑虑。现在,我相信感情问题应该通过交谈来解决,而不是窃听别人的电话。也就是说,我对为这样一个荒谬的目的建造一个自主的人工智能小工具的想法很感兴趣。
所以,我创建了Guamp应用程序(不是一个应用程序)——一个概念验证设备,它:
•侦测到女友在阳台上
•记录她的语音信息
•转录音频
•使用人工智能分析内容是否听起来可疑
•将结果通过电报发送给男友
硬件
起初,我考虑使用带有Python的树莓派。但后来我收到了ESP32S3 AI Cam模块,它让我思考:这个小板能处理整个工作吗?
什么是AI相机模块1.0 DFR1154?
这是一个1.5“x1.5”esp32为基础的板,具有:
一个200万像素的OV3660宽红外摄像头,一个板载I2S PDM麦克风,microSD卡插槽,内置led和扬声器输出放大器。(我没有微型扬声器,但我们这个项目不需要。)
一般工作流程
用照片训练机器学习模型,将其部署到相机上,每隔几秒钟拍一张照片,然后运行推理。如果结果超过了置信阈值,就假定是她。录制环境音频触发图像检测时开始录制音频。
将录制的音频发送到OpenAI的语音到文本API (Whisper)。
分析转录将文本(加上一些上下文,如名称)发送到ChatGPT,查看是否有任何可疑内容。
使用机器人远程通知你的男朋友。
计算机视觉
在我的演示中,我使用了一个通用的人物检测模型。要复制它:
下载这个ZIP文件:persondetectioninference . ZIP
在Arduino IDE:去素描>包括库>添加。zip库并添加它。
用特定的人物照片训练你自己的模型。这里有一个示例项目展示了这个过程:Alvik机器人的计算机视觉
训练后:
移动到Documents/Arduino/libraries/modelFolder/examples
在Arduino IDE中打开示例并编辑标题以指向您的模型,例如#include
如果演示运行良好,将相同的include集成到主草图中:guampAppUpload.ino
软件设置
安装通用电报机器人库。
你需要:
OpenAI API密钥(用于转录+分析)Telegram bot令牌(用于发送通知)这里是一个项目指南,解释如何创建一个Telegram bot并获得令牌。
软件配置
使用串行监视器调试工作流程:Wi-Fi连接,人员检测,录音,转录和分析。
外壳
我在Fusion 360中设计了外壳,并使用Bambu Lab A1 mini PLA打印了它。这是一个用3毫米螺钉固定的2件式外壳,包括一个标准的照片三脚架支架。
最后指出
如果你想改进或重新利用这个项目,你可以通过添加一个3.7V电池和一个TP4056充电器使它更小。你还可以使用音频阈值来记录完整的对话,而不是固定的时间,并考虑在分析音频的同时分析照片。
除了起始点(这一点与轶事一样值得怀疑)之外,它仍然令人着迷的是,一个18美元的模块可以在本地运行ML模型来检测人员,记录和转录音频,发送消息,甚至使用人工智能分析语音。
本文编译自hackster.io