基于Raspberry Pi 4B制作一个AI助手
本项目整合了大量现成的硬件组件,最终打造出一个私密、安全且简洁的AI伴侣,能够回答我提出的任何问题。
我的AI助手采用与其它成功语音识别系统(如Rhasspy)类似的方法。不过,在我的项目中,Raspberry Pi 4B本地运行语音识别软件(名为VOSK),并通过符合OpenAI标准的API端点(Ollama)与我电脑上托管的大语言模型进行交互。得益于NordVPN的Meshnet,我可以在世界任何地方轻松实现这一功能。
入门指南
本指南将介绍我是如何搭建自己的AI助手的。我已经提到了该项目中大部分所用到的组件,但仍有部分内容需要补充说明。
项目的整体结构大致如下:
设置Ollama
Ollama只需几次点击即可完成语言模型的配置。流程变得如此流畅,简直令人难以置信。甚至还有适用于 macOS 和 Windows 的安装程序,可直接下载并使用。
只要配备了一块较新且性能强大的显卡,任何人都能利用 GPU 加速功能,使模型的响应速度显著提升。不过,即使在中端 CPU(比如我家庭实验室服务器上搭载的 Ryzen 5 5600G APU)上,响应速度也几乎瞬间完成,尤其是对于较小的语言模型而言。
我选择了 Docker 容器作为安装方式,因为我对它比较熟悉,并且已将其用于其他容器化服务。
仅在 CPU 上运行推理:
接下来,下载并开始与模型交互:
现在你就可以在这里与模型聊天了。
还有其他模型可供选择。Llama3 性能很好,但在 GPU 上运行效果更佳。可以考虑运行 Phi3,因为它非常轻量,且在 CPU 上运行表现优异。
请查看官方 Ollama 仓库 — Ollama/Ollama
退出交互式 shell:
以上就是设置 Ollama 的全部内容。
使用 VOSK
VOSK 提供了所有主流语言的绑定接口。尽管我更熟悉 JavaScript,但我最终选择了 Python,因为设置起来似乎更简单。
该仓库中有许多优秀的示例,有助于开始使用这个库。
虽然我很欣赏作者花时间提供一个完整的示例,但我希望采用更简洁的方法。
因此,以下代码:
我并非经验丰富的开发者,但只要足够的时间,我就能解决问题。所以上述代码可能不够干净或效率不高,但它能完成任务。
添加图形界面
多个库都可以用于创建熟悉的图形界面。我选择了pygame,不过TkInter似乎也是一个受欢迎的选择。
人脉拓展
由于该项目的一个目标是让设备具备便携性,因此我需要一种简单的方式来访问Ollama的API。
有多种选择:通过反向代理和端口转发实现网络穿透、在卫星和服务器上设置Wireguard、获取静态IP并转发端口等。
然而,我选择了NordVPN基于Wireguard的Meshnet方案,它能在设备之间建立直接的Wireguard隧道。这样一来,我就无需支付域名、静态IP、设置端口转发或动态DNS的费用。你只需下载NordVPN客户端并登录即可,完全免费,无需订阅,也无需复杂的设置。
此外,该方案支持所有主流平台(Windows、macOS、Linux、Android和iOS),并附带开源的Linux客户端。
还有一个方便的命令可以下载并安装Linux客户端:
下载并安装后,登录最简单的方法是使用令牌。有详细的指南可供参考——《如何在 Linux 上使用 NordVPN 的令牌》。
主机系统同样适用,无论其为 Linux、macOS 还是基于 Windows 的系统。
您只需安装 NordVPN 客户端,并使用同一账户登录即可。
硬件
有了可用的AI API、自动语音识别功能以及一个用于展示结果的简单图形用户界面,现在是时候考虑硬件部分了。
一台基于Linux的轻量级单板计算机,至少配备4GB内存,应该足以处理发送POST请求和简单的用户界面。然而,保持项目预算友好同样至关重要,因此比起带有HDMI接口的便携式屏幕,选择一块廉价的GPIO显示屏要好得多。
显然,最佳选择是树莓派(Raspberry Pi)。
可加装一块通用的3.5英寸GPIO显示屏,支持触摸功能或不支持。
最后,还需要一个麦克风,因为树莓派本身没有内置麦克风。再次强调预算控制,价格约90美元的麦克风阵列无疑是可行的选择。
借助查尔斯·鲁尚(Charles Rouchon)关于“麦克风阵列性能测试”的文章,我最终选择了PS Eye(注意不要与PS EyeToy混淆)。虽然它更广为人知的是作为摄像头使用,但这款设备在约4美元的价格下(不含运费)就配备了4个麦克风阵列。
我设计了一个3D打印的外壳,并像制作精致的BLT三明治(Bicrophone、Lcreen、TaspberryPi有谁懂?)一样组装起来,同时使用大量电工胶带,确保各个组件之间不会过于亲密地接触。
由于我设计的外壳非常小,无法为USB-A接口插入任何设备,因此组装过程需要一些巧妙的处理。我花了几分钟仔细检查了USB接口底部的引脚,以确定它们各自的功能。
一旦弄清楚每个引脚对应的功能,我就将PS Eye的电线直接焊接到对应的引脚上。
如前所述,外壳内部空间有限,建议使用大量电工胶带进行固定。
本文编译自hackster.io





