一种更智能的脑转文本系统，将非侵入性大脑信号与来自音频和视觉输入的上下文数据相结合

患有严重运动障碍的人——比如那些患有ALS、闭锁综合征或神经退行性疾病的人——由于自主运动和语言的限制，经常难以沟通。虽然像眼球追踪、肌肉触发开关和语音设备这样的辅助技术已经存在，但它们往往速度缓慢、不灵活，而且缺乏上下文意识。

脑机接口(bci)，如P300拼写器，提供了一种非侵入性的替代方案，但它们仍然面临着低吞吐量和有限的适应性等挑战。除了基本的信号检测之外，大多数都没有考虑到用户的环境或意图。

显然，我们需要一个更智能、更集成的系统——一个能够解释多种输入信号(如脑电图、眼球运动或肌肉活动)并实时生成上下文感知、有意义的文本的系统。随着大型语言模型(llm)的最新进展，我们现在有了弥补这一差距的工具。

该项目探索非侵入性脑电图信号如何与上下文数据和llm相结合，为更具适应性和智能的通信接口提供动力。

用脑电图仪读取脑电波

我有一个《星球大战Force Trainer II》的脑电图耳机，但任何与Neurosky ThinkGear兼容的脑电图耳机都可以工作。

这款耳机有三个电极，一个在你的额头上，两个在你的耳朵后面。

该设备输出5种主要的脑电波频率，标准化的“注意力”和“冥想”值，以及原始的脑电图电位读数。

眨眼/眼睑运动引发了一个巨大的电位峰值，被电极捕捉到，正如你在这个动图中看到的那样。

通常这是一个被过滤掉的伪信号，但在我们的例子中，这实际上是我们用来作为控制信号的。

Brain-to-Text输入

使用眨眼检测到文本输入实际上是相当简单的，使用拼写板/拼写矩阵。

拼字板是脑机和辅助通信系统中常用的接口，可以帮助用户在没有物理输入的情况下进行打字。它通常显示一个字符网格(如字母或单词)，系统突出显示模式中的行和列。

当正确的行或列闪烁时，用户通过响应来选择他们想要的字符——通常带有可检测的信号，如眨眼、眼球运动或脑电波模式。然后，系统将选定的行和列结合起来，以确定预期的字符。

在这个项目中，眨眼被用作确认选择的触发器，作为用户意图的信号。

上下文捕获

尽管我们可以简单地使用用户输入的文本来生成自动补全建议，但我们很有可能会得到不相关或不正确的补全，这违背了最小化认知和体力劳动的目的。

然而，通过捕获用户看到和听到的内容，我们可以在生成建议之前使用对话和视觉设置来更好地通知LLM。

LLM可以使用周围的上下文来生成高度相关的自然语言建议，这大大减少了用户传达其意图的努力。

这很简单，使用安装在身体上的相机定期拍照，并使用麦克风捕捉对话音频。

图像和音频被发送到LLM生成描述性文本和对话转录。

作为一个例子，如果我们在下图中输入：

法学硕士可能会生成以下场景描述：

这是一个光线充足的理疗室，有各种运动和康复设备。一个双杠设置占据中心，暗示步态训练。这里有健身球和阻力机，表明了对力量和平衡锻炼的关注。该设置意味着一个面向身体恢复和治疗的医疗保健环境。

把它们放在一起

现在我们已经实现了所有的关键部分，我们可以把它们放在一起。

用户输入的文本和环境上下文一起被提供给LLM， LLM生成高度相关的建议，以自动完成用户输入。

LLM遵循严格的结构化JSON输出，包含：

建议：基于用户输入和上下文的建议短语/句子

推理：法学硕士提出建议的推理路线。法学硕士被提示遵循不同的推理路线，以确保不同的输出。

Contextual_relevance_score: 1-5之间的自我评估分数，表明建议与上下文的相关性

confence_score: 1-5之间的自我评估分数，表示LLM对建议代表用户意图的自信程度

另一个来自脑电图耳机的控制信号将显示用户选择的选项，这使得用户能够以最小的输入有效地传达他们的意图。

总的来说，这个系统使有严重运动或语言障碍的人能够更清楚、更快速、更自然地表达自己。

本文编译自hackster.io