如何使用7通道干电极EEG复制NeurIPS视觉解码

轻量级干电极脑电图工作站能否重现通常依赖实验室级脑电图硬件的视觉解码实验?

这就是这个项目背后的问题。

基于脑电图的视觉解码通常与资金充足的神经科学实验室、湿式电极、较长的设置时间以及昂贵的放大系统相关联。我们希望测试一种更便携的7通道干式电极装置是否能够支持类似的流程：视觉刺激、脑电图记录、信号预处理、特征提取和图像级解码。

在本项目中，我们使用NeuraDock脑电图工作站，以7个干式脑电图通道复现了NeurIPS 2024上的视觉解码任务。

我们为何打造了这个

视觉解码提出一个难题：我们能否从一个人的脑电图信号中推断出他正在看什么?

近期研究表明，使用脑电图嵌入、多模态对齐和图像生成管道取得了令人瞩目的成果。然而，许多此类实验仍依赖于实验室级的湿电极系统、受控环境以及不易为独立开发者或小型研究团队获取的硬件设备。

NeuraDock 的设计旨在让脑电图(EEG)开发更加便捷。该系统无需完整的实验室设备，而是采用可穿戴的干式电极耳机、紧凑型采集单元以及专为快速脑机接口(BCI)原型开发而设计的软件流程。

在本实验中，我们想评估这种便携式脑电图设备是否能够支持一个完整的视觉解码工作流程。

系统概览

实验遵循一个四步流程：

•向用户呈现视觉刺激

•通过7个干电极记录脑电图反应

•预处理脑电图信号并提取特征

•使用解码模型来检索或重建与脑电图响应最一致的图像

目标并非声称7个干电极能在任何情况下取代完整的实验室级系统，而是想测试在结合仔细的预处理、时间校准以及额外数据采集的情况下，紧凑型脑电图设备究究竟能发挥多大作用。

硬件设置

实验使用了NeuraDock EEG工作站，这是一个专为脑机接口(BCI)研究和原型设计的7通道干电极脑电图平台。

该耳机采用干式梳状电极，无需使用导电凝胶，从而缩短了设置时间，并便于在传统实验室环境之外进行重复的数据采集。

与湿电极实验室系统相比，最大的优势在于便捷性：设置更快，硬件更易于穿戴，实验可在普通环境中进行。但其缺点是信噪比较低和空间分辨率较低，必须通过工程设计加以解决。

实验设计

我们采用了一项受近期基于脑电图(EEG)的图像解码研究启发的视觉解码任务。参与者在观看自然图像的同时记录脑电图信号，随后模型尝试识别哪张图像最能与所记录的脑电图反应相匹配。

主要的技术挑战在于，干电极产生的信号比湿电极更嘈杂。为弥补这一问题，我们重点关注了三个方面：

•信号滤波

•时间校准

•增加训练数据的数量

由于实验采用软件标记器而非专用硬件触发线，因此我们还需要估算并补偿视觉刺激与记录的脑电图反应之间的时序延迟。

信号处理与校准

我们测试了多种滤波范围和延迟偏移，以找到稳定的处理配置。

最佳的整体权衡是在保留视觉特征的同时，减少电源线干扰和高频肌肉伪影。时间校准也证明非常重要：性能最强的区域集中在短暂的刺激后校正窗口内，这有助于补偿系统延迟。

这一部分工作至关重要。使用便携式脑电图设备时，模型性能并非仅依赖硬件，还取决于整个流程：数据采集质量、预处理、校准、数据量以及模型设计。

关键成果

7通道干电极装置能够重现核心的视觉解码流程，并在多项检索任务上达到相当的性能水平。

在我们的基准测试中，NeuraDock 在7通道视觉解码设置下实现了约20.5%的Top-1准确率，Top-5准确率约为45%。对于双向和四向检索任务，其性能与参考基准相当。

这些结果表明，当结合充分的数据采集和仔细的预处理时，干电极脑电图可成为视觉解码研究中可行的信号来源。

该系统并未消除干电极与湿电极脑电图之间的差距，而是表明通过工程手段可以部分弥补这一差距。

哪些方法有效

最令人鼓舞的结果是，一种紧凑型干式电极系统能够在非实验室环境中支持先进的脑电图解码工作流程。

最重要的是三件事：

•以视觉区域为重点的7通道布局

•精确的时机控制与滤波校准

•额外训练数据以补偿较低的信噪比

这表明，便携式脑机接口研究并不总是需要从大型昂贵的硬件开始。对于许多早期实验，一个较小的系统就足以验证工作流程、测试模型并构建交互式原型。

限制

仍然存在明显的局限性。

仅使用7个干电极脑电图通道时，细粒度图像重建仍然困难。与64通道系统相比，空间分辨率受限，且随着候选图像数量的增加，高N检索任务变得更加复杂。

重建图像能够捕捉语义结构和基本轮廓，但目前尚无法与基于fMRI的高分辨率神经解码系统相媲美。

本项目应被视为一项工程验证，而非声称干式脑电图能完全取代实验室级脑电图。其价值在于，先进的脑机接口实验将变得更加便携、可重复且易于获取。

本文编译自hackster.io