镜腿只有十四厘米，麦克风阵列为什么在 2.4 千赫以上就失效

智能眼镜上的麦克风阵列，两只麦之间的间距受镜腿长度限制，撑死七厘米。这个尺寸决定了空间混叠的起点在 2.45 千赫，而辅音的能量正好落在这条线以上。把间距拉开能救低频，却把可用带宽切掉一半；把间距缩小能救高频，低频又彻底没有指向性。这是一个由形态决定的死结。

语音交互在眼镜上比在手机上难。手机可以贴在嘴边，眼镜挂在耳朵上，嘴巴离麦克风二十厘米，还是斜的。要把它从环境噪声里拣出来，镜腿里得塞一组麦克风做阵列，靠空间信息做波束成形。

孔径是被镜腿定死的

一副眼镜，从左边镜腿末端到右边镜腿末端，展开大约十四厘米。真正能放麦克风的位置更靠前，两只耳朵附近各一个，间距也就十四厘米；如果要放在镜框上，两个角之间可能只有十厘米出头。

商用产品的做法各有不同。公开资料里，一款用于研究的智能眼镜在镜框上布了七只麦克风；另一款早期方案在左右镜腿前端各放一个声学矢量传感器，每个含四个子传感器，合计八通道。

无论怎么排，最大的那个间距不会超过十四厘米。这个数就是阵列孔径的上限。

混叠从 2.45 千赫开始

阵列能分辨的空间信息，前提是各通道收到的信号有可辨的相位差。间距太大，相位差超过一个周期，就会出现栅瓣，同一个波束方向对应多个入射角，方向判断失效。

失效的起点是半波长：

· falias = c / (2·d)

c 取 343 米每秒。d 等于 7 厘米时，falias 是 2450 赫兹。d 等于 14 厘米，1225 赫兹。d 等于 3.5 厘米，4900 赫兹。d 等于 1 厘米，17150 赫兹。

语音识别的有效带宽通常在 300 赫兹到 8 千赫兹。2.45 千赫这条线把带宽一刀切成两半，下半段可以用空间信息，上半段不行。

麻烦在于上半段恰恰是辅音的地盘。s、sh、f、th 这些音的能量集中在 2 千赫以上，它们决定了词的边界和可懂度。人耳在嘈杂环境里听不清，很多时候不是听不到元音，是分不清辅音。

图 1　麦间距与空间混叠频率的关系：镜腿形态把间距锁在 7 厘米以内，混叠起点落在 2.45 千赫（依据原文第 2 节的阵列孔径分析绘制）

间距缩小救不了低频

把间距缩到 1 厘米，混叠起点抬到 17 千赫，整个语音带宽都在无混叠区。看上去问题解决了，其实换了一个问题。

阵列的指向性来自波程差，而波程差与间距成正比。端射二元阵的指向性指数近似是：

· DI ≈ 10·log₁₀(2·d / λ)

d 等于 7 厘米、频率 1 千赫时，波长 0.343 米，2d/λ 等于 0.41，DI 是负 3.9 分贝。负值意味着这个阵列在 1 千赫上的指向性还不如一只单麦。

同一组参数，频率升到 4 千赫，波长 0.086 米，DI 变成 2.1 分贝。8 千赫时 4.2 分贝。

所以小孔径阵列的能力分布是斜的：高频有一点指向性，低频什么都没有。而低频段恰恰藏着语音的大部分能量，也藏着最难处理的房间混响。

这就是那个死结的形状。间距大，低频有指向性但高频混叠；间距小，高频干净但低频失效。眼镜的形态不允许同时把两个间距做出来。

三条绕开孔径的路

第一条路是换传感器。声学矢量传感器测的不只是声压，还测质点速度。声压是标量，质点速度是矢量，一个矢量传感器相当于一只全向麦加三只正交偶极子，四个子传感器。两只这样的传感器放在左右镜腿前端，就是八个通道。

好处在于偶极子对近场声源的响应比全向麦强，说话人的嘴离眼镜只有二十厘米，属于明确的近场，这一项能换来相对增益。同时八个通道的空间响应各不相同，噪声在通道之间的相关性被打破，波束成形的矩阵条件数改善，有限孔径下也能算得稳。

第二条路是把波束交给神经网络。公开的一项工作把三个固定波束的输出和原始多通道信号一起送进复数卷积网络，用复数表示把模型尺寸压掉一半，同时约束实部虚部的相关性，提升泛化。结果是模型小五倍、算力少四倍、处理时间少五倍，端到端延迟 17.5 毫秒，能在一颗移动端 CPU 上实时跑。

第三条路是可配置视场。把水平面切成二十个空间块，每块 18 度，用户或者多模态模块指定要增强哪几块，网络只在这些块内保留语音，块外全部压掉。这条路的算力做到约 50 MMACS，适合眼镜这种功耗受限的形态。

图 2　七麦阵列的端侧处理链：从 16 千赫采样到 18 度分块的可配置视场输出（依据原文第 2 节与第 3 节的系统结构绘制）

加麦为什么不线性换信噪比

阵列增益的经典公式是十乘以十为底麦数的对数。七只麦，理论增益 8.5 分贝。

实测拿不到这个数。公开的眼镜阵列实验结果里，七麦方案相对单麦的实际改善在 3 到 4 分贝。

差额来自相关性。阵列增益的推导前提是各通道的噪声独立，叠加时按功率相加，信号按幅度相加。眼镜上的七只麦挤在十四厘米里，环境噪声的波长比这个尺寸大得多，各通道收到的噪声高度相关，叠加时按幅度相加，信号和噪声一起涨，比值不动。

相关性越强，阵列增益越接近零。这条路走到尽头的样子是：继续加麦，成本和功耗线性涨，信噪比几乎不动。

真正能打破相关性的是让每个通道看到不一样的东西，声学矢量传感器在这件事上有优势，因为它测的是不同的物理量；或者把阵列做到更大的孔径上，而眼镜的形态不允许。

延迟和算力是另一道闸

端侧还有两个硬指标，延迟和算力。

助听类应用的端到端延迟上限大约 20 毫秒，超过这个数，说话人自己听到自己声音的时间差会被感知成空洞的回声。17.5 毫秒的方案已经贴着这条线走。

帧长 20 毫秒、采样率 16 千赫，一帧 320 个点。做 512 点傅里叶变换，频率分辨率 31.25 赫兹。窗长和帧移决定了时间分辨率与频率分辨率的置换，帧移缩短能减延迟，频率分辨率变粗。

算力方面，50 MMACS 是给可穿戴设备划的一条线。一颗百兆赫兹级的低功耗 DSP 能扛住这个量级，功耗在十毫瓦上下。麦克风本身每个两百微安左右，七只就是一点四毫安，在三百毫安时的电池上，光麦克风常开就要占掉一天里一成多的电量。

于是一个不太被提及的取舍出现了：常开的唤醒词检测和按需启动的波束成形，两者的功耗差距是数量级的。前者要一直跑一个极小的模型，后者要等按键或者视线触发。眼镜上没有按键，视线追踪本身又要额外功耗，两条路都不便宜。

反直觉的那一条

最反直觉的结论是，眼镜音频的瓶颈不在算法，在孔径。

过去几年这个方向的论文几乎都在改网络结构，复数卷积、因果卷积、可配置视场，每一项都能把指标往前推一点。可它们都在同一个孔径上工作，混叠起点还是 2.45 千赫，低频指向性还是负数。算法能做的，是在这个物理约束下把能榨的榨干。

另一个反直觉的地方在评价指标。同一项针对眼镜的研究里，方向性分离让佩戴者的识别错误率降低 1.63%，却让对话另一方的识别变差。波束往一个方向收，另一个方向就漏。这件产品最终服务的是谁，决定了波束该往哪边指。

一句话

十四厘米的镜腿把麦克风阵列的孔径锁死了，混叠起点因此定在 2.45 千赫，低频指向性因此是负的。加麦、换传感器、上神经网络，做的都是在同一个孔径里找补，没有一项能把这条物理线挪走。

内容来源：arXiv 预印本（eess.AS）智能眼镜方向性分离与端侧波束成形研究；arXiv 预印本声学矢量传感器近场拾音研究；arXiv 预印本可配置视场语音增强研究

原文标题：Hybrid Neural Networks for On-device Directional Hearing；Directional Source Separation for Robust Speech Recognition on Smart Glasses；FoVNet: Configurable Field-of-View Speech Enhancement with Low Computation and Distortion for Smart Glasses

作者：见各原文署名（分别对应 arXiv:2112.05893、arXiv:2309.10993、arXiv:2408.06468）

DOI：10.48550/arXiv.2112.05893；10.48550/arXiv.2309.10993；10.48550/arXiv.2408.06468

配图说明：图 1、图 2 为自行绘制，属原理示意，非原文原图复制；图 1 曲线按 falias = c/(2d) 计算，图 2 的模块划分依据原文系统结构归纳

改动声明：本文为对开放获取文献的技术编译与解读，标题、行文与配图为原创；七麦阵列、17.5 毫秒延迟、50 MMACS 与 1.63% 错误率数据引自上述预印本，指向性指数为按公式推算

来源：21ic电子网