助听器中的DSP：在极低功耗和延时基础上，迈向无线音频和AI+的未来

近年来单片式的DSP逐渐被Arm核的芯片、FPGA等所取代，变成IP形式存在。但在某些领域，DSP有着不可撼动的地位。就像助听器这一领域，DSP仍是为听障人士实现清晰可靠的音频处理的最优解。而在做好基础的音频处理的前提下，助听器中的DSP也在向着无线音频传输、AI+的方向上开始拓展。在简单传统的单片式DSP的基础上，CPU（Cortex-M等）、模拟前端（FAE）、BLE无线和神经网络加速器（NN Accelerater）等按需集成到了DSP上，一起实现了系统单芯片（SoC）的助听器解决方案。

在助听器DSP音频处理这一非常垂直的领域，国际大厂中只有安森美(onsemi)一家在做，并且已经在此领域耕耘了十几年。在近日的“2023北京国际听力学大会”上，安森美作为数不多的芯片厂商应邀出席。我们也借此机会采访到了安森美工业医疗智能部门亚太区高级营销经理杨正龙先生，就助听器的音频处理技术进行了深入的探讨。

助听器中的DSP：用1毫安的功耗水平，实现又快又好的音频处理

助听器分为传统助听器和OTC助听器两种：传统助听器在国外已经发展了有150多年的历史，而在中国的发展大约有60年左右。2017年8月，美国通过了OTC 助听器法案，让助听器的验配变得更为便捷，OTC助听器也纳入了专业助听器的范畴。（在此讨论的仅为气导的方案，人工耳蜗等骨传导方案不在其列）

助听器的原理就是通过麦克风采集外界原始声音信号，经过ADC将模拟信号转换为数字信号，经过DSP的一系列算法处理，然后将处理好的数字信息信号重新转换为模拟信号，经过扬声器再传导到人耳中。DSP是整个音频信号处理链路的关键，经过了多年的沉淀，针对助听器也都有了专门的算法。通过像声音能量计算、时域频域转换、环境监测、风噪处理、啸叫抑制、听损声压调整等等一系列的算法，实现背景噪声减少和人声增强，最终确保听损人士可以听得见、听得懂、能交流。

图：助听器中音频处理（来源：fuel admin）

要在小小的助听器中实现一系列的音频处理和信号转换传输，挑战可不小。首先延迟必须要低：10ms内最佳；其次功耗要低：受限于助听器体积较小，电池容量可能仅为100来个毫安时，功耗要低至1毫安以内，才能满足10小时的续航需求；最终还要有好的效果：把背景噪声降下去，把人声增强起来，还要让人听的舒服、不失真。综合起来这三条要求，其实要在助听器中做到很好的音频处理，非常难。

为了平衡这些助听器应用需求，安森美也沉淀了一系列的专利技术。据杨正龙介绍，“功耗上面如果说客户的要求更多，那么所需的算法就更多的话，功耗肯定越来越高。安森美有两个方式：第一个方式就是说提供了非常多高效率的免费的算法IP，与Ezairo的产品一起提供给客户，这样就可以保证客户实际运行的算法是算的最优的。第二个就是提供了很多硬件加速模块，算法不是通过纯软件去实现，而是提供了很多固化的加速度核，这样整体运算的效率很高，算法的需求量很低，既减少了时延，又降低了功耗。

为了降低时延，提高计算能力是最直接的方式。而安森美的Ezairo平台的算力水平也一直在提升。据杨正龙介绍，Ezairo平台的工艺从之前的130nm到65nm再到现在的22nm一直在不断微缩，同时DSP的处理速度也一直在提升，从以前的只有几十个MIPS水平，到目前的Ezairo7160的375MIPS的水平，再到现在Ezairo8300已经有1000多MIPS的水平。更多的功能需求，需要更复杂的算法。一方面，会通过专门的加速引擎来加速，另一方面，通过更高的工艺和内核算力提升来进行支持。最终让患者更容易接受一些新的功能，更容易去发现助听器的价值。

更多算法需求带来了更多内核集成后，体积的控制是个难题。而安森美具有专门的3D堆叠的技术，通过加拿大伯灵顿一个医疗级别的工厂，能够实现不同模块的集成，从而实现更小体积更多功能的集成。像最新的Ezairo8300系列，已经实现了6核的功能集成，而Ezairo7100系列也已经是4核的功能集成，但整个方案体积和之前传统的方案相比并无二致。

图：超小体积的Ezairo7160模块

助听器中DSP技术未来：迈向无线音频和AI+

不论是传统助听器还是OTC助听器，都对于各种参数有着专门的医疗级别规范要求。而对于专业助听器的使用人群而言，听得清、听得舒服是其第一需求。而随着科技技术的发展，在保证这一前提的基础上，业界也在探索助听器上的未来新趋势。

首先一个重要趋势是无线音频传输。据杨正龙分享，早在大概五六年前，LE Audio还没有发布的时候，安森美就已经以私有协议的方式，做出了在助听器上实现蓝牙低功耗无线音频传输（支持Streaming）的方案。因为彼时的传统蓝牙音频功耗水平太高，并不能够满足助听器的场景要求，所以安森美在当时采用了自研的私有协议，支持地址1mA的功耗水平。但要进行这种连接，需要确保音频设备中预先支持了安森美的这套私有协议的源代码，或者通过一个外接的私有协议的盒子，再来向助听器进行广播。可以说这在当时是非常前沿的、具有探索意义的研究方向，并且确实是踏中了助听器无线音频传输的未来趋势。但作为芯片厂商去进行这种生态的推广，难度颇大，况且是在助听器这样对于新增功能并不是那么迫切的听障市场，所以最终并没有将这项应用推起来。

但随着最近几年LE Audio的推出，助听器的无线音频传输应用将会慢慢兴起。目前安森美的Ezairo7160已经在传统CFX DSP和HEAR核的基础上，集成了低功耗蓝牙连接模块——RSL10，以及一个Cortex-M3的控制内核来进行无线协议处理。其中RSL10 RSL10 支持蓝牙低功耗技术和 2.4 GHz 专有协议，提供业界最低的深度睡眠和峰值接收功耗，是一种高度灵活的多协议无线电模块。

据杨正龙分享，目前Ezairo平台的无线方案已全部支持苹果和安卓两大平台的开放协议，分别是MFi（Made for iphone）和谷歌的Asha。

助听器上实现无线功能的意义，并不仅仅是在音频传输上，另一个主要的应用是实现无线验配，这即方便了验配中心的验配工作，更是极大地方便了用户的使用。比如用户觉得某些声音太闷、某些声音太吵、底噪太高等，都可以自己来进行一些个性化的细致的调节，从而使助听器更适合自己的听损水平和使用环境。

图：安森美Ezario7160无线音频传输demo

除了无线音频外，另一个助听器上的趋势是AI+。通过内置专门的NN加速单元，来实现本地的算法推理，这一趋势正在所有的端侧设备上推行开来。类似在嵌入式设备上的nanoEdge tinyML，在Ezairo的平台中，添加一个NN加速器，实现诸如语音识别、声音识别、AI降噪等功能。

据杨正龙介绍，Ezairzo83系列相较Ezairo7系列的内核增了更多，能力更是翻倍的：内存是以前的4倍，运算的能力是以前的三倍多，然后在ADC的宽度、动态宽度等都比以前高。但其实Ezairzo83系列的成本可能会比Ezairo7160更好一些。因为Ezairzo83系列面向的是专业助听器和辅听两个市场，因此整体的市场出货量预计会更大，也就可以将器件成本拉的更低，给到终端客户更好的成本。

其实有了AI的功能之后，不仅等于增加了一些语音交互的功能，对于传统的音频算法或许也可以迎来颠覆。像现在通过自适应的滤波器实现的降噪算法，未来或许都可以进行迭代，进行不断地人工学习后，将更优化的库在放在助听器上。随着未来互联功能和计算功能的融合，手机个人助理或许也可以通过助听器来与听障人士进行交互，帮助人们实现更多的便捷工作。

国内助听器市场前景广阔，如何帮助好本地客户做好开发工作？

上文提到，助听器在国外的历史要比国内悠久的多。但中国助听器市场，正在飞速发展。从整个市场规模来看，中国助听器市场潜力巨大。据调研数据延时，中国助听器的年复合增长率将近有百分之十几；从个别领先的终端厂商的出货量来看，每年至少30%的增长。

而中国客户的特点是相对国外的几大家助听器品牌，客户数量更多，体量较小，系统级的开发能力也有一定差距。而同时可编程DSP的设计能力要求较高，像一些传统的助听器DSP方案（安森美B300系列）为了实现高效低功耗表现都是采用汇编语言来编写代码，对于当前新生代的工程师而言要求也较高。如何帮助中国这一批客户快速成长起来，实现产品快速量产出货，是安森美在中国进行Ezairo系列产品推广的关键。

杨正龙表示，如果客户从0开始确实很难，可能要花几年的时间去熟悉开发环境：因为不同的内核所需的开发语言不同，有的可以用c有的用汇编，确实是有一定的难度的。但是安森美没有把这个工作全部给到客户和市场，而是提供了几个方案。

第一个方案就是说安森美把所有的东西做好了，客户选择Ezairo硬件平台，就可以使用安森美整套的方案，包括硬件、软件、固件、算法以及验配程序等等，客户都可以直接使用。这一整套方案是安森美基于对市场的全面了解，跟合作伙伴做出来的一个完整的研发方案，基本可以覆盖市场80~90%的一个应用场景。

图：安森美完整的验配方案demo

第二个方案就是针对剩下的20%或者10%的客户需求，有些客户算法能力很强，同时它的市场有特殊的需求，通用的方案无法满足。那么安森美会把很多接口开放出来给到客户，让客户去做自己算法适配，满足他自己特别的一个需求。

结语

助听器是一个特殊的垂直市场，对于功耗、延时等的超高要求，让其必须使用DSP才能满足。在基本的“CFX+HEAR”的架构基础上，才能继续去添加更多的模块，支持更多的复杂算法。遍历国际芯片大厂，也只有安森美一家坚持深耕在此领域，致力于持续不断地迭代自己的Audiology DSP Systems，为客户提供软件、硬件和算法等于一体的全面解决方案。杨正龙表示，未来Ezairo平台将会继续创新，新一代产品的方向，会是继续追求极致功耗，实现双向的蓝牙通信，增加更多生命传感功能等。但杨正龙同时强调到，这个市场很大，安森美并不会去定义市场走向，而是更多地将平台开放给客户，帮助客户实现其所需要的功能。

本文受访者：安森美(onsemi)工业医疗智能部门亚太区高级营销经理 杨正龙