音频边缘处理器如何实现物联网设备中的语音集成

从家庭自动化、电子商务到医疗保健和汽车，越来越多的行业正在将物联网功能与语音集成结合起来，以满足不断变化的需求，并释放业务优势。然而，语音仍处于采用的早期阶段，并刚刚开始向移动设备和扬声器之外扩展。语音将成为用户和他们的物联网设备之间交互的标准方法。这种向语音优先的转变不仅仅是基于它在技术上提高了消费者的舒适度。用于动态语音搜索的语音设备的全球移动性、自然语言处理(NLP)的进展以及人工智能和机器学习的进步将使新的应用程序能够快速发展。

愉快和吸引人的声音互动受到一致的噪音和其他干扰物存在的音质的限制。你的设备智能管理声音的能力决定了你的沟通能力。预计永远开机的语音用户界面(VUI)将在更多的消费产品中普及，包括音频和视频设备、白色产品，以及各种电池供电的设备，如遥控器、可穿戴设备、蓝牙扬声器、安全设备和户外活动摄像头。虽然有设计上的挑战需要克服，但组件供应商和OEMS都有很大的机会来交付满足这些应用程序需求的产品。

为了充分利用语音集成机会的成熟，更多的处理技术正在走向边缘，远离云计算。结果是改进了用户界面，更低的延迟和成本，包括美元和带宽。为未来设计支持物联网的CE解决方案的制造商必须考虑将语音集成作为产品特性的先决条件。能够在边缘部署专用语音处理的oem将能够扩展这些应用程序并扩展他们的投资组合。

本文讨论了在物联网始终在上/始终收听的设备中实现vui时最常见的挑战。本文回顾了相关的需求，以及有效解决这些需求所需的设计能力，包括与控制接口的集成、软件堆栈、算法开发和用户空间应用程序开发。

将音频边缘处理器集成到物联网设备中

专门关注音频保真度和机器学习优化核心的专用音频边缘处理器是支持高质量音频通信设备的关键。这些处理器可以提供足够的计算能力来使用传统算法和ML算法处理音频，同时使用通用处理器的一小部分能量。由于处理是在设备上进行的，所以它比将信息发送回云要快得多。

物联网设备集成了音频处理器，增加了语音唤醒等丰富的功能。虽然云计算可能会提供一些巨大的好处，但边缘处理允许用户在任何时候利用他们的设备的全部能力，而不需要高带宽的互联网连接。例如，边缘音频处理器通过对上下文数据进行低延迟处理，在虚拟通信中提供优越的用户体验，同时保持上下文数据的本地和安全。

在集成语音方面所面临的挑战

语音通话、控制和交互的应用程序机会继续增加。然而，随着更多的设备，更多的碎片化被引入，这使得集成语音变得更加困难。你如何将语音控制集成到每个应用程序中——无论是蓝牙扬声器、家用电器、耳机、可穿戴设备还是电梯——将会有所不同。添加一个语音唤醒触发器可能很简单，但设计一个企业级的蓝牙扬声器和耳机要复杂得多。如果该扬声器包含了真正的无线立体声(TWS)集成，那么复杂性就会再次上升。

此外，各种应用程序都需要与不同的生态系统进行语音集成。例如，你需要在Linux生态系统中工作，才能在大多数智能电视上实现语音，但要在家用电器上获得语音，就需要在微控制器(MCU)生态系统中工作。对于所有这些集成，都有一种常见的推荐方法，但总是有变化，这增加了复杂性。

高质量、大众市场的开发解决方案对于克服这些挑战并快速将新技术推向市场，以支持我们工作、生活和沟通的快速发展方式至关重要。为了应对这些挑战，合适的解决方案需要解决多种设计需求。

满足关键的设计要求

电力消耗

为了让VUI设备接收命令，它必须始终打开/始终侦听命令。无论这些设备是否插电，特别是由电池驱动的，对功耗的限制可能是一个主要的设计挑战。为了让VUI设备接收命令，它必须始终打开/始终侦听命令。无论这些设备是否插电，特别是由电池驱动的，对功耗的限制可能是一个主要的设计挑战。

在语音命令系统中，至少有一个麦克风必须始终是活动的，并且负责识别唤醒字的处理器也必须是活动的。使用专有架构、硬件加速器和特殊指令集设计的音频边缘处理器可以最优地运行音频和ML算法。这些优化有助于降低功耗。

潜在因素

对语音激活设备的延迟没有容忍度。即使有超过200毫秒的感知延迟，人类也会开始在语音通话中互相交谈，或者向语音助手重复他们的命令。为了开发语音集成设备，将获得必要的消费者认可，工程师和产品设计师必须在整个系统中提供优化的音频链，以符合行业规范和最佳的用户体验。因此，边缘处理器中的低延迟处理是确保高质量语音通信的关键要求。

整合

因为在为不同的VUI实现选择硬件和软件时，有很多选择，所以在集成阶段的各个阶段，有些需求可能会成为一个挑战。在此过程中需要考虑的一些关键设计考虑包括下面讨论的那些。

硬件集成

根据设备的使用情况、应用程序和生态系统，有各种硬件架构用于实现VUI系统。每个VUI设备将包括麦克风，单个麦克风或麦克风阵列，连接到一个音频处理器，用于捕获和处理音频。在Khowles最近的一篇嵌入式文章中，我的同事回顾了实现VUI系统的硬件架构考虑事项，以及每个系统的优缺点。

主机软件集成

如上所述，有不同的操作系统和驱动程序可供选择。理想情况下，音频处理器将配备固件和一组配置为与主机处理器连接的驱动程序。该操作系统，如Android或Linux，通常运行在主机处理器上。

在内核空间中运行的驱动程序软件组件通过控制接口与固件进行交互，而来自音频边缘处理器的音频数据可以通过标准的高级Linux音频架构(ALSA)接口在用户空间中读取。

要将软件与主机系统的其他部分集成，将软件发布包中提供的音频处理器驱动程序连接到内核映像中可能成为一项复杂的工作。这包括将驱动程序源代码复制到内核源树中，更新一些内核配置文件，并根据相关的硬件配置添加设备树条目。

解决这个问题的一种方法是使用具有精确或类似配置的预集成的标准参考设计。

在理想的情况下，音频边缘处理器将为集成提供简化的软件堆栈，并提供预集成和验证的算法作为系统级解决方案，以进一步简化过程。

算法集成

当我们讲在算法集成的主题上时。通常有多个算法级联，在任何给定的时间在不同的用例之间切换。即使是对于语音唤醒，一个设计也需要多麦克风波束形成器、一个边缘语音唤醒引擎和基于云的验证。这意味着至少有三种算法一起工作来优化性能。对于任何集成了Alexa或谷歌Home关键字的设备，必须有多种算法，通常来自不同的供应商，必须在一个设备中一起进行优化。

一种解决方案是选择一个音频边缘处理器，它预先集成了经过验证的算法，开发和测试独立于主机系统。

形式因素集成

今天的设备可以采取很多形式的因素。每个设备都有自己的多个麦克风安装的配置。麦克风和扬声器的距离和位置在表演中起着重要的作用。性能调整和优化必须根据最终的形式因素和目标用例进行更改。还有一些影响性能的制造变化，如麦克风密封，设备上的声学处理，振动抑制等。

隐私

许多音频处理器检测到唤醒字，然后立即将信息发送到云，在那里它被解释和采取行动。一个大问题是，一旦音频数据出现在云中，用户就无法控制这些数据，因此就会暴露在很高的隐私风险中。解决这一挑战的方案是选择一个边缘AI智能处理器，可以在设备上“在边缘”执行命令解释和响应逻辑。

这使得敏感的个人音频数据保持本地，而不会被发送到云，在那里它可以违背我们的意愿使用。VUI的实现现在不仅更加私有，而且可以更快地响应，使用户的交互更加自然。这是一个很好的例子，说明了边缘人工智能处理器如何推进现有的用例，以最大限度地提高我们每天使用和信任的设备的帮助性。

硬件和软件接口

VUI实现的设计要求可能很复杂，并使将具有语音集成的设备快速推向市场具有挑战性。oem和系统集成商可以通过使用标准解决方案开发工具包，如诺尔斯AISonic蓝牙标准解决方案工具包，从而大大降低风险。这些工具包为原型提供了预先配置的起点，允许设计师在上面开发他们自己的创新，而不必担心我们上面讨论的设计挑战。设计人员应该寻找具有预集成和验证过的算法的开发工具包、预配置的麦克风和与主机处理器和操作系统兼容的驱动程序。

打开其架构和开发环境的音频边缘处理器，通过为音频应用程序开发人员提供创建新设备和应用程序的工具和支持，从而加速了创新。未来的音频设备将是一种合作的努力。