未来汽车：像人类一样进行思考的汽车

汽车制造商正在检查神经形态技术以实现人工智能驱动的功能，例如关键字定位、驾驶员注意力监控和乘客行为监控。

模仿生物大脑过程很有吸引力，因为它有望在车辆趋向于电池供电运行的时候启用高级功能而不会增加显着的功耗。神经形态计算和传感还承诺极低的延迟，在某些情况下实现实时决策。

以下是有关该技术如何工作以及它如何出现在未来汽车中的内幕。

尖峰网络

尽管我们仍然不完全了解人类大脑的工作原理，但前沿研究表明，神经元通过相互发送称为尖峰的电信号进行交流，而这些尖峰的序列和时间，而不是它们的大小，才是最重要的。关键因素。神经元如何响应这些尖峰的数学模型仍在制定中。但许多科学家一致认为，如果多个尖峰同时（或非常快速地连续）从其邻居到达神经元，这意味着这些尖峰所代表的信息是相关的，因此导致神经元向其发射一个尖峰。邻居。

这与基于深度学习（今天的主流人工智能）的人工神经网络形成对比，其中信息以有规律的速度通过网络传播；也就是说，进入每个神经元的信息被表示为数值，而不是基于时间。

建立一个基于尖峰的人工系统并不容易。我们不仅不确切知道神经元是如何工作的，而且对于训练尖峰网络的最佳方法也没有达成一致。反向传播——使训练深度学习算法成为可能的算法——需要计算导数，而这对于尖峰是不可能的。

一些在该领域工作的人，例如 SynSense，近似尖峰的导数以使用反向传播。其他人使用一种称为尖峰定时依赖可塑性（STDP）的技术，它更接近生物大脑的功能。BrainChip 使用这种方法在边缘进行一次性学习。然而，STDP 是一种不太成熟的技术。还有可能采用以正常方式通过反向传播训练的深度学习卷积神经网络 (CNN) 并将它们转换为在尖峰域中运行。BrainChip 也在追求这种技术。

SynSense 斑点

SynSense 和宝马正在合作推进神经形态芯片与智能座舱的集成，并探索相关领域。宝马将评估 SynSense 的 Speck 片上系统，它将 SynSense 的神经形态视觉处理器与来自 iniVation 的 128 × 128 像素基于事件的相机相结合。SoC 可用于捕获实时视觉信息、识别和检测物体，以及执行其他基于视觉的检测和交互功能。

SynSense 全球研究运营副总裁 Dylan Muir 表示：“当 BMW 用 Speck 模块取代 RGB 摄像头进行视觉传感时，它们不仅可以取代传感器，还可以取代处理标准 RGB 视觉流所需的大量 GPU 或 CPU 计算。”

使用基于事件的摄像头可提供比标准摄像头更高的动态范围，这有利于车内和车外的极端照明条件范围。

宝马将探索用于汽车应用的神经形态技术，包括使用 Speck 模块进行驾驶员注意力和乘客行为监控，合作伙伴将“在未来几个月内探索车辆内外的其他应用，”穆尔说。

SynSense 的神经形态视觉处理器具有完全异步的数字架构。每个神经元都使用具有 8 位突触权重、16 位神经元状态、16 位阈值以及单位输入和输出尖峰的整数逻辑。神经元使用简单的集成和触发模型，将输入尖峰与神经元的突触权重相结合，直到达到阈值，此时神经元触发一个简单的 1 位尖峰。Muir 说，总体而言，该设计是复杂性和计算效率之间的平衡。

SynSense 的数字芯片设计用于处理基于事件的 CNN，每一层由不同的内核处理。核心异步独立运行；整个处理管道是事件驱动的。

“我们的 Speck 模块以低延迟实时运行，”Muir 说。“我们可以在 <5-mW 的功耗下管理 >20 Hz 的有效推理速率。这比标准 RGB 视觉流上的传统低功耗计算要快得多。”

虽然 SynSense 和宝马最初将在“智能驾驶舱”中探索神经形态汽车用例，但其他汽车应用也有潜力。

“首先，我们将探索非安全关键用例，”缪尔说。“我们正在计划未来版本的更高分辨率的 Speck，以及与高分辨率传感器接口的 DynapCNN 视觉处理器的修订版。我们计划这些未来技术将支持先进的汽车应用，例如自动驾驶、紧急制动等。”

脑芯片秋田

梅赛德斯 EQXX 概念车在 2022 年国际消费电子展上首次亮相，配备了 BrainChip 的 Akida 神经形态处理器，可在车内进行关键词识别。这款车被誉为“有史以来最高效的梅赛德斯-奔驰”，它利用神经形态技术比深度学习驱动的关键字识别系统消耗更少的能量。这对于应该在一次电池充电后提供 620 英里范围（约 1,000 公里）的汽车来说至关重要——比梅赛德斯旗舰电动汽车 EQS 远 167 英里。

梅赛德斯在 EQXX 公告中表示，当发现唤醒词“Hey Mercedes”时，BrainChip 的解决方案比传统语音控制效率高 5 到 10 倍。

“虽然神经形态计算仍处于起步阶段，但像这样的系统将在短短几年内投放市场，”梅赛德斯表示。“当在整个车辆中大规模应用时，它们有可能从根本上减少运行最新人工智能技术所需的能量。”

“[Mercedes] 正在研究电池管理和传输等重大问题，但每一毫瓦都很重要，[BrainChip] 纳入的背景是，即使是最基本的推断，如发现关键字，在考虑功率包络时也很重要， ” BrainChip 的首席营销官 Jerome Nadel说。

Nadel 表示，2022 年一辆典型的汽车可能有多达 70 个传感器。在车厢中，这些传感器可以实现面部检测、注视估计、情绪分类等。

“从系统架构的角度来看，我们可以以 1:1 的方式做到这一点；有一个传感器可以进行一定程度的预处理，然后数据将被转发，”他说。“传感器附近会有 AI 推理，并且……它将向前传递推理元数据，而不是来自传感器的完整数据阵列。”

这个想法是为了最大限度地减少发送到汽车主机中的人工智能加速器的数据包的大小和复杂性，同时降低延迟并最大限度地减少能源需求。Nadel 说，每辆车都可能配备 70 个 Akida 芯片或支持 Akida 的传感器，每一个都将是“一个不起眼的低成本部件”，并指出公司需要注意材料清单.

展望未来，Nadel 表示，神经形态处理也将进入 ADAS 和自动驾驶汽车系统。他说，有可能减少对其他类型的耗电人工智能加速器的需求。

“如果每个传感器都有一个有限的，比如说，一个或两个节点的 Akida 实现，它将进行足够的推理，并且将传递的数据将减少一个数量级，因为这将是推理元数据，”纳德尔说。“这会对后备箱服务器所需的马力产生影响。”

Akida 加速了脉冲神经网络 (SNN) 和卷积神经网络（通过转换为 SNN）。它不是为任何特定用例或传感器量身定制的，因此它可以与视觉传感一起用于人脸识别或人员检测，或者与扬声器 ID 等音频应用程序一起使用。BrainChip 还展示了 Akida 的气味和味觉传感器，尽管很难想象这些传感器如何用于汽车（也许是空气污染或燃料质量的气味和味道）。

Akida 设置为处理已转换为尖峰域的 SNN 或深度学习 CNN。与原生尖峰网络不同，转换后的 CNN 保留了尖峰幅度的一些信息，因此可能需要 2 位或 4 位计算。然而，这种方法允许利用 CNN 的特性，包括它们从大型数据集中提取特征的能力。两种类型的网络都可以使用 STDP 在边缘进行更新。在梅赛德斯的示例中，这可能意味着重新训练网络以在部署后发现更多或不同的关键字。

据 Autocar 报道，梅赛德斯已确认“许多创新”，包括 EQXX 概念车的“特定组件和技术”，将使其成为量产车。目前还没有关于梅赛德斯的新车型是否会配备人工大脑的消息。