特斯拉不赞成传感器融合，自动驾驶汽车怎么办？

在耶路撒冷实测的L4汽车正在利用AI先进技术，在多个独立的计算机视觉引擎上运行不同的神经网络算法。多个神经网络会产生‘内部冗余’。特斯拉的首席执行官埃隆·马斯克（Elon Musk）在其第一次“Autonomy Day”活动中抨击激光雷达（LiDAR）是“一个傻瓜的差事”，并说“依赖LiDAR的任何人都注定要失败，”因为它是“不必要的昂贵的传感器。”而传感器融合（Fusion）却是当下的热门话题之一。

传感器的发展速度和水平决定了未来自动驾驶（AD）的进展快慢，这话并不过分。没有传感器，自动驾驶汽车就不可能实现。传感器可以使汽车看到和感知道路上的一切，并收集安全驾驶所需的信息，通过中央处理器为汽车控制装置发送适当的指令，如转向、加速和制动；联网传感器收集的实际路径、交通堵塞和道路障碍物信息，可以在联网汽车之间共享；地图信息的处理和分析可以构建从A点到B点的路线。

唯有传感器融合

说到高级驾驶辅助系统（ADAS）和自动驾驶汽车（AV），一切都与传感器有关，都需要摄像头、雷达和LiDAR、超声波等传感器来查看周围环境。视听设备还需要计算能力和人工智能（AI）来分析多维（有时是多源）数据流，以便为车辆提供实时的整体和统一视图。

毋庸讳言，对于每个终端市场来说，都有其特定于应用的需求，而一种感测方式无法满足所有需求（尽管特斯拉可能不会同意）。对于ADAS和AV，永远不会有一种单一的最有效方法来实现感测技术。

在搭配（mix）和匹配不同的传感器后，AV开发人员正在寻找协调多个传感器生成数据的方法。他们相信，融合的感知数据才能更接近人类的感知。

那么，将AV传感器融合到什么程度呢？现在，一个神奇的数字可能是6，因为每家汽车OEM都会以6个传感器来决定如何以自己的方式实现，他们都会创建自己的独特方法将传感器集成到未来车辆中。目的只有一个——以正确的传感器组合确保设计不会损害车辆的主动安全性。

融合多少种传感器？

时至今日，一些汽车OEM根本不使用LiDAR，而是押注传感器和基于AI计算的结合，以实现高自动化水平。最引人注目的是特斯拉，其方法是在车辆周围放置使用伪LiDAR方法的摄像头，以生成汽车周围环境的准确3D图像；用AI计算分析车道标记并预测其他车辆的行为。它不仅分析图像，还分析图像中的各个像素，以预测每个像素的深度。丰田汽车也正在研究类似的方法。

马斯克是一位有影响力的思想家，他的做法可能会对整个行业产生影响。特斯拉Model S是第一款具有AD功能的汽车，自其发布以来，由于驾驶员对ADAS系统依赖过大，发生了许多事故。

其实，马斯克并不是反对在所有应用中使用LiDAR，其另一家公司的SpaceX就依靠DragonEye LiDAR来生产Dragon和Crew Dragon航天器。之所以没有在汽车中使用，主要应该是成本问题。

马斯克：只有这玩意儿才值得用昂贵的传感器

事实上，现在AV开发商的共识是：如果视觉系统很难猜测正在看的东西，或者更糟的是对下一步工作感到困惑，最好的办法就是增加更多传感器，如雷达和LiDAR。将所有内容融合在一起，可以使AV有更大的信心，且感知系统更接近现实。

Mobileye的传感器融合方法有点像特斯拉。其L4自动驾驶汽车没有使用雷达或LiDAR，仅使用12个摄像头——“VIDAR”，可实现类似LiDAR的输出。Mobileye总裁兼首席执行官Amnon Shashua说：“在耶路撒冷实测的L4汽车正在利用AI先进技术，在多个独立的计算机视觉引擎上运行不同的神经网络算法。多个神经网络会产生‘内部冗余’。”

Amnon Shashua

不过，Mobileye负责自动驾驶汽车标准的副总裁Jack Weast承认：“鉴于没有完美的传感器可以在汽车的整个使用寿命中始终保持100%的精确感测，因此，我们必须通过提供足够能力的感测来解决这个问题。”

Jack Weast

他认为，必须换个思路。他解释说：“我们有一辆只有雷达和LiDAR的独立车辆在耶路撒冷运行。目的是将仅有LiDAR/雷达的汽车提高到与仅有摄像头系统相同的感知水平。将它们结合在一起，就可以拥有并行运行的冗余且多样化的感测实现方法。因此，我们可以生成两个世界模型并将它们组合在一起，而不是仅依赖于一个世界模型来提高准确性。”他把这称为更保险的“裤子的两条背带”。

破解传感器融合的技术挑战

传感器融合为完全自动驾驶指明了道路，AV加速的疯狂竞争压力也在传感器融合算法开发中取得了重大进展，但仍然存在许多技术挑战。

Yole Développement的技术和市场分析师Pierrick Boulay说：“汽车的E/E（电气/电子）架构正在从分布式架构演变为以域为中心的架构。”

他指出，奥迪在2016年走出了第一步，采用了zFAS域控制器。所有传感器数据，包括来自3D摄像头、远程雷达、LiDAR和超声传感器的信号，都不断地输入到模块中并由模块（域）进行处理。

“使用这种类型的域控制器，可以更轻松地实现数据融合，”Pierrick Boulay说。事实上，特斯拉对其Autopilot硬件采取了类似的方法，用硬件“收集来自所有嵌入式传感器的数据，还可以控制音频和RF及导航系统。”目前真正的域控制器应该只有特斯拉的AP3.0（FSD版）和奥迪A8的zFAS，其余很多域控制器只是虚拟机而已。

奥迪A8的zFAS

英飞凌科技奥地利公司概念工程师Norbert Druml表示，AI将越来越多地实施，且所有开发用于分析此类异构数据量算法的公司都将找到许多机会。对于制造处理数据的芯片公司来说也是如此。随着驾驶级别的提高，对计算能力的需求也不断增加。例如，自动驾驶汽车已经超过了每秒250 tera运算量，而特斯拉的完全自动驾驶能力接近70 TOPS。

那么，计算能力可以无限增加吗？在什么级别就可以认为足够用于完全自动驾驶？Pierrick Boulay说：“有些公司拥有中等计算能力的优化系统就可以实现完全自动驾驶，而其他公司则可能需要两倍的资源。只有时间才能证明极限在哪里。”

一些挑战与传感器和计算的功耗有关，尤其是在电动汽车中。因为处理大量数据可能会影响电动汽车的行驶里程。高能效是用户的主要关注点。

与传感器融合有关的另一个挑战是在不同维度空间（即2D和3D）中融合数据的能力。这是OEM和Tier1必须回答的关键问题。LiDAR能够以3D模式设置场景，并可使用摄像头和雷达对场景进行微调，以使图像具有色彩，使物体具有速度感。而要实现这一点是相当复杂的，这也是领导者和落后者之间的差异所在。

让我们看看Norbert Druml在2020年布鲁塞尔国际传感技术展上分享的一项价值5100万欧元的欧洲研究项目Prystine——汽车智能化可编程系统。他展示了迄今为止在L3自动驾驶的故障操作感测、控制和AI控制的车辆方面取得的一些重要成果。

Prystine：传感器融合势在必行

据介绍，支持Prystine的包括来自14个欧洲和非欧洲国家的60个合作伙伴，宝马、福特和玛莎拉蒂等汽车OEM、英飞凌科技和NXP等半导体公司都在其中，还有一些技术合作伙伴和研究机构。Prystine将加强和扩展欧洲行业、研究和大学在智能移动领域，特别是电子元件和网络物理系统领域的传统核心竞争力。

Prystine项目就是要解决自动驾驶的关键问题——实施融合，并解释来自各种传感器的数据，以便系统可以像人类驾驶员一样看到并理解车辆的周围环境。

Norbert Druml认为，在自动化链中，故障操作行为是必不可少的，以便独立处理安全关键的情况。目前最先进的方法仍无法达到这一点，原因之一是缺乏可靠的环境感知和传感器融合。

从技术上讲，该项目的目标是开发和验证新的失效硬件/软件平台、高性能和可靠的感知（不同级别的传感器融合）和从芯片到系统级都采用的基于AI的决策算法。

Prystine将提供组件级故障操作传感器融合框架、可靠的嵌入式E/E架构，以及安全兼容的AI方法集成，用于汽车应用中的目标识别、场景理解和决策。由此产生的用于自动驾驶系统的参考融合架构和可靠组件将在22个行业演示中进行验证，其中包括一辆配备了新融合组件的先进感知和高度连网乘用车，以预测交通状况。

预知故障操作行为是安全的关键

车辆正逐渐获得更多的自动驾驶功能，驾驶员将不再专注于驾驶，而将更多精力放在监视已被授予驾驶行为的智能系统。在L3，如果系统出现故障或自动驾驶功能达到其操作极限，驾驶员可接管驾驶任务。但是，在L4和L5，不能依靠驾驶员及时和适当的干预。自动化必须能够自行处理安全关键的情况。因此，故障操作行为在感知、预测和执行自动化链的各个阶段至关重要。

据介绍，Prystine正在实现基于强大雷达、LiDAR融合和控制功能的故障运行环绕感知，以实现城市和农村环境的安全自动驾驶，以确保在传感器出现故障时的安全自动驾驶。

当从故障安全系统转变为故障操作行为系统后，就可以真正提高集成到未来汽车中的所有组件的安全性，包括安全控制器、传感器、雷达、LiDAR、摄像头及具有处理能力的计算平台组件。

当检测到故障时，Prystine合作伙伴所设想的故障操作行为系统不会关闭全部功能。相反，它将激活能够支持某些功能并以降低的速度驾驶汽车到下一个救援地点。”

用融合检测什么？

为了实现融合，Prystine的研究重点是开发四个AI算法集群。

＋

检测弱势道路使用者

在欧盟，行人死亡人数占22%，骑自行车人占8%。该集群通过融合来自雷达、LiDAR和摄像头传感器的数据，满足对弱势道路使用者（行人、骑自行车人、儿童及残疾人和老年人口）的感知。开发的SuperSight解决方案使用360°视频处理，并在车辆上安装了周围摄像头，旨在消除盲点，使脆弱的道路使用者在进入驾驶员自然视野前就被看到。合作伙伴称，SuperSight还提供自动安全警告，以减少交通事故并提高驾驶员的主动性。

检测弱势道路使用者的SuperSight

＋

检测弱势道路使用者

从L2、L3过渡到L4，车辆需要应对更复杂的交通条件和道路网络，尤其是城市环境。Prystine的合作伙伴正在研究一种交通管理解决方案，它融合了来自交通控制器、浮动汽车数据和自动车牌识别摄像头的交通数据，可以为汽车和道路使用者提供交通预测。它可提供超越实际汽车视野的远景，帮助汽车优化其轨迹和路径规划。例如，汽车可以调整其轨迹和速度，以使绿灯亮起来，并优化时间和能耗。

＋

悬架控制

Prystine评估了各种传感器技术，包括激光三角测量、雷达和超声成像，以扫描路面状况，使车辆可以通过更改阻尼系数或悬架系统的垂直位置对预期状况做出反应。算法会分析前方道路的几何形状，并以这种方式适应汽车悬架，让用户不会感到坑洼或颠簸，大大提高了驾驶舒适性。

＋

车辆控制和轨迹规划

这组算法适用于碰撞检测、避免碰撞、改变车道、紧急停车和超车，以及重型卡车和全尺寸拖车的后向操纵及起/停安全等用例。该集群部署在三个复杂级别的演示器中。在称为共享控制方案的第一级中，驾驶员由基于AI的辅助驾驶提供支持，不断分析汽车轨迹。如检测到紧急情况，它将为驾驶员提供支持，并能够以安全方式处理紧急情况。

下一个级别称为分层控制，可以在不同自动化层次之间平滑切换。例如，车辆可以从受监管的城市控制系统切换为城市驾驶，通过持续监控汽车周围的情况和场景，或通过分析驾驶员状态和操作的复杂性来实现。

第三级是完全由AI控制的车辆。此级别融合了来自雷达、LiDAR和摄像头的传感器数据，并考虑了基于云的信息，特别是交通状态和交通预测信息，以改善基于AI的自动驾驶解决方案。

据介绍，为期三年的Prystine项目将于2021年4月结束，但该项目的构想将继续下去。

汽车和驾驶员的关系不容忽视

为汽车市场提供几乎各种图像传感器的供应商安森美半导体高级副总裁兼智能传感部门总经理Ross Jatou关注融合，更关注汽车和驾驶员的关系。

Ross Jatou

他表示，汽车OEM之间的各种ADAS技术的功能和质量可能存在明显差异。无论是基于视觉的传感器系统还是驾驶员监视系统（DMS），一些供应商是可靠的，而另一些供应商根本不值得信赖。他说：“今天，汽车和驾驶员之间的关系发生了巨大变化，这就是美国汽车协会交通安全基金会（AAA）对ADAS功能测试结果令人失望的原因。人们花重金买来的ADAS系统可能对行人视而不见，技术空白很明显。

Ross Jatou说：“我记得汽车爱好者杂志《汽车与驾驶员》说过，汽车发烧友都关心引擎，还有音响系统。今天，通过将所有智能添加到车辆中，无论是信息娱乐系统、数字仪表还是显示、ADAS或自动驾驶，汽车OEM确实将发烧友带到了这里。”

如何看待这种转变呢？“现在，驾驶员，甚至乘客与汽车之间的关系都更好了。过去，司机是一种工作，汽车是一种电器，就像烤面包机一样。现在，汽车热销市场扩大了，越来越多的人与无线更新、Android auto或Apple解决方案有联系。因此，汽车不再是静态购买，用户在汽车使用寿命所获得的包括更新和改善。”他说。

另一方面：过去两者的关系毫不妥协。驾驶员被告知，这就是车的工作原理。如果十年内出了故障，人们会对这种体验不满意。现在，有了与智能汽车的这种新关系，似乎驾驶员更加尊重汽车的智能，对某些错误更加包容和善解人意。例如，如果你只要上网，然后输入“Tesla重新启动”，你将看到所有重启命令，人们对此表示满意。如果信息娱乐系统有时锁定，车企会告诉用户如何重新启动。这在过去是闻所未闻的。

在智能手机时代，消费者已经习惯了手机有时死机的现实，必须关闭并重新动软件更新也是如此，不一定总是可靠的。更新可能会在不方便的时候进行，并且可能会无意中禁用某些应用的功能。但是，要求消费者考虑“好吧，我们必须忍受这一点”根本不是一件好事，尤其是在涉及ADAS和AD的安全关键型应用时。我们不能在安全性上妥协。

Ross Jatou最后说：“无论将硬件还是软件集成到车辆中，我的试金石都是：你会把十岁的儿子放在无人驾驶汽车中，然后送他去学校吗？这确实在促使人们问自己：‘我是否查看过所有可能的故障模式？问题都解决了吗？’”

缺乏直觉的机器需要驾驶策略的帮助

无人驾驶汽车的拥趸都在宣称自动驾驶汽车如何挽救许多人的生命。但是他们没有给应得的积分以足够的信誉。事实上，人才是优秀的驾驶员。一个驾驶员对其他道路使用者、道路状况及恶劣天气或即将来临的交通拥堵，甚至潜在危险情况会做出很多假设，并以此相应调整驾驶策略。这种直觉对道路安全至关重要。但是，如果是一辆自动驾驶汽车，我们如何想象一台机器如何会做出假设，并根据其直觉做出适当响应？机器有“直觉”？至少现在没有！

如果你观看未经剪辑的自动驾驶汽车在繁忙交通中巧妙穿梭的视频，作为非AV开发人员，很难理解它是如何解释其状况及采取行动的。整个过程会让你感到磕磕绊绊，自动驾驶汽车的动作不会让你感到顺畅和舒服。

AV专家怎么说呢？他们通常会忽略或最小化的东西是：“直觉”和“驾驶策略”的交叉点。自动驾驶确实必须要有敏锐的洞察力和更好的机器学习能力，但是，驾驶策略对于自动驾驶汽车的瞬间决策至关重要。

传感器完美的视野很重要，但仅凭这一点并不能使自动驾驶汽车成为安全的驾驶员。Edge Case Research首席技术官兼卡内基梅隆大学副教授Phil Koopman以一个常见的例子说明了汽车传感器对使汽车能够向前看和思考非常重要：一个孩子在自动驾驶汽车即将驶过时冲到街上捡球，之后他会往哪边跑。

Phil Koopman

他说：“感知和计划的棘手部分是预测在不断变化的情况下接下来会发生什么……传感器不仅需要提供有关物体运动和位置的信息，还需要提供有关运动可能发生变化的信息。”

他认为，传统的工程方法对于实现安全自主性是必要的，但还不够，需要通过使用适当的标准、指标和最佳实践来帮助客户获得成功。

必须有假设与预测的新标准

在观看自动驾驶视频时，会有“时隐时现”的情况，汽车似乎检测到几辆停放的汽车，但几秒钟后汽车消失了，停放的汽车数量在不断变化。Mobileye首席技术官兼英特尔高级研究员Shai Shalev-Shwartz解释说，AV软件驾驶程序会跟踪对象，即使它们没有出现在软件可视化屏幕上也是如此。这是因为“驾驶策略有一个‘常识'层，其中包含‘一个物体或人突然消失得无影无踪'等逻辑。”

Shai Shalev-Shwartz

这就是英特尔-Mobileye自2017年以来一直在谈论的责任敏感安全（RSS）的想法。其框架成为了IEEE标准讨论安全自动车辆决策的起点。RSS是一个数学模型，定义了安全范围以及车辆应采取的适当反应，以防止自动驾驶汽车因自身故障或其他驾驶员造成的事故而发生事故。前提是必须通过提供足够能力的感测来解决这个问题。

RSS的5条安全规则：别撞到你前面的车；别鲁莽地加塞儿；优先通行权是给予，而不是占用的；在能见度有限的地方要小心；避免一场车祸而不会造成另一场车祸。

例如，根据公式，AV可以编程创建和运行安全跟车距离。当两辆车之间的距离小于dmin时，AV制动，直到恢复安全跟车距离。

有助于实时预防和检测安全性降低的情况

保证像人开车时自然而然地稍微刹车，与不安全地切入车道的车辆保持安全的纵向距离。

AV必须转向下一车道避免碰撞，前提是不会造成又一次碰撞。

在其他司机侵犯路权时，像人一样本能地放弃通行权。

AV必须做出假设，在遮挡区域提示谨慎，以确保所有人的安全。

RSS试图通过定义构成危险情况的原因以及如何做出响应的方式，使机器可以解释那些人为的假设和“隐式”交通规则。比如用数学公式为机器定义安全距离是多少，谨慎驾驶意味着什么。

RSS提供了“常识”层，其重要组成部分是“了解你不知道的东西”。这意味着，在任何时候对于3D道路视图中的每个区域，都有“未知”机制，包括（1）已知有人占据；（2）已知无人；或（3）未知。RSS逻辑配置旨在每种情况下均能正常运行。“未知”机制非常适合2D检测到的物体，但是将其放置在3D世界中存在很多不确定性。

英特尔-Mobileye为IEEE P2846（安全相关自动车辆行为模型的假设）贡献了自己的RSS，标准小组希望在今年年底或明年年初完成其初稿；其他公司也提供了安全模型。由于它是技术中立的新标准，因此不需要任何人使用特定类型的芯片或传感器。Shai Shalev-Shwartz指出：“如果没有共同的‘关于其他道路使用者的假设’，则自动驾驶汽车很难平衡安全性和实用性。”

驾驶策略要不要因地制宜？

在自动驾驶视频中显示，由于测试车辆左转弯，迫使直行的摩托车停下来，看起来这种自动驾驶技术并不安全。Shai Shalev-Shwartz回应：“在以色列及大多数西方国家，这是完全正常的。等待完美的情况出现是没有用的。”这说明了在城市与城市之间或国家与国家之间，人们对“激进驾驶”的容忍度是不同的。那么，是否意味着AV开发者必须为每个地区开发不同的AV堆栈呢？

最新消息，吉利将从2021年开始在其L2以上电动车中部署Mobileye“全栈”360°ADAS解决方案，它使用11个摄像头（7个远距和4个短距），没有雷达或LiDAR。SuperVision具有OTA升级能力，提供了可扩展功能，支持hands-free高速公路驾驶、基于导航的highway-to-highway、上/下匝道，以及城市的hands-free驾驶。不过，中国的路况尽人皆知！

事实上，驾驶行为并未纳入AV软件堆栈。作为IEEE P2846工作组主席的Jack Weast说：“确实，将这些隐式驾驶规则体现在安全模型中，而不是在所有其他自动驾驶堆栈中，确实是一个很棒的想法。”换句话说，车企可以调整基于RSS的驾驶策略以匹配不同的驾驶方式，而不影响安全性。

总结一下

“明天的司机”将是一个戏剧性的变化，其实现来自于我们今天的道路经验。数亿行代码的软件“司机”将取代几十万的人类驾驶员，载着我们去上班，载着家人和朋友见面，安全地运送我们每天需要的货物。为了迎接这项创新，我们需要从基础安全做起。

更多精彩

电动汽车电池剩余电量不准惹的祸 里程焦虑如何拯救？

【典型新旧造车势力大盘点】彩虹总现风雨后 当把新桃换旧符

自动驾驶方案的安全风险及化解之道

优化衬底助推第三代半导体实现汽车创新