声学传感系统AutoHear赋予 AV 更好的听觉

在严重交通事故等紧急情况下，分秒必争，足够宽的救援车道可以决定生死。如果驾驶员能听到警报器，为什么自动驾驶汽车不能这样做？总部位于埃及开罗的 Avelabs 开发了一种传感器解决方案，可为车辆提供听觉，以补充视觉并改进自动驾驶系统。 

“在评估环境时，视觉是我们最重要的感觉，”Avelabs 产品管理总监 Amr Abdelsabour 在今年布鲁塞尔 AutoSens 的小组会议上说。“然而，作为人类驾驶员，我们不仅仅依赖于视觉。当我们开车时，我们也依赖于我们的听力。我们可以听到很多信息，但看不到像从后面传来的警报器。或者，如果我们开车进入一个盲道，而有车来了，我们真的看不到它，但我们能听到它。” 

在 AutoSens，Avelabs 推出了 AutoHears，这是一种声学传感系统，可检测、分类和定位声音，以帮助了解车辆的复杂环境。AutoHears 包括硬件、机械外壳和运行传感功能的软件，旨在执行紧急车辆、模糊场地、自然灾害（例如岩石滑坡）和安全事件（例如附近的碰撞、枪击、爆炸）检测，以及如车辆自诊断和语音识别。

在与EE Times Europe的后续讨论中 ，Abdelsabour 解释了赋予车辆听觉所需的条件、软件和硬件如何相互依赖、数据融合过程的执行地点和方式，以及 AutoHears 何时能够实现上路？ 

EE Times Europe：您能否描述一下 AutoHears 可以和无法检测到的声音类型？ 

Amr Abdelsabour： 我们从行驶中的车辆声音（例如轮胎、发动机、刹车和空气动力学声音）以及全球不同标准的喇叭和警报器开始。到目前为止，这些课程已经过测试和演示。我们目前正在努力添加新的类，例如自然灾害和碰撞检测，但它们仍处于功能开发阶段。功能开发路线图正在构建中。 

EE Times Europe：AutoHears 从各个角度检测声音。有身体限制吗？

阿卜杜勒： AutoHears 可以检测来自各个角度的声音，不仅如此，还可以检测来自墙后和其他障碍物的声音。当然有物理限制。声音测量是一个相对传感过程，其中声音是相对于其环境进行传感的。这意味着如果环境安静，AutoHears 将能够检测到微弱和微弱的声音，例如自行车甚至脚步声。但是，如果环境嘈杂，AutoHears 将只能检测到最重要的声音。因此，例如，如果附近有响亮的警报器，我们将无法检测到其他车辆的马达声音，因为响亮的声音会掩盖安静的声音。尽管如此，我们正在努力找出我们在客观数字上的确切物理限制，以便能够为我们的客户提供可靠的限制。

EE Times Europe：声音的分类呢？

阿卜杜勒： 声音的分类是一个复杂的过程，尤其是在涉及非标准化声音时。如果我们谈论的是诸如警报器之类的标准化声音，那么分类过程就会变得简单而直接，并且可以使用基于模型的算法来完成。然而，行驶中的车辆检测是一个更复杂的过程，因为它是由不同物理成分组成的声音的非标准组合，从而产生我们的耳朵或传感器听到的最终声音。这就是各种人工智能方法发挥作用的地方，能够通过收集的数据基于机器学习对声音进行分类，并根据他们所学的内容检测和分类声音。我们很自豪地说，在 AutoHears 中，我们结合了基于模型的算法和机器学习来对声音进行分类， 

EE Times Europe：音频数据如何与来自嵌入汽车的摄像头或其他传感器的图像数据融合？

阿卜杜勒： 与人类驾驶员一样，声音与视觉相得益彰。这就是我们对 AutoHears 的看法，我们也相应地开发了它。因为我们主要关注声学传感部分，所以我们提供原始声学传感信息，这些信息可以与摄像机和雷达等其他传感器融合，对物体进行分类和定位，从而发挥每个单独传感器的优势并克服它们的弱点. 因此，例如，将雷达、摄像头和 AutoHears 结合起来，可以在我们的盲点中检测到以下车辆：雷达可以检测到障碍物并准确估计其距离（因为雷达在这方面非常可靠），摄像头会对该物体进行分类（如果有摄像头在观察目标车辆所在的方向），AutoHears 将通过自己的车辆分类和定位来确认检测，并在车辆发出任何声音（如按喇叭或发出警报器）时添加信息。所有传感器的组合使传感器融合以可能的最佳方式对周围环境进行了高度确定的重建。 

EE Times Europe：你为什么决定建立一个完整的系统？为什么必须解决所有软件和硬件方面的问题？

Amr Abdelsabour,  Avelabs

阿卜杜勒： AutoHears 作为传感系统是同类中最早的检测系统之一，即声学检测系统。由于 Avelabs 是一家软件公司，我们最初希望我们的主要关注点仅是从软件角度感知功能，而不是关注硬件部分。然而，没有传感硬件，就不可能有传感功能。传感硬件是传感功能的主要推动者，因为传感器并不像在车辆中放置麦克风以实现检测那么简单，而是必须仔细设计硬件以实现对周围环境的准确定位。为了定位对象，定位算法依赖于物理因素，例如声音到达时间差，只有当硬件设计成能够检测到这一点时才能检测到。涉及多个硬件因素，例如麦克风的数量、它们之间的距离以及它们在车辆上的位置。所有这些硬件要求迫使我们自己设计和构建硬件，以实现我们提供的声学传感功能。简单来说，没有一家公司可以为车辆提供外部声学检测硬件，这就是我们必须自己开发的原因。 

EE Times Europe：你能告诉我一些关于声学传感器本身的细节吗？在运行算法的 CPU 上？

阿卜杜勒： 在传感器和处理器系统方面，我们已决定采用集中式架构。这一决定是为了顺应所有汽车公司目前的趋势，即依靠检测原始数据的传感器（相机、雷达……）。然后将原始数据发送到集中式域控制器，在该控制器中进行传感器融合。这就是为什么我们将声学传感器构建为原始数据传感器，检测所有声学信息并将其发送到运行传感算法的集中域控制器。如您所知，我们自己设计了声学传感器，但我们使用现成的汽车域控制器（例如 Xilinx FPGA 和 TI ADAS TDA SoC）作为运行我们算法的 CPU。但是，由于每个客户都使用自己的域控制器，我们仅将这些处理器用作参考硬件。因为我们可以简单地部署在任何类型的域控制器上，只要进行必要的定制。 

EE Times Europe：你为什么说 AutoHears 是“硬件依赖的”？

Abdelsabour： AutoHears 作为传感器和传感算法具有通用组件和硬件特定组件，具体取决于客户所需的功能和客户使用的处理控制器。因此，例如，如果客户只想要声音事件的方向（不知道到发出声音的物体的距离），则只需要使用一个传感器。但如果客户还想检测物体的距离，就需要使用多个传感器来三角测量物体的距离。例如，这是一个依赖于硬件的功能。 

关于硬件依赖性的另一面是用于处理传感功能的域控制器。我们功能的性能取决于运行它们的处理器及其功能。在硬件的性能和处理要求之间存在权衡。因此，例如，如果我们希望 AutoHears 以 1 度的分辨率进行检测，这将需要更多的处理资源。如果我们降低我们想要的性能，那么处理要求也会降低。此外，每个新硬件都将附带一些针对微控制器抽象层的特定硬件定制，例如 AutoHears 传感器驱动程序，这些驱动程序将被实施到客户的基本软件环境中。

EE Times Europe：您在发展方面处于什么位置？您打算什么时候在公共道路上测试 AutoHears？您预计 AutoHears 何时投入生产？ 

Abdelsabour： 可以在产品开发阶段考虑 AutoHears。我们已经从技术和财务角度证明了这一概念，进行了演示和测试以证明可行性，目前我们正在努力“产品化”开发。这包括公共道路验证以及获得汽车认证。这是我们从产品开发到商业化所需的两个步骤。这些是在投入生产之前必须采取的步骤。 

EE Times Europe：你们有早期客户测试解决方案吗？

Abdelsabour： 虽然我们在今年 9 月开始在 AutoSens 上发布该产品，但我们已经在与客户讨论测试该解决方案的问题。在我们尝试向汽车市场推出新产品的过程中，我们希望依靠我们的客户和合作伙伴更多地了解市场期望和要求，并将我们的传感器集成到数据采集车队中，以收集更多数据进行培训和验证目的。

审核编辑 黄昊宇