NVIDIA 自动驾驶实验室：基于早期网格融合的近距离障碍物感知

编辑注：NVIDIA 自动驾驶实验室系列视频，将以工程技术为重点的视角关注实现自动驾驶汽车的各个挑战以及 NVIDIA DRIVE AV 软件团队如何应对这些问题。

自动泊车辅助系统在感知障碍物时必须克服一些独特的挑战。目标车辆包含感知车辆周围环境的传感器。在泊车过程中，目标车辆必须靠近动态障碍物，如行人和其他车辆，以及静态障碍物，如柱子和电线杆等。为了适应泊车位，还可能需要穿过较低的障碍物，如车轮护栏和路缘石。

观看NVIDIA DRIVE Labs视频，可以深入了解自动驾驶汽车面临的挑战以及 NVIDIA DRIVE 团队如何应对这些挑战。视频中介绍了早期网格融合（early grid fusion，简称 EGF），这是一种在自动泊车辅助中增强近距离避障的新技术。

NVIDIA DRIVE Labs 第 29 期：增强自动泊车在狭小空间中的避障能力

0000

在狭小空间停车的难题

0035

什么是 Early Grid Fusion（EGF）泊车?

0000

360 度环视检测

0042

4 厘米网格的精确定位

0000

停车地锁等情况下的高度估算

0027

NVIDIA 的自动泊车辅助功能

现有的停车障碍感知解决方案依赖于超声波传感器或鱼眼摄像头。超声波传感器安装在前后保险杠上，通常不能覆盖车辆侧面。因此，该系统无法感知目标车辆的侧面，尤其是对于动态障碍物。

另一方面，鱼眼相机在低能见度、弱光和恶劣天气条件下性能下降。

NVIDIA DRIVE 平台配备了一套摄像头、雷达和超声波传感器，可最大限度地减少盲区，并在所有操作条件下最大化感知冗余。EGF 使用机器学习的多个传感器输入的早期融合来提供准确、高效和稳健的近距离 3D 障碍物感知。

图 1. EGF 使用 NVIDIA 自动泊车辅助系统进行泊车时检测停放的汽车是否为障碍物

早期网格融合概述

为了更好地理解 EGF 背后的创新技术，可以看一下它的 DNN 架构和输出/输入表示。

输出：高度图表示

EGF 输出一个网格分辨率为 4cm 的高度图。高度图中的每个像素都有一个浮点值，表示相对于本地地面的高度。

在图 2 中，绿色高亮面板是 EGF DNN 的输出。浅蓝色代表地面。黄色代表较低的障碍物，例如后面的路缘石。亮红色表示高障碍物的轮廓，例如，停放汽车的圆弧 L 形轮廓和目标车辆后面的树的点。亮红色轮廓后面的暗红色区域表示高障碍物后面的潜在遮挡区域。

图 2. EGF 输入和输出可视化

这种表示方式使 EGF 能够捕捉到周围世界的丰富信息。高分辨率网格可以表示目标车辆左后和右后的圆角。捕捉圆角对于泊车规划器有足够的空间来在狭小空间中停放的两辆车之间执行泊车操作是至关重要的。

通过每个像素的不同高度值，可以区分车辆有足够间隙通过的路缘和汽车必须避让的路缘杆。

输入：超声波和摄像头

大多数多传感器融合感知解决方案都是在检测层面上运行的后期融合系统。在后期融合阶段，传统的通过三角定位法获得的超声波检测数据和来自摄像头的多边形检测数据相融合，通常使用手工制定的融合规则来进行。

相比之下， EGF 使用早期融合方法。来自传感器的低电平信号直接输入到 DNN 中，通过数据驱动的方法学习传感器融合。

对于超声波传感器， EGF 进入原始包络界面，提供亚厘米精度的反射强度。使用超声波传感器的外部位置和内部波束特性，将这些包络信号投影到平面图中（图 3 左下角）。如图 2 中粉色高粱米面板所示，这些超声波图捕捉了比三角定位检测更多的信息。这使得 EGF 能够进行高度检测。

图 3. EGF-DNN 架构图

对于摄像头传感器，EGF 与 MLMCF 共享图像编码器主干——用于高速驾驶的 NVIDIA 多任务多摄像头感知主干。首先，我们通过 CNN 层处理图像特征。然后，我们使用每个摄像头的学习转换将特征从图像空间提升到鸟瞰图空间（图 3 右上角框）。

然后在编码器网络中融合超声波和摄像头特征图，并从组合特征中解码高度图（图 3 右侧）。

结论

EGF 是一种基于机器学习的创新感知组件，可增加自动泊车的安全性。通过使用多模态原始传感器信号的早期融合，EGF 为近距离避障建立了高度信任。

了解更多有关 NVIDIA 正在构建的软件功能，点击“阅读原文”查看NVIDIA DRIVE Labs视频系列。

扫描下方海报二维码，在 8 月 8日聆听NVIDIA 创始人兼 CEO 黄仁勋在 SIGGRAPH 现场发表的 NVIDIA 主题演讲，了解 NVIDIA 的新技术，包括屡获殊荣的研究，OpenUSD 开发，以及最新的 AI 内容创作解决方案。