借助Hydra-MDP框架实现端到端自动驾驶

构建一个能在复杂物理世界中导航的自动驾驶系统极具挑战性。系统必须感知周围环境并做出快速且明智的决策。乘客体验也很重要，需要考虑加速、曲率、平滑度、路面附着力、碰撞时间等因素。

本文将介绍 Hydra-MDP，这个创新的框架将推动端到端自动驾驶领域的发展。Hydra-MDP 采用新颖的多教师、学生-教师知识提炼架构，整合了来自人类和基于规则的规划器的知识。这使模型能够学习不同的轨迹，从而提高在不同驾驶环境和条件下的通用性。

图 1 端到端规划范式比较

Hydra-MDP 所提供的通用框架展示了如何通过基于规则的规划器来增强基于机器学习的规划。这一整合确保模型不仅能模仿人类驾驶行为，还能遵守交通规则和安全标准，打破了传统模仿学习的局限性。

Hydra-MDP 以数据驱动的扩展法则展现了其鲁棒性和适应性。通过使用具有大量数据和 GPU 小时数的预训练基础模型，Hydra-MDP 展示了其可扩展性以及持续改进的潜力。

NVIDIA 的 Hydra-MDP 模型在 CVPR 2024 大规模端到端驾驶挑战赛中获得了第一名和创新奖，并且在 nuPlan 基准测试中的表现优于当前最先进的规划器。它为基于 ML 的规划系统在自动驾驶中的应用开辟了一条前景广阔的道路。

端到端自动驾驶是一套系统接收来自摄像头、雷达和激光雷达的原始传感器数据并直接输出车辆控制的完整方法。

相关论文

Hydra-MDP：多目标 Hydra-Distillation 端到端多模式规划

Hydra-MDP 采用新颖的多教师、学生-教师知识提炼架构，整合了来自人类和基于规则的规划器的知识。

借助基于规则的教师知识，Hydra-MDP 可以学习环境如何以端到端的方式影响规划，而不是求助于无差别的后处理，使其在不同驾驶环境和条件下的通用性有了显著提高。

通过多目标 Hydra-Distillation

加强多模态规划

在开发 Hydra-MDP 的过程中，NVIDIA 学到了一些关键的经验，这些经验决定了 Hydra-MDP 的架构及其成功。Hydra-MDP 将人类和基于规则的知识提炼相结合，创建出一个强大的多功能自动驾驶模型。

以下是 NVIDIA 学习到的关键经验：

认识到多模态和多目标规划的复杂性

利用多目标 Hydra-Distillation 的强大功能

克服后处理的局限性

了解环境背景的重要性

通过模拟反复完善

使用有效的模型组合

认识到多模态和多目标规划的复杂性

认识到多模态和多目标规划的必要性是一门“基础课”。

传统的端到端自动驾驶系统通常只侧重于单个模态和目标，这限制了其在现实世界中的有效性。Hydra-MDP 整合了根据安全、效率、舒适度等多个指标定制的不同轨迹，确保模型不只是模仿人类驾驶员，而是能够适应复杂的驾驶环境。

图 2 Hydra-MDP 架构

利用多目标 Hydra-Distillation 的强大功能

多目标 Hydra-Distillation 是一个教师-学生多模态框架，它是 NVIDIA 方法中的关键策略。通过采用多个专业教师（既有人类教师，也有基于规则的教师），模型能够学会预测与各种模拟指标相一致的轨迹。该技术提高了模型在不同驾驶条件下的通用性。

NVIDIA 了解到加入基于规则的规划器提供了一个结构化框架，而加入人类教师则带来了适应性和细致的决策能力，这对于适应不可预测的场景至关重要。

克服后处理的局限性

另一个洞察是依赖后处理进行轨迹选择存在固有的局限性。

传统方法通常会将感知和规划分离成不同且不可微分的步骤，从而丢失有价值的信息。Hydra-MDP 的端到端架构将感知和规划整合成一个无缝衔接的工作流，并在整个决策过程中保持了环境数据的丰富性。通过这种整合，使预测变得更加明智且准确。

了解环境背景的重要性

加入详细的环境背景对于规划的准确性来说至关重要。

Hydra-MDP 的感知网络以 Transfuser 基线为基础构建而成，它将激光雷达和摄像机输入所具有的特征加以组合。这种多模态融合有助于模型更好地理解和应对复杂的驾驶环境。

Transformer 层将这些模态连接起来，保证了对环境背景的全面编码，并提供丰富、可操作的洞察。

通过模拟反复完善

事实证明，离线模拟促进的反复完善过程非常有价值。

在整个训练数据集上运行模拟生成了各项指标的基准真实模拟分数。这些数据随后被用于监督训练过程，使模型能够从各种模拟驾驶场景中学习。

该步骤凸显了大量模拟在填补理论性能与实际应用之间差距的重要性。

表 1 Hydra-MDP 的准确性与输入图像分辨率、预训练和骨干架构的函数关系。获胜方案 Hydra-MDP-C 通过将这些因素结合在一起提高了性能。

使用有效的模型集合

有效的模型集合是取得成功的关键。

NVIDIA 使用了混合编码器和子分数集合等技术来结合模型的优势。这提高了 Hydra-MDP 的鲁棒性，保证了最终模型能够以高精度处理各种驾驶场景。

集合技术兼顾了计算效率和性能，对于实时应用至关重要。

结论

Hydra-MDP 的开发是一个创新、实验和不断学习的过程。通过采用多模态和多目标规划、利用多目标 Hydra-Distillation，以及通过大量模拟加以完善， NVIDIA 创建了一个明显优于当前最先进方法的模型。这些经验造就了 Hydra-MDP 的成功，并为未来自动驾驶技术的进步提供了宝贵的启发。

更多信息，参见 Hydra-MDP：借助多目标 Hydra-Distillation 实现端到端多模态规划。相关工作参见自动驾驶汽车应用研究。