用于自主系统的实时检测基础模型

自动驾驶是机器人技术和机器学习中的一项重大挑战，旨在改善所有人的出行方式。尽管过去十年取得了巨大的进展，现有的自动驾驶软件在处理极其罕见的长尾场景方面依然存在局限性。因此，实时检测并对突发异常做出响应，对于确保安全性和可靠性至关重要。

本期 NVIDIA 自动驾驶实验室介绍了，生成式 AI 技术被用于增强自动驾驶系统的安全性。在这项 NVIDIA 与斯坦福大学的合作中，双方共同开发了一个算法，基于互联网规模数据上训练的基础模型，如大语言模型（LLM）。该算法展现出了零样本泛化的能力，能够有效检测和缓解机器人系统的分布外故障模式。这一合作成果在 RSS（Robotics：Science and Systems）2024 上荣获优秀论文奖。

此外，NVIDIA 的快速异常分类器在资源和时间受限的情况下，也能够提高动态机器人系统的可信度，如四旋翼飞行器和自动驾驶车辆，其性能优于运用最先进 GPT 模型的自回归推理。这些技术亮点展示了 NVIDIA 在实时异常检测领域的最新进展，也为自动驾驶车辆的实际应用提供了强有力的技术支持。

NVIDIA 提供的物理和具身智能平台能够支持 LLM 在实际应用中的部署。例如NVIDIA DRIVE用于自动驾驶汽车，NVIDIA Isaac用于 AI 机器人。而 NVIDIA Omniverse平台是构建仿真流程以开发和测试 AI 驱动的自动驾驶和机器人的关键工具，利用 Omniverse 中的生成式 AI 可以生成复杂的、罕见的驾驶场景。通过这样的综合策略，可以将 LLM 整合到严格的安全规范中，例如安全监管、冗余设计和仿真测试。

相关资料

利用大语言模型进行实时异常检测和反应式规划

本文提出了一个实时检测和决策框架，该框架利用大语言模型（LLM）的零样本泛化功能，在面对具有挑战性的异常或极端情况时，促进对自主系统的安全和实时控制。这是通过推理层次结构实现的：一个快速异常检测器，用于查询机器人在 LLM 嵌入空间中先前经验的相似性，以及一个慢速生成推理器，用于评估检测到的异常安全影响并选择适当的缓解策略。这些推理器与一种新的模型预测控制策略相配合，保持了多种安全行动规划的可行性。