清华&港大提出LanguageMPC：将大语言模型和MPC相结合的新型类人智驾系统

面对复杂多变的交通场景，基于学习的方法已成为了实现高级别自动驾驶系统的主流方案。然而，基于学习的自动驾驶系统仍面临以下挑战：

对复杂的规则和奖励函数设计的需求使其在理解交通法规等高级信息上存在困难。

受限于数据量和采样效率，处理罕见事件是其面临的一大挑战。

由于神经网络的黑盒特性，现有基于学习的自动驾驶系统缺乏良好的可解释性。

针对以上问题，我们提出将大语言模型（LLM）作为自动驾驶系统的决策核心，利用LLM像人一样思考的能力，将人类常识和推理能力作为自动驾驶系统决策的指导。同时，我们开发了将LLM给出的高层决策转化为具体驾驶行为的方法，将高层决策与底层控制器无缝结合。

在CVer微信公众号后台回复：MPC，可以下载本论文pdf，学起来！

LanguageMPC: Large Language Models as Decision Makers for Autonomous Driving 论文：https://arxiv.org/abs/2310.03026 项目网站：https://sites.google.com/view/llm-mpc LanguageMPC：将大语言模型与模型预测控制无缝结合

LanguageMPC首次将LLM应用于驾驶场景，并设计了将文字形式高层决策转化为可操作驾驶行为的方法。我们定量的证明了LanguageMPC在路口和环岛等复杂交通场景中均优于现有基于学习和基于优化的自动驾驶系统。同时，我们还展示了LanguageMPC在应对多车协同控制、文字辅助驾驶等复杂任务时的强大性能。

LanguageMPC的技术核心在于以下两点：

专用于驾驶场景的思维链框架。我们使用Langchain管理LLM，通过设计初始prompt和多种工具，指导LLM依次完成对周车的意图判断和注意力分配、判断自车所处情景、给出驾驶动作指引等任务。我们将整个驾驶任务划分为多个子任务，并重新设计了场景信息组织方式，通过确保信息的简洁性来提升LLM的推理能力。

高层决策与模型预测控制衔接。我们设计了将文字形式的高层决策转化为可操作的驾驶行为的方法。具体而言，我们根据LLM的选择来重计算观测矩阵，调整MPC的注意力分配；调整惩罚函数的参数矩阵，使用LLM给出的情景判断指导MPC；将LLM的驾驶运动指引转化为运动偏置，直接调整MPC的驾驶行为。

实验结果

定量实验

我们的方法在几乎所有指标上都有明显提升，并且显著降低了碰撞几率和总体Cost。

路口无保护左转

在路口左转时，LanguageMPC能根据交通规则让行对向直行车辆。

路口直行和变道超车

路口直行时，LanguageMPC能遵守路口内不超车的规则，并在到达车道内后迅速超车。

多车联合控制：窄路会车

LanguageMPC通过信息汇总和分别控制，实现了高效的多车联合控制，完成窄路会车。

调控驾驶风格

LanguageMPC能根据文字指引，简单直接的调控驾驶风格。

文字指导驾驶

LanguageMPC在文字指引下避开了维修路段。

LanguageMPC在关键指标上大大优于现有方法，并能处理复杂的真实世界驾驶场景，可在各种驾驶场景中实现与人类类似的性能，其推理能力和可解释性有助于克服当前基于学习的驾驶辅助系统在适应性和透明度方面的局限性。