LanguageMPC: Large Language Models as Decision Makers for Autonomous Driving

现有的基于学习的自动驾驶（AD）系统在理解高级信息、概括罕见事件和提供可解释性方面面临挑战。为了解决这些问题，这项工作采用大型语言模型 (LLM) 作为需要人类常识理解的复杂 AD 场景的决策组件。我们设计认知途径来实现 LLM 的全面推理，并开发算法将 LLM 的决策转化为可操作的驾驶命令 ...

TransFuser: Imitation with Transformer-Based Sensor Fusion for Autonomous Driving

我们应该如何整合互补传感器的表示以实现自动驾驶？基于几何的融合已显示出感知的前景（例如物体检测、运动预测） ...

CR3DT: Camera-RADAR Fusion for 3D Detection and Tracking

准确检测和跟踪周围物体对于实现自动驾驶车辆至关重要。虽然光探测和测距 (LiDAR) 传感器为高性能设定了基准，但仅摄像头解决方案的吸引力在于其成本效益。值得注意的是，尽管无线电探测和测距 (RADAR) 传感器在汽车系统中广泛使用，但由于数据稀疏和测量噪声，它们在 3D 探测和跟踪方面的潜力在很大程度上被忽视 ...

ADAPT: Action-aware Driving Caption Transformer

端到端自动驾驶在交通行业具有巨大潜力。然而，自动决策过程缺乏透明度和可解释性阻碍了其在实践中的工业采用。早期已经有一些尝试使用注意力图或成本量来获得更好的模型可解释性，但这对普通乘客来说很难理解 ...

Multi-Modal Fusion Transformer for End-to-End Autonomous Driving

应如何集成互补传感器的表示以实现自动驾驶？基于几何的传感器融合在物体检测和运动预测等感知任务中显示出了巨大的前景。然而，对于实际的驾驶任务，3D 场景的全局上下文是关键，例如 ...

Multimodal Motion Prediction with Stacked Transformers

预测附近车辆的多个可能的未来轨迹对于自动驾驶的安全至关重要。最近的运动预测方法试图通过隐式正则化特征或显式生成多个候选提议来实现这种多模态运动预测。然而，它仍然具有挑战性，因为潜在特征可能集中在数据最频繁的模式上，而基于提案的方法很大程度上依赖于先验知识来生成和选择提案 ...

DiLu: A Knowledge-Driven Approach to Autonomous Driving with Large Language Models

自动驾驶的最新进展依赖于数据驱动的方法，这些方法被广泛采用，但面临着数据集偏差、过度拟合和不可解释性等挑战。从人类驾驶的知识驱动本质中汲取灵感，我们探索了如何将类似的功能注入自动驾驶系统的问题，并总结了一个集成交互环境、驾驶员代理和记忆组件的范例来解决这个问题。利用具有涌现能力的大型语言模型（LLM），我们提出了 DiLu 框架，该框架结合了推理和反射模块，使系统能够基于常识知识进行决策并不断发展 ...

GPT-Driver: Learning to Drive with GPT

我们提出了一种简单而有效的方法，可以将 OpenAI GPT-3.5 模型转变为自动驾驶车辆的可靠运动规划器。运动规划是自动驾驶的核心挑战，旨在规划安全舒适的驾驶轨迹 ...

Decision Transformer: Reinforcement Learning via Sequence Modeling

我们引入了一个将强化学习（RL）抽象为序列建模问题的框架。这使我们能够利用 Transformer 架构的简单性和可扩展性，以及 GPT-x 和 BERT 等语言建模的相关进步。特别是，我们提出了 Decision Transformer，这是一种将 RL 问题转化为条件序列建模的架构 ...