【指南】将LLM用于自动驾驶汽车

2024年04月25日 由 alex 发表 225 0

介绍

为了在不断变化的环境中保持安全驾驶,自动驾驶车辆需要能够可靠地提前预测附近车辆的变道意图,并预测它们的未来运动。


目前预测车辆运动的方法有很大的改进潜力,尤其是在准确预测长期轨迹和做出更容易理解的预测方面。


车道变化预测任务被重新视为语言建模问题。


1


在上图中,目标车辆用绿色标出,周围车辆用蓝色标出。橙色线条表示目标车辆在 t 个时间步长内的未来轨迹。术语 “高级预测时间”(T)指的是发生变道的帧与当前帧之间的时间间隔。


研究目标

本研究利用 LLM 的智能常识推理能力来掌握复杂的交互细节,从而提高长期预测的准确性。


在分析阶段的提示中添加了解释元素。LC-LLM 模型不仅能预测车道变化和轨迹,还能解释其预测结果,使其更易于理解。


与基本模型相比,LC-LLM 将意图预测提高了 3.1%,将横向轨迹预测误差减少了 19.4%,将纵向轨迹预测误差减少了 38.1%。这是已知的首次使用 LLM 预测变道的尝试,证明了 LLM 全面理解驾驶行为的能力。


2


可解释性

研究人员意识到,他们可以利用LLM的强大功能来解释预测的变道意图和未来轨迹,从而提高自动驾驶系统对预测的解释能力。


通过将LLM集成到预测模型中,可以更清楚地了解为什么会预测到某些行为,从而更深入地理解这些系统的决策过程。


这种方法不仅提高了自动驾驶技术的可信度,还为该领域内可解释人工智能的进一步研究开辟了道路。


意图预测

这项研究中的意图预测想法引起了我的注意。多年来,聊天机器人的主要想法是在发起对话时检测用户的意图。另一个挑战是在对话中途检测用户的意图。


会话设置中的意图之所以难以检测,是因为意图是预先定义的类别,或者说是预期和已知用户输入的分组。因此,一旦确定了用户的意图,就能满足用户的查询或需求。


因此,在本文中,意图检测再次成为重点,但不同之处在于需要检测和预测周围驾驶员的意图。


预测变道意图是自动驾驶和先进驾驶辅助系统(ADAS)的一个重要方面。


该领域的研究旨在精确预测车辆何时变道,通过在变道前预测机动行为,提高整体道路安全和交通效率。


实例说明

请看下图,绿色轨迹是模型需要预测的车辆未来行驶轨迹。观察结果通过提示工程以自然语言进行描述和给出。通过监督,对 LC-LLM 进行微调,以实现准确预测。


在推理方面,提示的设计要将可解释性和可观察性作为其输出的一部分。


经过微调的模型能够在当前帧中预测目标车辆的变道意图和未来轨迹,同时为其预测提供解释,从而提高模型输出的可解释性。


3


提示细节

在微调阶段,输入提示由两部分组成:


  1. 显示在上文本框中的系统信息和
  2. 显示在下部文本框中的用户信息。


用户信息主要包括地图细节、目标车辆的当前状态、目标车辆与附近车辆之间的空间关系以及构建的思维链语句。


4


除预测部分外,LC-LLM 还可向用户提供自然语言输出,说明做出某些决定的原因,或提供有关车辆周围环境的语音反馈。


用户还可以通过语音输入,询问建议或最佳行动方案。


结论

本文介绍了 LC-LLM,这是一种变道预测模型,它不仅能预测变道意图和轨迹,还能为其预测提供解释。


它将变道预测重新定义为语言建模问题,并使用监督技术对 LLM 进行微调。


这种方法充分利用了 LLM 强大的常识推理和自我解释能力。实验证明,预测的准确性和可解释性都有所提高。


不过,这项研究目前侧重于高速公路场景,并建议将未来研究扩展到包括城市场景在内的各种交通场景。

文章来源:https://medium.com/@cobusgreyling/using-llms-for-autonomous-vehicles-4c3d36f740cb
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消