admin管理员组

文章数量:1130349

文章目录

  • 数据驱动前沿算法与发展趋势
  • 0. 前言
  • 1. 端到端自动驾驶引言
  • 2. 端到端自动驾驶
    • 2.1 端到端自动驾驶早期尝试 ALVINN
    • 2.2 基于模仿学习的端到端系统 NVIDIA-E2E
    • 2.3 基于强化学习的端到端系统
    • 2.4 多模态融合的自动驾驶 Transfuser
    • 2.5 模块化端到端 UniAD
    • 2.6 模块化端到端 VAD
    • 2.8 端到端系统评测
    • 2.9 端到端自动驾驶的局限与挑战
  • 3. 自动驾驶与多模态大模型
    • 3.1 多模态大模型对自动驾驶的启发
    • 3.2 自动驾驶语言可解释性
    • 3.3 自动驾驶文本数据集
    • 3.4 基于场景文本特征的规划模型
    • 3.5 场景特定特征对齐的规划模型
    • 3.6 闭环多模态大模型
    • 3.7 大模型特性探索及其局限与挑战
  • 4. 参考

数据驱动前沿算法与发展趋势

0. 前言

本文主要记录课程《自动驾驶预测与决策技术》的学习过程，难免会有很多纰漏，感谢指正。
课程链接：https://www.shenlanxueyuan/my/course/700
相关笔记链接：
Part1_自动驾驶决策规划简介
Part2_基于模型的预测方法
Part3_路径与轨迹规划
Part4_时空联合规划
Part5_决策过程
Part6_不确定性感知的决策过程
Part7_数据驱动的预测方法
Part8_数据驱动的规划方法

该章节主要以论文讲解为主，未仔细阅读论文原文，仅借助PPT与ChatGpt进行资料整理与记录，对应的论文链接均已附上链接。

1. 端到端自动驾驶引言

2. 端到端自动驾驶

2.1 端到端自动驾驶早期尝试 ALVINN

参考链接： Alvinn: An autonomous land vehicle in a neural network

摘要： ALVINN（自动驾驶陆地车辆神经网络）是一种3层反向传播网络，设计用于道路跟踪任务。目前，ALVINN接收来自相机和激光测距仪的图像作为输入，并输出车辆应当朝哪个方向行驶，以便跟随道路。训练使用的是模拟的道路图像。在卡内基梅隆大学的自动驾驶测试车辆上的成功测试表明，该网络能够在特定的实地条件下有效地跟踪真实道路。为完成这一任务而开发的表示方法在不同条件下训练时会发生显著变化，这表明该系统有可能成为一种新型的自适应自动导航系统，能够根据实际情况调整其处理方式。

2.2 基于模仿学习的端到端系统 NVIDIA-E2E

参考链接： End to end learning for self-driving cars

局限：Out of Distribution,指的是模型在训练时从未见过的数据分布。在机器学习中，模型通常在某种特定数据分布（训练数据集）上进行训练，但在实际应用中，模型可能会遇到超出该分布范围的输入数据。这些数据与训练数据有显著不同，因此模型可能无法很好地处理或预测这些数据。


2.3 基于强化学习的端到端系统

Kendall A, Hawke J, Janz D, et al. Learning to drive in a day

2.4 多模态融合的自动驾驶 Transfuser

TransFuser: Imitation With Transformer-Based Sensor Fusion for Autonomous Driving

摘要： 我们应该如何将来自互补传感器的表示整合用于自动驾驶？基于几何的融合在感知任务（例如目标检测、运动预测）中表现出了潜力。然而，在端到端驾驶的背景下，我们发现基于现有传感器融合方法的模仿学习在高密度动态代理的复杂驾驶场景中表现不佳。因此，我们提出了TransFuser，一种利用自注意力机制整合图像和激光雷达（LiDAR）表示的方法。我们的方法使用多分辨率的变换器模块（transformer modules）来融合透视视图和鸟瞰视图的特征图。我们在一个具有挑战性的全新基准上对其有效性进行了实验证明，该基准涉及长途驾驶和密集交通，以及CARLA城市驾驶模拟器的官方排行榜。在提交时，TransFuser在CARLA排行榜上的驾驶得分大幅超过了所有先前的工作。与基于几何的融合方法相比，TransFuser将每公里平均碰撞数减少了48%。



2.5 模块化端到端 UniAD

参考链接：

  • Planning-oriented Autonomous Driving
  • https://github/OpenDriveLab/UniAD
  • https://zhuanlan.zhihu/p/642373931

    摘要： 现代自动驾驶系统的特点是将任务划分为模块化的顺序任务，即感知、预测和规划。为了执行多样化的任务并实现高级智能，当

文章目录

  • 数据驱动前沿算法与发展趋势
  • 0. 前言
  • 1. 端到端自动驾驶引言
  • 2. 端到端自动驾驶
    • 2.1 端到端自动驾驶早期尝试 ALVINN
    • 2.2 基于模仿学习的端到端系统 NVIDIA-E2E
    • 2.3 基于强化学习的端到端系统
    • 2.4 多模态融合的自动驾驶 Transfuser
    • 2.5 模块化端到端 UniAD
    • 2.6 模块化端到端 VAD
    • 2.8 端到端系统评测
    • 2.9 端到端自动驾驶的局限与挑战
  • 3. 自动驾驶与多模态大模型
    • 3.1 多模态大模型对自动驾驶的启发
    • 3.2 自动驾驶语言可解释性
    • 3.3 自动驾驶文本数据集
    • 3.4 基于场景文本特征的规划模型
    • 3.5 场景特定特征对齐的规划模型
    • 3.6 闭环多模态大模型
    • 3.7 大模型特性探索及其局限与挑战
  • 4. 参考

数据驱动前沿算法与发展趋势

0. 前言

本文主要记录课程《自动驾驶预测与决策技术》的学习过程，难免会有很多纰漏，感谢指正。
课程链接：https://www.shenlanxueyuan/my/course/700
相关笔记链接：
Part1_自动驾驶决策规划简介
Part2_基于模型的预测方法
Part3_路径与轨迹规划
Part4_时空联合规划
Part5_决策过程
Part6_不确定性感知的决策过程
Part7_数据驱动的预测方法
Part8_数据驱动的规划方法

该章节主要以论文讲解为主，未仔细阅读论文原文，仅借助PPT与ChatGpt进行资料整理与记录，对应的论文链接均已附上链接。

1. 端到端自动驾驶引言

2. 端到端自动驾驶

2.1 端到端自动驾驶早期尝试 ALVINN

参考链接： Alvinn: An autonomous land vehicle in a neural network

摘要： ALVINN（自动驾驶陆地车辆神经网络）是一种3层反向传播网络，设计用于道路跟踪任务。目前，ALVINN接收来自相机和激光测距仪的图像作为输入，并输出车辆应当朝哪个方向行驶，以便跟随道路。训练使用的是模拟的道路图像。在卡内基梅隆大学的自动驾驶测试车辆上的成功测试表明，该网络能够在特定的实地条件下有效地跟踪真实道路。为完成这一任务而开发的表示方法在不同条件下训练时会发生显著变化，这表明该系统有可能成为一种新型的自适应自动导航系统，能够根据实际情况调整其处理方式。

2.2 基于模仿学习的端到端系统 NVIDIA-E2E

参考链接： End to end learning for self-driving cars

局限：Out of Distribution,指的是模型在训练时从未见过的数据分布。在机器学习中，模型通常在某种特定数据分布（训练数据集）上进行训练，但在实际应用中，模型可能会遇到超出该分布范围的输入数据。这些数据与训练数据有显著不同，因此模型可能无法很好地处理或预测这些数据。


2.3 基于强化学习的端到端系统

Kendall A, Hawke J, Janz D, et al. Learning to drive in a day

2.4 多模态融合的自动驾驶 Transfuser

TransFuser: Imitation With Transformer-Based Sensor Fusion for Autonomous Driving

摘要： 我们应该如何将来自互补传感器的表示整合用于自动驾驶？基于几何的融合在感知任务（例如目标检测、运动预测）中表现出了潜力。然而，在端到端驾驶的背景下，我们发现基于现有传感器融合方法的模仿学习在高密度动态代理的复杂驾驶场景中表现不佳。因此，我们提出了TransFuser，一种利用自注意力机制整合图像和激光雷达（LiDAR）表示的方法。我们的方法使用多分辨率的变换器模块（transformer modules）来融合透视视图和鸟瞰视图的特征图。我们在一个具有挑战性的全新基准上对其有效性进行了实验证明，该基准涉及长途驾驶和密集交通，以及CARLA城市驾驶模拟器的官方排行榜。在提交时，TransFuser在CARLA排行榜上的驾驶得分大幅超过了所有先前的工作。与基于几何的融合方法相比，TransFuser将每公里平均碰撞数减少了48%。



2.5 模块化端到端 UniAD

参考链接：

  • Planning-oriented Autonomous Driving
  • https://github/OpenDriveLab/UniAD
  • https://zhuanlan.zhihu/p/642373931

    摘要： 现代自动驾驶系统的特点是将任务划分为模块化的顺序任务，即感知、预测和规划。为了执行多样化的任务并实现高级智能，当

本文标签： 发展趋势算法笔记数据

版权声明：本文标题：【笔记】自动驾驶预测与决策规划_Part9_数据驱动前沿算法与发展趋势 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://it.en369.cn/jiaocheng/1754772489a2726375.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。