基于4D毫米波雷达的道路路沿检测

admin管理员组

文章数量:1037775

基于4D毫米波雷达的道路路沿检测

文章：Road Boundary Detection Using 4D mmWave Radar for Autonomous Driving

作者：Yuyan Wu, Hae Young Noh

编辑：点云PCL

摘要

检测道路路沿，即可用行驶区域的静态物理边缘，对于自动驾驶和高级驾驶辅助系统（ADAS）中的安全导航和有效路径规划至关重要。传统上，自动驾驶中的道路路沿检测依赖于摄像头和激光雷达（LiDAR）。然而它们容易受到不良光照条件的影响，如夜间和直射阳光的眩光，或者对于低端车辆来说，成本过高。为此，本文介绍了4DRadarRBD，这是首个基于4D毫米波雷达的道路路沿检测方法，它在复杂驾驶场景中既具有成本效益，又表现出较强的鲁棒性。其主要思路是，道路路沿（例如，围栏、灌木、路障）会反射毫米波，从而为雷达生成点云数据。为了克服4D毫米波雷达点云中存在大量噪声点的问题，我们首先通过物理约束来减少道路路沿的噪声点，然后通过引入基于距离的损失函数，将距离实际道路路沿较远的点的错误检测进行惩罚，从而对道路路沿点进行分割。此外通过利用每个点相对于前一帧经过车辆运动补偿后的道路路沿检测结果的偏差，以及点云的空间分布，捕捉点云序列的时态动态，进行逐点道路路沿分割。通过实际驾驶测试评估了4DRadarRBD，取得了93%的道路路沿点分割准确率，中位距离误差达到0.023米，与基准模型相比，误差减少了92.6%。

相关工作

LiDAR 和 RGB 摄像头主要用于自动驾驶中的道路路沿检测。LiDAR 系统提供高分辨率的三维点云数据，能够有效捕捉驾驶环境中的丰富信息，从而实现有效的道路路沿检测。由于其成本较低且在自动驾驶车辆中普遍使用，RGB 摄像头也广泛用于道路路沿检测，摄像头可以捕捉广泛的环境细节，用于识别车道标记、道路边缘和障碍物。然而这两种方法各有其局限性。LiDAR 系统昂贵，使得其在低端车辆中不太可行，而摄像头则容易受到光照条件差的影响。

之前的研究已经初步尝试了基于 3D 毫米波雷达的道路路沿检测方法。然而这些方法在复杂的道路路沿几何形状下缺乏鲁棒性，这是因为它们通常采用基于规则的方法和算法，如 RANSAC，用于拟合道路路沿曲线，这些方法难以适应复杂环境中动态且不规则的道路边缘轮廓，原因在于多项式模型的固有限制。因此需要一种更具适应性和鲁棒性的方法，能够在现实驾驶场景中自动处理多样化的道路路沿几何形状。

点云分割方法可分为三类：基于点的方法、基于体素的方法和基于投影的方法。尽管基于体素和基于投影的方法擅长捕捉空间细节，但对于稀疏的 4D 毫米波点云而言，它们的效果较差，通常会在离车辆较远的区域产生空的体素或像素，直接处理点云而不改变数据结构的基于点的方法更适合我们的道路路沿分割任务。因此我们采用基于点的框架进行道路路沿分割。

主要贡献

4DRadarRBD 通过三个模块解决了这些挑战，实现了道路路沿检测。在第一个模块中，点云被预处理以提取逐点特征，利用物理约束减少噪声，并通过帧融合减轻点云稀疏性。在第二个模块中，从噪声点中分割出道路路沿点，并捕捉点云的时态动态。最后，第三个模块基于分割后的道路路沿点拟合道路路沿曲线，为控制和规划任务提供连续的道路路沿估计。第一个挑战通过在第一个模块中首先利用道路路沿的物理约束来减少噪声点，然后在第二个模块中引入基于距离的损失，惩罚那些远离道路路沿的点被错误检测为道路路沿，从而得到解决。为了应对第二个挑战，通过计算当前帧中每个点相对于前一帧经过运动补偿后的道路路沿点的偏差，捕捉点云序列的时态动态。该偏差作为特征被引入到第二个模块中的点云分割框架中，从而提高道路路沿检测的时态一致性。

4DRadarRBD 的主要贡献包括：

• 提出了4DRadarRBD，这是首个基于4D毫米波雷达的道路路沿检测系统，具有成本效益且能够应对复杂的驾驶场景。
• 减轻了噪声点的影响，并捕捉了点云序列的时态动态，从而实现了稳健的道路路沿检测。
• 通过在复杂场景中的实际驾驶测试评估了4DRadarRBD系统，取得了准确且稳健的道路路沿检测结果。

主要内容

本文介绍了4DRadarRBD系统，该系统利用4D毫米波雷达的点云数据检测道路路沿。该系统主要包括三个模块：1）点云预处理，2）逐点道路路沿分割，3）基于曲线的道路路沿形状拟合（见图1）。

图 1. 4DRadarRBD 系统概述

点云预处理

首先对从4D毫米波雷达获取的点云进行预处理，以提取用于道路路沿分割任务的逐点特征，同时减少噪声点并缓解点云的稀疏性。

雷达点云的逐点特征提取：点云的逐点特征是从4D毫米波雷达信号和车载传感器（GPS、IMU）中提取的，包括位置坐标（x，y，z）、多普勒速度、信噪比、距离、车速和偏航率。其中前四个特征来自4D毫米波雷达，而车速和偏航率来自GPS和IMU传感器。位置（x，y，z）相对于以4D毫米波雷达所在位置为原点的坐标系统进行定义，该雷达通常安装在车辆的前牌照附近。在这个坐标系统中，x轴指向车辆右侧，y轴指向车辆的行驶方向，z轴指向上方。位置和距离表示物体的位置，而信噪比则提供物体的材质和表面特性信息。此外车速、偏航率和多普勒速度共同描述了物体的运动。这些特征包含了关于反射毫米波的物体的重要信息，对于准确分割道路路沿点至关重要。

利用物理约束进行噪声减少：应用物理约束来过滤掉噪声点，排除超过静态道路路沿预期高度或速度范围的点。由于4DRadarRBD是为标准车辆设计的，标准车辆的高度通常不超过3米，因此排除了高于3米的点（通常来自街灯或立交桥等高空结构），以减少噪声。此外低于-1.5米的点由于高度测量不稳定或伪像点，可能是噪声点，因此也被排除。为了进一步减少噪声点，应用基于速度的过滤方法，排除那些多普勒速度与静态道路路沿速度显著偏离的点。由于道路路沿是静止的，具有显著运动的点不太可能代表有效的路沿检测。速度偏差是通过计算点的多普勒速度与静态物体在同一位置的预期多普勒速度之间的差异来得出的，这个预期速度来自车辆的速度。多普勒速度偏差超过1 m/s的点会被排除为噪声点。这个阈值的选择是为了补偿多普勒速度和方位角测量中的不确定性。

通过多帧融合缓解点云稀疏性：为了缓解4D毫米波雷达点云的稀疏性，融合了来自三帧连续图像的点云。首先通过将前一帧的点云数据转换到世界坐标系并再转换回当前帧的自坐标系来应用运动补偿。所需的转换和旋转矩阵来自车辆的GPS传感器。此外在融合过程中为每个点的逐点特征引入一个索引，表示每个点的帧来源：当前帧为0，前一帧为1，再前一帧为2。这个索引保留了道路路沿分割任务的时态信息。

图 2：(a) 距离损失（Distance loss）计算为检测到的道路边界点与实际道路边界点之间的欧几里得距离，对于远离道路边界的噪声点，该值较大；(b) 计算当前帧中每个点的偏移向量（例如，P₁、P₂、P₃的偏移向量分别为 v₁、v₂、v₃），偏移向量定义为从前一帧中经过运动补偿的道路边界点到当前帧对应点的最短向量。

逐点道路路沿分割

逐点道路路沿分割模块旨在将道路路沿点与噪声点区分开来。该分割基于PointNet++框架，能够高效地捕获点云的空间分布和逐点特征。该方法的主要创新有：

1）通过在PointNet++分割网络中加入基于距离的损失，减少误报检测（即错误地将非道路路沿点检测为道路路沿点）；

2）通过将表示点与上一帧的运动补偿道路路沿检测结果之间偏差的向量加入到逐点特征中，捕获点云序列的时态动态。

使用基于距离的损失进行分割模型训练：为了减少噪声点的误报检测，我们将基于距离的损失引入PointNet++分割网络，以惩罚这些误报检测。由于PointNet++网络在提取层次特征和适应各种空间尺度方面的有效性，它被选为点分割模块的基础结构。原始的PointNet++网络仅使用二进制交叉熵损失进行点分割，这对于我们的任务来说是不足够的。这个局限性源于点云预处理后，大多数噪声点已被过滤掉，剩下的远离道路路沿点的噪声点所占比例很小。因此，它们对损失函数的影响较小。然而如果这些远离道路路沿点被错误地分类为道路路沿点（误报检测），它们可能会显著降低路沿拟合过程。为此计算每个检测到的道路路沿点与其最近的实际道路路沿点之间的欧几里得距离，作为距离损失（见图2(a)）。对于这些误报点，距离损失特别高，有助于减轻误报检测问题。

模型更新以捕获时态动态：为了捕获点云序列的时态动态，通过加入偏差向量来增强每个点的特征表示，该偏差向量编码了该点相对于上一帧检测到的道路路沿点的方向和距离。对于当前帧中的每个点，这个偏差向量被定义为从上一帧的运动补偿道路路沿点出发，到达当前点的最短向量（见图2(b)）。P1、P2和P3及其各自的偏差向量a1、a2、a3展示了点云数据中的三种典型情况：

（1）新出现的道路路沿点（例如，P1，a1），由于车辆的前进，当前帧中出现而上一帧中没有；

（2）仅出现在当前帧的噪声点（例如，P2，a2）；

（3）在当前帧和上一帧中都出现的一致道路路沿点（例如，P3，a3）。

这些偏差向量对于这三种点类型展示了不同的模式。对于新出现的点（例如，P1），偏差向量通常指向道路路沿线的方向；对于噪声点（例如，P2），偏差向量通常指向与道路路沿方向垂直；对于附近的道路路沿点（例如，P3），偏差向量通常较小，因为道路路沿趋于静止且连续。这些偏差向量（图2(b)中的a1、a2、a3）提供了关键的空间和时态信息，有助于一致的道路路沿分割。现有的基于点的方法通常通过对点进行分组或聚合邻近点的信息来捕获点云序列的时态动态，用于跟踪跨帧的运动。然而在专注于道路路沿检测的自动驾驶场景中，点云中的时态变化主要是由于随着车辆前进，传感器范围边缘新点的持续出现，而不是个别点的运动，因为道路路沿是静态的。因此这些方法可能难以有效处理新出现的点，使得它们不太适合该特定应用。

此外将来自上一帧的最近检测到的道路路沿点的道路路沿概率（即偏差向量的起点）作为逐点特征加入。这一概率作为道路路沿分割过程中的置信度度量。如果没有这一置信度信息，如果某个远离道路路沿的噪声点在某一帧中被错误检测为道路路沿点，可能会导致后续帧中的错误传播。然而，我们观察到，在这种情况下，错误检测的点通常具有比实际路沿点更低的道路路沿概率，表明分割结果的置信度较低。通过加入这一概率，模型获得了置信度意识，有效抑制了误报检测在各帧中的传播。

曲线型道路路沿形状拟合

逐点的道路路沿分割仅提供代表道路路沿的离散点。然而在自动驾驶中的控制和规划任务通常需要连续的道路路沿曲线。为此首先通过聚类从检测到的道路路沿点中识别连续的曲线，然后为每个识别的点云聚类拟合道路路沿曲线。

1. 通过道路路沿点聚类进行曲线识别：使用DBSCAN聚类方法从检测到的道路路沿点中识别连续的道路路沿曲线。选择DBSCAN是因为它不需要预定义的聚类数量，适用于道路路沿数量不确定的情况。它还能够聚类形状各异的道路路沿，这在复杂的驾驶场景中至关重要。由于左右道路路沿之间的欧几里得距离较短，该算法经常将它们错误地聚为一个簇。为了解决这个问题，我们在聚类前将点云的y坐标（代表车辆行驶的前进方向）按一个因子进行缩放（我们在实验中将该因子设为5，这是根据观察到的点云稀疏性得出的）。由于道路路沿通常沿着车辆行驶的方向延伸，这种缩放有助于算法更好地聚类道路路沿曲线。如果没有这种缩放，算法可能会因为左右道路路沿曲线的欧几里得距离接近，而将它们错误地聚为一个簇，或者由于沿y轴的距离变化，将单一的道路路沿拆分为多个簇。

2. 道路路沿曲线拟合：从每个由DBSCAN算法识别的聚类中取子样本，并使用高斯过程回归（GPR）拟合道路路沿曲线，并为每条曲线提供95%的置信区间。子采样步骤旨在减少GPR拟合时间。GPR是一种非参数方法，不假设特定的函数形式，因此适用于拟合形状各异的道路路沿。我们使用Matern核函数，设置ν值为10，以避免拟合具有大梯度的不现实道路路沿曲线。为了防止在交叉口处发生错误连接，即两条道路路沿曲线被误认为是一个聚类，引入了一个条件：如果在y轴（车辆前进方向）上有超过6米（大约是城市交叉口的宽度）的间隙，拟合的曲线将被分为两段。此外如果95%的置信区间超过2米，表示道路路沿曲线的识别不确定，将重新对该聚类内的点进行重新聚类，并独立拟合每个新的聚类。这一策略有效减少了将相邻道路路沿错误地分为单条曲线的情况。

实验结果

我们进行了一次真实世界驾驶测试，并收集了来自中国昌平区的30,424帧4D毫米波雷达点云数据集，用于实地评估。

驾驶测试与数据集描述

该真实世界驾驶数据集由50个数据片段组成，每个数据片段约40秒，总计30,424帧。在驾驶测试过程中，使用RGB相机、4D毫米波雷达、LiDAR、GPS和IMU传感器来捕获详细的驾驶场景信息。RGB相机和LiDAR用于捕获道路场景的详细信息，作为地面真实数据。GPS和IMU传感器提供车辆的位置、速度和偏航率。在逐点道路路沿分割训练中，训练集包含40个数据片段，共24,291帧点云数据。为了增强模型性能，我们通过沿车辆的左右对称性水平翻转帧来进行数据增强。经过数据增强后，训练集扩展至48,582帧。验证集和测试集各包含5个数据片段，其中验证集有3,076帧，测试集有3,057帧。该数据集涵盖了多种驾驶场景，包括高速公路、城市区域和弯曲道路。道路路沿的地面真实标签是通过使用PointPillars方法从LiDAR点云中推断出来的。

性能评估指标

我们使用逐点道路路沿分割精度、Chamfer距离（CD）误差和Hausdorff距离（HD）误差来评估4DRadarRBD系统，计算检测到的道路路沿与实际道路路沿之间的差异。Chamfer距离和Hausdorff距离分别计算为检测到的道路路沿点和实际道路路沿点之间的平均和最大最短距离。

评估结果与消融研究

4DRadarRBD在逐点道路路沿分割中达到93%的准确度，中位Chamfer距离误差为0.023米，中位Hausdorff距离误差为2.34米（见图3）。道路路沿点分割的混淆矩阵见图3（a）。我们的方法在道路路沿点和非道路路沿点的检测准确度上均表现出色。

图3. 4DRadarRBD的整体性能。

(a) 道路路沿（RB）点分割的混淆矩阵（准确率 = 93%），

(b) 4DRadarRBD（我们的方法）和消融测试（未更新模型和未使用距离损失）中位Chamfer距离误差，

(c) 4DRadarRBD（我们的方法）和消融测试（未更新模型和未使用距离损失）中位Hausdorff距离误差。

为了评估4DRadarRBD的有效性，进行了两项消融测试：

1）使用未更新偏差向量的模型，该偏差向量是从前一帧的检测结果获得的；

2）使用未加入距离损失的模型训练。

通过使用偏差向量更新模型，4DRadarRBD将中位Chamfer距离误差减少了92.6%，Hausdorff距离误差减少了62.2%（见图3（b））。通过加入距离损失来惩罚远离道路路沿的错误检测点，4DRadarRBD将中位Chamfer距离误差减少了30.3%，Hausdorff距离误差减少了13.0%（见图3（c））。这些结果表明，所提出的距离损失方法和更新模型的偏差向量是有效的。

系统鲁棒性评估

本节评估了4DRadarRBD系统在不同数量的道路路沿曲线、不同类型的噪声点、不同形状的道路路沿曲线以及系统在驾驶过程中时间稳定性方面的鲁棒性。

道路路沿曲线数量变化的影响：4DRadarRBD在不同数量的道路路沿曲线情况下具有较强的鲁棒性。图4展示了三种典型复杂驾驶场景的道路路沿检测结果，包括具有2条道路路沿曲线的高速公路场景（顶部）、具有3条道路路沿曲线的分叉道路场景（中部）和具有多个道路路沿曲线的复杂城市区域场景（底部）。左侧的图形显示了点云的俯视图及其对应的检测结果，红点代表检测到的道路路沿点，蓝点代表检测到的非道路路沿点。右侧的图形则表示相应的RGB图像。4DRadarRBD系统能够自动检测不同数量的道路路沿曲线，并准确拟合道路路沿曲线。特别是在第三种场景中，4DRadarRBD成功地在交叉口处分离了两条道路路沿曲线，而不是将它们连接起来。

图4. 4DRadarRBD成功地检测到具有不同数量道路路沿曲线（RB）的道路路沿：在具有两个曲线的简单场景（顶部）、具有三个曲线的分叉路口（中部）以及具有多个曲线的复杂城市环境（底部）。在复杂的城市区域，4DRadarRBD成功检测到交叉口。

复杂驾驶场景中噪声点的影响：4DRadarRBD系统在有各种环境噪声点的情况下，成功实现了鲁棒的道路路沿检测。在有多个立交桥和行驶车辆的高速公路上，实现了高达94%的逐点道路路沿分割准确率，且中位Chamfer距离低至0.025米（见图5中的示例）。

图5. 4DRadarRBD成功地分割了来自立交桥和移动车辆的噪声点的道路路沿（RB）点，证明了其在复杂驾驶场景中的鲁棒性。

道路路沿曲线形状的影响：4DRadarRBD对各种形状的道路路沿曲线具有鲁棒性。在山区道路的曲折驾驶条件下，我们实现了高达91.2%的逐点道路路沿分割准确率，并成功拟合了不同形状的道路路沿，中位Chamfer距离为0.11米（见图6中的示例）。

图6. 4DRadarRBD在各种道路路沿曲线形状下实现了鲁棒的检测性能。

系统时间稳定性：总体来说，4DRadarRBD在持续驾驶过程中保持了高准确率和较低的Chamfer与Hausdorff距离误差，表现出了较强的时间稳定性（见图7）。在第85帧左右，由于地面真实系统错误地未检测到右侧道路路沿曲线，准确率下降，距离误差增加。然而，即使在这种情况下，4DRadarRBD依然成功检测到道路路沿。

图7. 在一段时间内，道路路沿检测的分割准确率持续保持较高水平，Chamfer距离误差和Hausdorff距离误差较低。

总结

本文介绍了 4DRadarRBD，是首个基于 4D 毫米波雷达的道路路沿检测系统，具有成本效益且在复杂驾驶场景中表现出色。通过物理约束进行噪声点过滤，然后利用基于距离的损失进行道路路沿点分割。此外通过引入表示当前点与前一帧运动补偿道路路沿检测结果之间偏差的向量，捕捉点云的时序动态。为了评估 4DRadarRBD，我们在中国昌平区进行了真实世界的驾驶测试。4DRadarRBD 在各种复杂驾驶场景中实现了精确且鲁棒的道路路沿检测，具有 93% 的道路路沿分割准确率，且中位数 Chamfer 距离误差为 0.023 米。

相关阅读：2024年度历史文章大汇总

以上内容如有错误请留言评论，欢迎指正交流。如有侵权，请联系删除

本文参与 腾讯云自媒体同步曝光计划，分享自微信公众号。原始发表：2025-03-11，如有侵权请联系 cloudcommunity@tencent 删除系统自动驾驶测试模型数据

基于4D毫米波雷达的道路路沿检测

文章：Road Boundary Detection Using 4D mmWave Radar for Autonomous Driving

作者：Yuyan Wu, Hae Young Noh

编辑：点云PCL

摘要

检测道路路沿，即可用行驶区域的静态物理边缘，对于自动驾驶和高级驾驶辅助系统（ADAS）中的安全导航和有效路径规划至关重要。传统上，自动驾驶中的道路路沿检测依赖于摄像头和激光雷达（LiDAR）。然而它们容易受到不良光照条件的影响，如夜间和直射阳光的眩光，或者对于低端车辆来说，成本过高。为此，本文介绍了4DRadarRBD，这是首个基于4D毫米波雷达的道路路沿检测方法，它在复杂驾驶场景中既具有成本效益，又表现出较强的鲁棒性。其主要思路是，道路路沿（例如，围栏、灌木、路障）会反射毫米波，从而为雷达生成点云数据。为了克服4D毫米波雷达点云中存在大量噪声点的问题，我们首先通过物理约束来减少道路路沿的噪声点，然后通过引入基于距离的损失函数，将距离实际道路路沿较远的点的错误检测进行惩罚，从而对道路路沿点进行分割。此外通过利用每个点相对于前一帧经过车辆运动补偿后的道路路沿检测结果的偏差，以及点云的空间分布，捕捉点云序列的时态动态，进行逐点道路路沿分割。通过实际驾驶测试评估了4DRadarRBD，取得了93%的道路路沿点分割准确率，中位距离误差达到0.023米，与基准模型相比，误差减少了92.6%。

相关工作

LiDAR 和 RGB 摄像头主要用于自动驾驶中的道路路沿检测。LiDAR 系统提供高分辨率的三维点云数据，能够有效捕捉驾驶环境中的丰富信息，从而实现有效的道路路沿检测。由于其成本较低且在自动驾驶车辆中普遍使用，RGB 摄像头也广泛用于道路路沿检测，摄像头可以捕捉广泛的环境细节，用于识别车道标记、道路边缘和障碍物。然而这两种方法各有其局限性。LiDAR 系统昂贵，使得其在低端车辆中不太可行，而摄像头则容易受到光照条件差的影响。

之前的研究已经初步尝试了基于 3D 毫米波雷达的道路路沿检测方法。然而这些方法在复杂的道路路沿几何形状下缺乏鲁棒性，这是因为它们通常采用基于规则的方法和算法，如 RANSAC，用于拟合道路路沿曲线，这些方法难以适应复杂环境中动态且不规则的道路边缘轮廓，原因在于多项式模型的固有限制。因此需要一种更具适应性和鲁棒性的方法，能够在现实驾驶场景中自动处理多样化的道路路沿几何形状。

点云分割方法可分为三类：基于点的方法、基于体素的方法和基于投影的方法。尽管基于体素和基于投影的方法擅长捕捉空间细节，但对于稀疏的 4D 毫米波点云而言，它们的效果较差，通常会在离车辆较远的区域产生空的体素或像素，直接处理点云而不改变数据结构的基于点的方法更适合我们的道路路沿分割任务。因此我们采用基于点的框架进行道路路沿分割。

主要贡献

4DRadarRBD 通过三个模块解决了这些挑战，实现了道路路沿检测。在第一个模块中，点云被预处理以提取逐点特征，利用物理约束减少噪声，并通过帧融合减轻点云稀疏性。在第二个模块中，从噪声点中分割出道路路沿点，并捕捉点云的时态动态。最后，第三个模块基于分割后的道路路沿点拟合道路路沿曲线，为控制和规划任务提供连续的道路路沿估计。第一个挑战通过在第一个模块中首先利用道路路沿的物理约束来减少噪声点，然后在第二个模块中引入基于距离的损失，惩罚那些远离道路路沿的点被错误检测为道路路沿，从而得到解决。为了应对第二个挑战，通过计算当前帧中每个点相对于前一帧经过运动补偿后的道路路沿点的偏差，捕捉点云序列的时态动态。该偏差作为特征被引入到第二个模块中的点云分割框架中，从而提高道路路沿检测的时态一致性。

4DRadarRBD 的主要贡献包括：

• 提出了4DRadarRBD，这是首个基于4D毫米波雷达的道路路沿检测系统，具有成本效益且能够应对复杂的驾驶场景。
• 减轻了噪声点的影响，并捕捉了点云序列的时态动态，从而实现了稳健的道路路沿检测。
• 通过在复杂场景中的实际驾驶测试评估了4DRadarRBD系统，取得了准确且稳健的道路路沿检测结果。

主要内容

本文介绍了4DRadarRBD系统，该系统利用4D毫米波雷达的点云数据检测道路路沿。该系统主要包括三个模块：1）点云预处理，2）逐点道路路沿分割，3）基于曲线的道路路沿形状拟合（见图1）。

图 1. 4DRadarRBD 系统概述

点云预处理

首先对从4D毫米波雷达获取的点云进行预处理，以提取用于道路路沿分割任务的逐点特征，同时减少噪声点并缓解点云的稀疏性。

雷达点云的逐点特征提取：点云的逐点特征是从4D毫米波雷达信号和车载传感器（GPS、IMU）中提取的，包括位置坐标（x，y，z）、多普勒速度、信噪比、距离、车速和偏航率。其中前四个特征来自4D毫米波雷达，而车速和偏航率来自GPS和IMU传感器。位置（x，y，z）相对于以4D毫米波雷达所在位置为原点的坐标系统进行定义，该雷达通常安装在车辆的前牌照附近。在这个坐标系统中，x轴指向车辆右侧，y轴指向车辆的行驶方向，z轴指向上方。位置和距离表示物体的位置，而信噪比则提供物体的材质和表面特性信息。此外车速、偏航率和多普勒速度共同描述了物体的运动。这些特征包含了关于反射毫米波的物体的重要信息，对于准确分割道路路沿点至关重要。

利用物理约束进行噪声减少：应用物理约束来过滤掉噪声点，排除超过静态道路路沿预期高度或速度范围的点。由于4DRadarRBD是为标准车辆设计的，标准车辆的高度通常不超过3米，因此排除了高于3米的点（通常来自街灯或立交桥等高空结构），以减少噪声。此外低于-1.5米的点由于高度测量不稳定或伪像点，可能是噪声点，因此也被排除。为了进一步减少噪声点，应用基于速度的过滤方法，排除那些多普勒速度与静态道路路沿速度显著偏离的点。由于道路路沿是静止的，具有显著运动的点不太可能代表有效的路沿检测。速度偏差是通过计算点的多普勒速度与静态物体在同一位置的预期多普勒速度之间的差异来得出的，这个预期速度来自车辆的速度。多普勒速度偏差超过1 m/s的点会被排除为噪声点。这个阈值的选择是为了补偿多普勒速度和方位角测量中的不确定性。

通过多帧融合缓解点云稀疏性：为了缓解4D毫米波雷达点云的稀疏性，融合了来自三帧连续图像的点云。首先通过将前一帧的点云数据转换到世界坐标系并再转换回当前帧的自坐标系来应用运动补偿。所需的转换和旋转矩阵来自车辆的GPS传感器。此外在融合过程中为每个点的逐点特征引入一个索引，表示每个点的帧来源：当前帧为0，前一帧为1，再前一帧为2。这个索引保留了道路路沿分割任务的时态信息。

图 2：(a) 距离损失（Distance loss）计算为检测到的道路边界点与实际道路边界点之间的欧几里得距离，对于远离道路边界的噪声点，该值较大；(b) 计算当前帧中每个点的偏移向量（例如，P₁、P₂、P₃的偏移向量分别为 v₁、v₂、v₃），偏移向量定义为从前一帧中经过运动补偿的道路边界点到当前帧对应点的最短向量。

逐点道路路沿分割

逐点道路路沿分割模块旨在将道路路沿点与噪声点区分开来。该分割基于PointNet++框架，能够高效地捕获点云的空间分布和逐点特征。该方法的主要创新有：

1）通过在PointNet++分割网络中加入基于距离的损失，减少误报检测（即错误地将非道路路沿点检测为道路路沿点）；

2）通过将表示点与上一帧的运动补偿道路路沿检测结果之间偏差的向量加入到逐点特征中，捕获点云序列的时态动态。

使用基于距离的损失进行分割模型训练：为了减少噪声点的误报检测，我们将基于距离的损失引入PointNet++分割网络，以惩罚这些误报检测。由于PointNet++网络在提取层次特征和适应各种空间尺度方面的有效性，它被选为点分割模块的基础结构。原始的PointNet++网络仅使用二进制交叉熵损失进行点分割，这对于我们的任务来说是不足够的。这个局限性源于点云预处理后，大多数噪声点已被过滤掉，剩下的远离道路路沿点的噪声点所占比例很小。因此，它们对损失函数的影响较小。然而如果这些远离道路路沿点被错误地分类为道路路沿点（误报检测），它们可能会显著降低路沿拟合过程。为此计算每个检测到的道路路沿点与其最近的实际道路路沿点之间的欧几里得距离，作为距离损失（见图2(a)）。对于这些误报点，距离损失特别高，有助于减轻误报检测问题。

模型更新以捕获时态动态：为了捕获点云序列的时态动态，通过加入偏差向量来增强每个点的特征表示，该偏差向量编码了该点相对于上一帧检测到的道路路沿点的方向和距离。对于当前帧中的每个点，这个偏差向量被定义为从上一帧的运动补偿道路路沿点出发，到达当前点的最短向量（见图2(b)）。P1、P2和P3及其各自的偏差向量a1、a2、a3展示了点云数据中的三种典型情况：

（1）新出现的道路路沿点（例如，P1，a1），由于车辆的前进，当前帧中出现而上一帧中没有；

（2）仅出现在当前帧的噪声点（例如，P2，a2）；

（3）在当前帧和上一帧中都出现的一致道路路沿点（例如，P3，a3）。

这些偏差向量对于这三种点类型展示了不同的模式。对于新出现的点（例如，P1），偏差向量通常指向道路路沿线的方向；对于噪声点（例如，P2），偏差向量通常指向与道路路沿方向垂直；对于附近的道路路沿点（例如，P3），偏差向量通常较小，因为道路路沿趋于静止且连续。这些偏差向量（图2(b)中的a1、a2、a3）提供了关键的空间和时态信息，有助于一致的道路路沿分割。现有的基于点的方法通常通过对点进行分组或聚合邻近点的信息来捕获点云序列的时态动态，用于跟踪跨帧的运动。然而在专注于道路路沿检测的自动驾驶场景中，点云中的时态变化主要是由于随着车辆前进，传感器范围边缘新点的持续出现，而不是个别点的运动，因为道路路沿是静态的。因此这些方法可能难以有效处理新出现的点，使得它们不太适合该特定应用。

此外将来自上一帧的最近检测到的道路路沿点的道路路沿概率（即偏差向量的起点）作为逐点特征加入。这一概率作为道路路沿分割过程中的置信度度量。如果没有这一置信度信息，如果某个远离道路路沿的噪声点在某一帧中被错误检测为道路路沿点，可能会导致后续帧中的错误传播。然而，我们观察到，在这种情况下，错误检测的点通常具有比实际路沿点更低的道路路沿概率，表明分割结果的置信度较低。通过加入这一概率，模型获得了置信度意识，有效抑制了误报检测在各帧中的传播。

曲线型道路路沿形状拟合

逐点的道路路沿分割仅提供代表道路路沿的离散点。然而在自动驾驶中的控制和规划任务通常需要连续的道路路沿曲线。为此首先通过聚类从检测到的道路路沿点中识别连续的曲线，然后为每个识别的点云聚类拟合道路路沿曲线。

1. 通过道路路沿点聚类进行曲线识别：使用DBSCAN聚类方法从检测到的道路路沿点中识别连续的道路路沿曲线。选择DBSCAN是因为它不需要预定义的聚类数量，适用于道路路沿数量不确定的情况。它还能够聚类形状各异的道路路沿，这在复杂的驾驶场景中至关重要。由于左右道路路沿之间的欧几里得距离较短，该算法经常将它们错误地聚为一个簇。为了解决这个问题，我们在聚类前将点云的y坐标（代表车辆行驶的前进方向）按一个因子进行缩放（我们在实验中将该因子设为5，这是根据观察到的点云稀疏性得出的）。由于道路路沿通常沿着车辆行驶的方向延伸，这种缩放有助于算法更好地聚类道路路沿曲线。如果没有这种缩放，算法可能会因为左右道路路沿曲线的欧几里得距离接近，而将它们错误地聚为一个簇，或者由于沿y轴的距离变化，将单一的道路路沿拆分为多个簇。

2. 道路路沿曲线拟合：从每个由DBSCAN算法识别的聚类中取子样本，并使用高斯过程回归（GPR）拟合道路路沿曲线，并为每条曲线提供95%的置信区间。子采样步骤旨在减少GPR拟合时间。GPR是一种非参数方法，不假设特定的函数形式，因此适用于拟合形状各异的道路路沿。我们使用Matern核函数，设置ν值为10，以避免拟合具有大梯度的不现实道路路沿曲线。为了防止在交叉口处发生错误连接，即两条道路路沿曲线被误认为是一个聚类，引入了一个条件：如果在y轴（车辆前进方向）上有超过6米（大约是城市交叉口的宽度）的间隙，拟合的曲线将被分为两段。此外如果95%的置信区间超过2米，表示道路路沿曲线的识别不确定，将重新对该聚类内的点进行重新聚类，并独立拟合每个新的聚类。这一策略有效减少了将相邻道路路沿错误地分为单条曲线的情况。

实验结果

我们进行了一次真实世界驾驶测试，并收集了来自中国昌平区的30,424帧4D毫米波雷达点云数据集，用于实地评估。

驾驶测试与数据集描述

该真实世界驾驶数据集由50个数据片段组成，每个数据片段约40秒，总计30,424帧。在驾驶测试过程中，使用RGB相机、4D毫米波雷达、LiDAR、GPS和IMU传感器来捕获详细的驾驶场景信息。RGB相机和LiDAR用于捕获道路场景的详细信息，作为地面真实数据。GPS和IMU传感器提供车辆的位置、速度和偏航率。在逐点道路路沿分割训练中，训练集包含40个数据片段，共24,291帧点云数据。为了增强模型性能，我们通过沿车辆的左右对称性水平翻转帧来进行数据增强。经过数据增强后，训练集扩展至48,582帧。验证集和测试集各包含5个数据片段，其中验证集有3,076帧，测试集有3,057帧。该数据集涵盖了多种驾驶场景，包括高速公路、城市区域和弯曲道路。道路路沿的地面真实标签是通过使用PointPillars方法从LiDAR点云中推断出来的。

性能评估指标

我们使用逐点道路路沿分割精度、Chamfer距离（CD）误差和Hausdorff距离（HD）误差来评估4DRadarRBD系统，计算检测到的道路路沿与实际道路路沿之间的差异。Chamfer距离和Hausdorff距离分别计算为检测到的道路路沿点和实际道路路沿点之间的平均和最大最短距离。

评估结果与消融研究

4DRadarRBD在逐点道路路沿分割中达到93%的准确度，中位Chamfer距离误差为0.023米，中位Hausdorff距离误差为2.34米（见图3）。道路路沿点分割的混淆矩阵见图3（a）。我们的方法在道路路沿点和非道路路沿点的检测准确度上均表现出色。

图3. 4DRadarRBD的整体性能。

(a) 道路路沿（RB）点分割的混淆矩阵（准确率 = 93%），

(b) 4DRadarRBD（我们的方法）和消融测试（未更新模型和未使用距离损失）中位Chamfer距离误差，

(c) 4DRadarRBD（我们的方法）和消融测试（未更新模型和未使用距离损失）中位Hausdorff距离误差。

为了评估4DRadarRBD的有效性，进行了两项消融测试：

1）使用未更新偏差向量的模型，该偏差向量是从前一帧的检测结果获得的；

2）使用未加入距离损失的模型训练。

通过使用偏差向量更新模型，4DRadarRBD将中位Chamfer距离误差减少了92.6%，Hausdorff距离误差减少了62.2%（见图3（b））。通过加入距离损失来惩罚远离道路路沿的错误检测点，4DRadarRBD将中位Chamfer距离误差减少了30.3%，Hausdorff距离误差减少了13.0%（见图3（c））。这些结果表明，所提出的距离损失方法和更新模型的偏差向量是有效的。

系统鲁棒性评估

本节评估了4DRadarRBD系统在不同数量的道路路沿曲线、不同类型的噪声点、不同形状的道路路沿曲线以及系统在驾驶过程中时间稳定性方面的鲁棒性。

道路路沿曲线数量变化的影响：4DRadarRBD在不同数量的道路路沿曲线情况下具有较强的鲁棒性。图4展示了三种典型复杂驾驶场景的道路路沿检测结果，包括具有2条道路路沿曲线的高速公路场景（顶部）、具有3条道路路沿曲线的分叉道路场景（中部）和具有多个道路路沿曲线的复杂城市区域场景（底部）。左侧的图形显示了点云的俯视图及其对应的检测结果，红点代表检测到的道路路沿点，蓝点代表检测到的非道路路沿点。右侧的图形则表示相应的RGB图像。4DRadarRBD系统能够自动检测不同数量的道路路沿曲线，并准确拟合道路路沿曲线。特别是在第三种场景中，4DRadarRBD成功地在交叉口处分离了两条道路路沿曲线，而不是将它们连接起来。

图4. 4DRadarRBD成功地检测到具有不同数量道路路沿曲线（RB）的道路路沿：在具有两个曲线的简单场景（顶部）、具有三个曲线的分叉路口（中部）以及具有多个曲线的复杂城市环境（底部）。在复杂的城市区域，4DRadarRBD成功检测到交叉口。

复杂驾驶场景中噪声点的影响：4DRadarRBD系统在有各种环境噪声点的情况下，成功实现了鲁棒的道路路沿检测。在有多个立交桥和行驶车辆的高速公路上，实现了高达94%的逐点道路路沿分割准确率，且中位Chamfer距离低至0.025米（见图5中的示例）。

图5. 4DRadarRBD成功地分割了来自立交桥和移动车辆的噪声点的道路路沿（RB）点，证明了其在复杂驾驶场景中的鲁棒性。

道路路沿曲线形状的影响：4DRadarRBD对各种形状的道路路沿曲线具有鲁棒性。在山区道路的曲折驾驶条件下，我们实现了高达91.2%的逐点道路路沿分割准确率，并成功拟合了不同形状的道路路沿，中位Chamfer距离为0.11米（见图6中的示例）。

图6. 4DRadarRBD在各种道路路沿曲线形状下实现了鲁棒的检测性能。

系统时间稳定性：总体来说，4DRadarRBD在持续驾驶过程中保持了高准确率和较低的Chamfer与Hausdorff距离误差，表现出了较强的时间稳定性（见图7）。在第85帧左右，由于地面真实系统错误地未检测到右侧道路路沿曲线，准确率下降，距离误差增加。然而，即使在这种情况下，4DRadarRBD依然成功检测到道路路沿。

图7. 在一段时间内，道路路沿检测的分割准确率持续保持较高水平，Chamfer距离误差和Hausdorff距离误差较低。

总结

本文介绍了 4DRadarRBD，是首个基于 4D 毫米波雷达的道路路沿检测系统，具有成本效益且在复杂驾驶场景中表现出色。通过物理约束进行噪声点过滤，然后利用基于距离的损失进行道路路沿点分割。此外通过引入表示当前点与前一帧运动补偿道路路沿检测结果之间偏差的向量，捕捉点云的时序动态。为了评估 4DRadarRBD，我们在中国昌平区进行了真实世界的驾驶测试。4DRadarRBD 在各种复杂驾驶场景中实现了精确且鲁棒的道路路沿检测，具有 93% 的道路路沿分割准确率，且中位数 Chamfer 距离误差为 0.023 米。

相关阅读：2024年度历史文章大汇总

以上内容如有错误请留言评论，欢迎指正交流。如有侵权，请联系删除

本文参与 腾讯云自媒体同步曝光计划，分享自微信公众号。原始发表：2025-03-11，如有侵权请联系 cloudcommunity@tencent 删除系统自动驾驶测试模型数据

本文标签： 基于4D毫米波雷达的道路路沿检测