FlowMap:使用交通流在开放空间中自动驾驶车辆的路径生成

Wenchao Ding1, Jieru Zhao2†, Yubin Chu3, Haihui Huang3, Tong Qin3,
Chunjing Xu3, Yuxiang Guan1 and Zhongxue Gan1
Corresponding author: Jieru Zhao. 1Academy for Engineering and Technology, Fudan University, China. 2Dept. of Computer Science and Engineering, Shanghai Jiao Tong University, China. 3IAS BU Smart Driving Product Dept, Huawei Technologies, China. This work is partially sponsored by the National Natural Science Foundation of China (62102249) and Shanghai Pujiang Program (21PJ1408200). Video link https://www.youtube.com/watch?v=GJ_Fm1Iu8Nc.
Email: dingwenchao@fudan.edu.cn
摘要

有大量关于通过融合各种传感器输入(例如使用深度神经网络的激光雷达点云和相机图像)来感知道路结构的文献。 利用神经架构师(例如 Transformer)和鸟瞰图(BEV)表示的最新进展,道路认知准确性不断提高。 然而,在没有明确定义的“道路”的情况下,如何认知自动驾驶汽车的“道路”仍然是一个悬而未决的问题。 例如,如何在没有高清地图的情况下找到十字路口内的路径是很困难的,因为既没有“道路”的明确定义,也没有车道标记等明确的特征。 本文的想法来源于一句谚语:人走在上面,它就成为一种方式。 虽然传感器读数中没有“道路”,但其他车辆的轨迹却有“道路”。 在本文中,我们提出了 FlowMap,一种基于交通流的自动车辆路径生成框架。 FlowMap 是通过扩展我们之前的工作 RoadMap [1](一个轻量级语义地图)而构建的,并添加了一个额外的交通流层。 提出了一种基于交通流场(TFF)的路径生成算法来生成类人路径。 所提出的框架使用现实世界的驾驶数据进行了验证,并且可以在不使用高清地图的情况下为超级复杂的交叉路口生成路径。

简介

为了在城市环境中实现自动驾驶,高清地图(HD地图)因其丰富的语义和几何信息而成为一种常见且可行的解决方案。 然而,高清地图很难以可承受的成本进行大规模维护[2] 无高清地图的自动驾驶,即无地图自动驾驶,如今受到过度关注。 有大量关于使用深度神经网络在线感知地图元素的文献[3,4,5,6] 得益于 Transformer 和鸟瞰图 (BEV) 表示等神经网络架构的最新进展,道路认知的准确性不断提高。 然而,当传感器读数没有特征(例如车道标记)时,很难感知“道路”。 例如,在没有高清地图的情况下寻找大型交叉路口内的可行驶路径是一项具有挑战性的任务[7]

人类驾驶员不会仅仅根据车道或道路标记来驾驶。 当人类驾驶员来到未知的地方时,他们倾向于追踪其他人类驾驶员的踪迹。 俗话说“人走就成路”,人走就成巷。 然而,仅仅跟随领先的车辆是很麻烦的,因为没有对环境的全局拓扑了解。 从日常点对点驾驶中可以挖掘更多信息。 例如,假设您的日常驾驶路径中有一个大十字路口。 当您多次通过路口时,可以累积路口的车流,如图3(a)所示。 交通流由车载跟踪模块产生的许多车辆轨迹组成。 交通流包含丰富的驾驶行为,有利于路径规划。

Refer to caption
图1 超大型路口FlowMap示意图。 我们之前的工作 RoadMap [1] 生成的语义图如图所示,其中车道标记(灰色)、停车线(红色)、十字路口行走和转弯标记(橙色)存储在语义点云中。 交通流场使用颜色渐变显示,颜色代表流向。 FlowMap 生成的路径以蓝色线显示。 借助交通流场,可以优雅地提取出类人的驾驶路径。

我们之前的工作 RoadMap [1] 为生成轻量级语义地图 [8, 9, 10] 提供了系统的解决方案。 借助 RoadMap,可以轻松获取交通流量。 它们可以通过使用附加的交通流层扩展 RoadMap 来获得。 交通流层主要包含来自车载跟踪的社交车辆轨迹。 关键是如何合理管理、组织和利用交通流。 在本文中,我们建议使用交通流场(TFF)来模拟交通流的累积和更新。 TFF 是通过计算每个单元的流量密度和方向合成的离散网格图。 网格图由多个通道组成,每个通道代表源自特定入口点的流量。 多通道设计确保来自不同方向的流量不会相互干扰。 语义图和TFF都只包含标量信息,并且易于维护。

所提出的交通流场表示包含有关多模式人类驾驶行为的大量信息,但它是非结构化的。 为了便于规划和控制,我们提出了一种路径生成算法,从交通流场中提取类人驾驶路径。 基于该算法,即使在道路标记很少的大开放空间中也可以生成引导路径。

总而言之,我们提出了 FlowMap,一个使用交通流在开放空间中生成路径的框架。 FlowMap主要由交通流场表示和建立在其之上的路径生成算法组成。 FlowMap 即使在大型开放空间中也能生成引导路径,并在没有高清地图的情况下实现类人驾驶。 主要贡献总结如下:

  • FlowMap,一个轻量级框架,无需使用高清地图即可在开放空间中生成路径。

  • 用于根据交通流对驾驶行为进行建模的交通流场表示。

  • 一种基于交通流场在开放空间中生成类人引导路径的路径生成算法。

  • 综合分析现实复杂场景下的整体框架。

本文的其余部分安排如下。 相关工作在第II节中回顾。 III 节概述了拟议框架。 方法和实现分别在IV节和V节中详细介绍。 实验结果和基准分析在第VI节中详细阐述。 最后,本文在VII节中进行总结。

II 相关工作

关于自动驾驶车辆的道路认知和路径规划有大量文献。 道路认知问题首先通过图像空间 [11, 12] 中车道标记的二维检测来表述。 为了改善 2D 检测期间车道结构的保留,[13] 中提出了一种基于 EL-GAN 的框架。 Philion 提出了 FastDraw [14],这是一种车道检测的全卷积模型,它学习解码透视图中的车道结构,而不是将结构推断委托给后处理。 2D检测后,需要深度信息将2D车道检测结果重新投影到3D并获得可行驶路径。 车道标记对于基于二维检测的方法至关重要,并且极大地影响车道检测结果的准确性。 对于没有车道标记的开放空间,车道检测问题是不适定的。

Refer to caption
图2 FlowMap 框架的图示。 首先,RoadMap 使用额外的交通流管理器进行扩展,交通流与语义地图一起存储(左)。 其次,将交通流场合成为交通流场,并使用颜色渐变显示(中)。 第三,基于语义图和交通流场进行在线路径搜索(右)。

近年来,Transformer[15,16,17]等神经架构师的进步推动了道路认知性能的极限。 趋势是直接以鸟瞰图(BEV)表示的形式对车道预测问题进行建模,并使用多头注意力从透视图或激光雷达点云中正确找到相应的特征。 [4]提出了一种语义地图学习方法,称为HDMapNet。 HDMapNet 对来自周围摄像机的图像特征和/或来自 LiDAR 的点云进行编码,并预测 BEV 中的矢量化地图元素。 [3]中,提出了一种基于 Transformer 的语义学习方法来同时检测对象和分割道路结构。 具有显式特征的区域的道路认知问题比原始的 2D 公式得到了更好的解决。 然而,如何在没有神经网络可提取的明确特征的情况下找到“道路”仍然是一个悬而未决的问题。

在开放空间中寻找“道路”本质上是一个规划问题。 具体来说,道路认知问题可以建模为在检测到的道路拓扑和障碍物约束下的路径搜索或优化问题。 输出路径应该无碰撞并遵循感知的路缘和边界。 状态格 [20, 21] 上的混合 A* 搜索 [18, 19] 是路径搜索的流行选项,可以是追溯到 2007 年 DARPA 城市挑战赛。 通常,采用基于优化的方法(如弹性带 [22, 23])来补偿状态晶格的离散化并提高整体平滑度。 然而,无碰撞并不是自动驾驶车辆可行驶路径的唯一要求。 要实现符合社会要求的自动驾驶,人类相似性是一个重要的约束条件,但并未受到足够的重视。 交通流量是人类相似性的关键,因为它包含其他车辆如何驾驶的有用信息。

写这篇文章的动机是“人走其上,便成道”这句谚语。 为了实现类人自动驾驶,提取其他车辆的驾驶模式至关重要。 由于高清地图非常流行,这个问题并没有受到太多关注。 从高清地图中,可以轻松访问参考路径。 然而,如何以经济实惠的方式有效维护和更新高清地图仍然是一个悬而未决的问题。 在没有高清地图的情况下,其他车辆如何行驶是仿人驾驶的关键。 本文提出了一种结合交通流的新方法,以在开放空间中实现类人路径生成。 交通流在某种程度上类似于占用网格和占用流[24,25,26] 然而,占用流量是为短期行为预测而设计的,而 FlowMap 是为生成长期可行驶路径而设计的。

Refer to caption
(a) Complete traffic flows
Refer to caption
(b) Flows from a particular goal
Refer to caption
(c) Entry point clustering
Refer to caption
(d) Flow from an entry point
图3 交通流预处理的图示。 原始流量如图 (a) 所示,来自不同方向的流量混乱。 首先,流量按进入目标 gin 和退出目标 gout 进行分组 (b)。 其次,执行入口点聚类并​​找到3入口点pe(c)。 第三,显示特定pe的流并形成G的一个通道(d)。

框架概述

FlowMap 的概述如图2所示。 该框架由三个主要组件组成:具有附加交通流管理功能的轻量级语义映射模块、交通流场生成模块以及在线路径规划和平滑模块。 整个系统不仅解决如何以可承受的方式维持交通流的问题,而且还提供支持离线交通流处理和在线路径生成的算法和方法。

FlowMap 框架建立在我们之前的工作 RoadMap 之上。 RoadMap提供了一个轻量级的语义映射框架。 它将车辆的稀疏语义点云作为输入,并将它们融合成全局轻量级语义地图。 除了语义点云之外,我们还为 RoadMap 添加了交通流管理功能,该功能本质上将车载检测和跟踪结果与语义点云一起维护。 然后,流量和语义点在云端融合,流量以流量场的形式进一步处理,从而方便路径规划。 当特定自动驾驶车辆进入感兴趣区域 (ROI) 时触发的在线过程中,车辆可以借助云端的交通流场生成类似人类的驾驶路径。 路径生成过程同时考虑了交通流趋势、语义地图和驾驶舒适度。

IV 使用流量生成路径

在本节中,我们首先介绍交通流的制定和获取交通流的技术。 然后我们详细阐述如何将交通流转化为交通流场,从而方便在线规划过程。 最后,我们提出在线规划过程,包括在线路径搜索阶段和后续路径优化阶段。

IV-A 交通流

交通流的输入来自车载车辆跟踪模块。 bit=(p,l,w) 表示为 ID 为 i 的特定跟踪车辆在时间戳 t 处的跟踪结果,其中 p=(x,y,θ) 表示跟踪的边界框中心坐标和标题,lw分别表示边界框的长度和宽度。 bv 表示车辆 v 在跟踪的所有时间戳中的路径。 ={bv|v𝒱}表示为所有观察到的车辆轨迹的集合,并将𝒱表示为车辆跟踪id的集合。 请注意,这些痕迹可以由单个车辆或一组车辆在不同的空间和时间获得。 3(a) 显示了特定交叉点处 的示例。

交通流的生成是轻量级的,仅依赖于车载跟踪。 然而,存在三个主要问题。 首先,由于遮挡,许多观察到的轨迹的寿命非常短。 其次,存在感知误差,可能会引起异常轨迹,例如轨迹漂移或与障碍物碰撞。 第三,存在包含有限信息的静止或短轨迹。

为此,需要对进行过滤,使其只包含高质量的车辆痕迹。 过滤过程基于四个标准来实现:跟踪的生命周期;轨迹的总行程距离;是否存在异常漂移;与障碍物的碰撞;我们只保留相对于感兴趣区域有明确入口点和出口点的轨迹。 过滤后,每条迹线bv都标记有元信息mv=(lentry,lexit,pstart),其中lentrylexit表示ROI对应的边缘(即在RoadMap中参数化为与轨迹相交的polgon,pstart表示lentry的交点。 我们将带有额外元信息的流量表示为={(bv,mv)|v𝒱}

1 Inputs: Traffic flow ;
2 Γ;
3 {<gin,gout>}𝙶𝚛𝚘𝚞𝚙𝙱𝚢𝙶𝚘𝚊𝚕();
4 foreach <gin,gout>{<gin,gout>} do
5 {pe}𝙴𝚗𝚝𝚛𝚢𝙿𝚘𝚒𝚗𝚝𝙲𝚕𝚞𝚜𝚝𝚎𝚛𝚒𝚗𝚐(<gin,gout>);
6 {<gin,gout,pe>}𝙶𝚛𝚘𝚞𝚙𝙱𝚢𝙴𝚗𝚝𝚛𝚢𝙿𝚘𝚒𝚗𝚝(,{pe});
7 ΓΓ{<gin,gout,pe>};
8
9 end foreach
return Γ;
算法1 交通流场预处理

IV-B 交通流场生成

本质上是一组按空间位置组织的车辆轨迹。 由于没有构造显式结构,因此使用 进行路径生成并不简单。 为此,我们建议基于生成交通流场𝒢,它将流量密度和流向信息封装在多通道网格地图中。 然而,像占用流量演示[24]那样直接在网格地图上渲染对于规划来说并不友好,因为来自不同方向的流量会彼此混乱。 更糟糕的是,来自不同方向的流量往往不平衡。

为了克服这个问题,我们通过按进入目标、退出目标和进入点对 进行分组来进行预处理。 算法1中介绍了预处理算法。 首先,给定每个轨迹的元信息mv,其中包含ROI多边形的入口边缘lentry和出口边缘lexit,目标索引gingout是根据边缘生成的,是根据gingout对分组的(第3行)。 其次,对于每个组,通过聚类获得多个入口点pe(第5行)。 pe 表示每条轨迹的通道级标识。 第三,流量进一步按入口点分组,并且 <g,g,pe> 获得。 <g,g,pe> 可以理解为由条目“lane”索引的流的子集。 提取车道级信息的原因是交通流中存在固有的多模态,即使具有相同的入口和出口目标。 预处理的典型示例如图3所示。

感谢算法1,交通流现在组织得很好。 我们设计 𝒢 具有多通道结构,每个通道代表来自特定入口点的流量 <g,g,pe>. 对于每个通道,我们构建一个 2D 网格,其中每个单元格包含一个元组 fi,j=(d,δi,δj) d表示密度(通过该单元的车辆数量),δiδj表示单元i,j处的平均方向。 𝒢 的一个通道的玩具示例如图 4(b) 所示。

多通道交通流场构成了一个优雅的结构来编码类人的驾驶行为。 我们为每个 ROI 多边形维护一个单独的网格。 全球交通流场以空间位置为索引,与RoadMap一起维护。 为了实现交通流字段的连续更新,先进先出 (FIFO) 队列与每个 ROI 相关联。 当观察到新的交通流时,一些旧的交通流将消失。 通过这种机制,我们确保流量字段是最新的。

此外,一旦观察到交通流场发生显着变化(通常是由道路建设和道路重新路由引起),交通流场生成过程将生成地图更新触发器,然后将其发送到RoadMap。 我们发现基于交通流的更新触发器对于检测道路路线的变化非常有用,并且可以作为轻量级测绘的重要补充。 5(b)给出了一个典型的例子。 我们将交通流更新和交通流场生成过程集成到RoadMap中。 交通流更新过程消耗的带宽比原始语义地图构建过程少得多,并且不会显着增加地图维护成本。

Refer to caption
(a) Flow for one entry point
Refer to caption
(b) Traffic flow field
Refer to caption
(c) Path search
Refer to caption
(d) Path smoothing
图4 交通流场生成和路径规划过程的图示。 对于每个通道,都会合成一个交通流场,其中流向以颜色渐变和小箭头 (b) 显示。 通过路径搜索找到多条类人左转驾驶路径(c)。 有趣的是,人类驾驶员在左转时有不同的驾驶模式,如(b)所示,我们的算法捕捉到了这一点。 进行路径平滑以确保舒适度。

IV-C 在线路径生成

本节我们将介绍基于多路流量字段𝒢的路径搜索算法,如算法2所示。 路径搜索算法按通道进行(第 3 行)。 对于每个通道,我们首先根据最大密度搜索初始猜测(第 5 行)。 然后使用初始猜测linit构建frenet帧[27]以供后续处理。 基于 frenet 框架表示,对纵向站点(6 号线)和每个纵向站点(8 号线)的横向集群进行采样。 动态规划基于纵向站和横向集群(11号线)进行,其中边和节点成本由相对于𝒢z的匹配质量决定。 由于篇幅限制,省略了动态规划的详细描述,有兴趣的读者可以参考[20]类似的实现。 通过动态规划算法产生多个潜在候选路径,并利用非极大值抑制过程去除几乎重复的候选路径。 搜索过程的示例如图4(c)所示。

算法 2 的输出由源自每个入口车道的路径组成。 由于网格的离散化,路径不够平滑,无法控制。 为此,我们利用基于二次规划(QP)的局部路径平滑[28]来平滑路径。 请注意,[28] 是为轨迹优化而设计的,我们稍微重新表述它以进行路径平滑。 4(d)给出了路径平滑过程的示例。

V 实现细节

V-A 流量预处理

在交通流过滤中,仅保留相对于 ROI 多边形具有明确入口点和出口点的车辆轨迹。 为了过滤与 RoadMap 映射的静态障碍物发生碰撞的轨迹,我们首先根据 RoadMap 提供的语义构建一个 2D 网格。 网格的分辨率为0.2米,填充网格时障碍物会膨胀一半车辆宽度。

在入口点聚类过程中(第5行,算法1),由于ROI多边形在某些情况下不准确,车辆轨迹可能不垂直于lentry 我们将 ROI 多边形的边缘细化为垂直于平均流向。

1 Inputs: multi-channel traffic flow field 𝒢 with each channel denoted as 𝒢z;
2 ;
3 foreach Gzof𝒢 do
4 𝒟;
5 linit𝙸𝚗𝚒𝚝𝚒𝚊𝚕𝙶𝚞𝚎𝚜𝚜𝚂𝚎𝚊𝚛𝚌𝚑(𝒢z) ;
6 {si|i=1,,N}𝚂𝚝𝚊𝚝𝚒𝚘𝚗𝚂𝚊𝚖𝚙𝚕𝚒𝚗𝚐(linit);
7 for i=1,,N do
8 𝒟i𝙻𝚊𝚝𝚎𝚛𝚊𝚕𝙲𝚕𝚞𝚜𝚝𝚎𝚛𝚒𝚗𝚐(si);
9 𝒟𝒟𝒟i
10 end for
11 z𝙳𝙿𝚂𝚎𝚊𝚛𝚌𝚑(𝒟,{si|i=1,,N},𝒢z);
12 z𝙽𝚘𝚗𝙼𝚊𝚡𝚒𝚖𝚞𝚖𝚂𝚞𝚙𝚙𝚛𝚎𝚜𝚜(z);
13 z;
14
15 end foreach
return ;
算法2 交通流场上的路径生成

V-B 交通流场

𝒢的分辨率为0.2米。每个单元格都会跟踪fi,j=(d,δi,δj) d是通过计算与单元格重叠的车辆轨迹的数量来计算的。 请注意,计算 d 时使用的是边界框而不是中心点。对于 δiδj,它们是与单元重叠的所有迹线的平均方向。 𝒢 的通道数量取决于聚类的入口点总数。 𝒢的存储利用其稀疏结构来节省带宽。

V-C 在线路径生成

对于初始猜测搜索(第 5 行,算法 2),我们从每一层的入口点开始,并使用动态规划来搜索与 𝒢z 对于初始猜测搜索,我们有两个加权成本,即密度成本和方向成本,它们惩罚进入低密度区域或与场方向不匹配的路径。 站点采样(第6线)的分辨率设置为3米。横向聚类策略(第 8 行)与入口点聚类类似。 另一个动态规划搜索在第11行,它建立在采样站和横向集群形成的图上,其中𝒢z用于成本评估。 当进行非极大值抑制时(第12行),我们首先根据动态规划输出的成本对候选路径进行排序,然后从成本最低的路径开始迭代。 抑制标准基于与先前路径的最小横向距离大于2米的站点的百分比。如果一条路径包含超过 20% 个具有显着横向差异的站点,则该路径将被视为新的候选路径。

Refer to caption
(a) Aligning with HD map
Refer to caption
(b) Detecting HD map error
图5 将 FlowMap 与高精地图对齐以进行定量评估的图示。 请注意,从高清地图查询到的参考左转路径(black)实际上并不像人类,并且与交通流(a)不同。 相比之下,我们的 FlowMap 可以生成多个符合人类驾驶模式的候选左转路径。 (b)中,交通流量与高精地图不匹配,这表明高精地图错误是由道路施工和道路重新选线造成的。

实验结果

在本节中,我们介绍 FlowMap 评估的定性和定量结果。 我们使用真实世界的数据集进行所有实验。 为了进行定性分析,我们提供了交叉路口的典型路径生成结果,这是自动驾驶车辆遇到的最常见的开放空间。 对于定量分析,我们使用两个内部数据集,即 inter-mildinter-hard inter-mild主要由小型十字路口和丁字路口组成,如图4所示,而inter-hard则包含大型且复杂的交叉路口如图6所示。 这两个数据集在随附的视频中进行了可视化。

表一 与高精地图的参考路径进行比较。
Dataset Type ADE MDE DE@5m DE@35m DE@55m
avg (m) std (m) avg (m) std (m) avg (m) std (m) avg (m) std (m) avg (m) std (m)
Inter mild Left 1.53 1.09 2.83 1.67 1.35 1.59 1.68 1.43 1.22 0.78
Right 1.50 1.30 2.52 1.72 1.14 1.15 0.80 0.70 0.22 -
Straight 0.52 0.65 0.82 0.99 0.50 0.77 0.54 0.63 0.48 0.60
Inter hard Left 1.89 1.42 3.55 2.18 2.59 2.58 1.14 1.05 1.24 0.94
Right 1.27 0.93 2.49 2.01 0.92 1.02 0.57 0.71 1.06 -
Straight 0.57 0.47 1.04 0.95 0.45 0.58 0.58 0.57 - -

VI-A 定性结果

VI-A1 超大交叉口的路径生成

在本节中,我们将介绍具有挑战性的场景,例如超大和不规则交叉口,如图6所示。 对于图6(a)中的路口I,路口的大部分拓扑都是通过FlowMap恢复的,这是在不使用高清地图的情况下取得的令人印象深刻的成就。 此外,即使对于高精地图标注来说,为各种道路结构标注类似人类的左转也并非易事。 另一方面,值得注意的是 FlowMap 提供了类似人类的左转路径。 例如,图6(a)中标记的左转弯非常紧,路径应远离人行横道。 利用交通流,FlowMap可以自然地生成这样一种路径。 对于交叉路口 II,生成超长左转具有挑战性,FlowMap 具有良好的结果。 我们可以得出结论,FlowMap 擅长在开放空间中生成类似人类的驾驶路径,其中道路标记不清楚,但驾驶模式清晰。

VI-A2 地图错误检测

正如第 3 节中所介绍的那样。 IV-B,我们可以使用交通流场来检测潜在的地图错误。 5(b)提供了一个典型的例子,其中发生了道路施工。 对于此示例,高清地图已过时。 在传统的高精地图维护管道中,很难快速定位这些道路施工和改线事件。 感谢 FlowMap,我们可以利用流量字段来识别这些事件。 通过将交通流结果与高清地图进行比较,可以轻松识别不匹配的情况,并由 FlowMap 发出地图更新信号。

Refer to caption
(a) Intersection I. Trip count: 17.
Refer to caption
(b) Intersection II. Trip count: 27.
图6 一些超大型交叉口的定量结果说明。 生成的路径标记为蓝色 通过交叉路口的行程数量已在标题中标出。 对于数十次行程,观察到的交通流量已经足以构建大型交叉路口的丰富拓扑。

VI-B 定量结果

为了定量分析 FlowMap 的准确性,我们使用高精地图中的参考路径作为基线。 如图5(a)所示,我们将高精地图与FlowMap对齐,并提取源自特定入口点的相应参考路径。 通过将 FlowMap lflowz 生成的路径与高精地图参考路径 lhdz 进行比较,可以指定以下错误指标:

  • 平均位移误差 (ADE):对所有通道(入口点)和候选流 zlflowzAverageDisp(lflowz,lhdz)/(z|z|) 进行平均。

  • 最大位移误差(MDE):对每个通道zlflowzMaxDisp(lflowz,lhdz)/(z|z|)的最大位移误差进行平均。

  • x m (DE@x m) 处的位移误差:对给定距离处的所有通道和候选流进行平均 x m zlflowzDispAt(lflowz,lhdz,x)/(z|z|)

结果在表中给出。 I 值得注意的是,高精地图本身并不完美,如图5所示。 但相对于高清地图参考的统计误差较低,仍然可以表示路径已正确生成。

我们进一步将结果组织成不同的回合类型。 对于inter-hard,直行的ADE为0.57m,非常小,远低于左转和右转。 这意味着路径生成算法能够生成高质量的路径。 我们认为,虽然左转和右转的路径生成具有较高的错误率,但这并不一定意味着质量较差。 该误差可能是由于高精地图左转和右转参考不符合人类特征而引起的,如图5(a)所示。 左转和右转的标准差明显大于直行,因为人类驾驶行为在转弯时可能会有所不同。 一般来说,除右转外,inter-hard 的误差大于inter-mild 表中的“-”表示该长度的候选者不足。

VII 结论和未来工作

在本文中,我们提出了 FlowMap,一种使用交通流的自动车辆的轻量级路径生成框架。 通过利用交通流信息,该框架可以在传感器读数没有“道路”的开放空间中工作。 为了便于路径规划,交通流场被合成。 基于交通流场,提出了一种路径生成算法来提取类人可行驶路径。 使用真实世界的驾驶数据对整个框架进行了广泛的评估。

参考

  • [1] T. Qin, Y. Zheng, T. Chen, Y. Chen, and Q. Su, “Roadmap: A light-weight semantic map for visual localization towards autonomous driving,” in Proc. of the IEEE Intl. Conf. on Robot. and Autom., 2021.
  • [2] S. Casas, A. Sadat, and R. Urtasun, “MP3: A unified model to map, perceive, predict and plan,” in Proc. of the IEEE Intl. Conf. on Pattern Recognition, 2021.
  • [3] Z. Li, W. Wang, H. Li, E. Xie, C. Sima, T. Lu, Y. Qiao, and J. Dai, “Bevformer: Learning bird’s-eye-view representation from multi-camera images via spatiotemporal transformers,” arXiv preprint arXiv 2203.17270, 2022.
  • [4] Q. Li, Y. Wang, Y. Wang, and H. Zhao, “Hdmapnet: An online hd map construction and evaluation framework,” in 2022 International Conference on Robotics and Automation (ICRA), 2022, pp. 4628–4634.
  • [5] Z. Liu, H. Tang, A. Amini, X. Yang, H. Mao, D. Rus, and S. Han, “Bevfusion: Multi-task multi-sensor fusion with unified bird’s-eye view representation,” arXiv, 2022.
  • [6] Y. Liu, Y. Wang, Y. Wang, and H. Zhao, “Vectormapnet: End-to-end vectorized hd map learning,” arXiv preprint arXiv:2206.08920, 2022.
  • [7] “Tesla AI Day 2021,” https://www.youtube.com/watch?v=j0z4FweCy4M, accessed: 2021-08-19.
  • [8] J. Jeong, Y. Cho, and A. Kim, “Road-slam: Road marking based slam with lane-level accuracy,” in IEEE Intelligent Vehicles Symposium, 2017.
  • [9] T. Qin, T. Chen, Y. Chen, and Q. Su, “Avp-slam: Semantic visual mapping and localization for autonomous vehicles in the parking lot,” in Proc. of the IEEE/RSJ Intl. Conf. on Intell. Robots and Syst., 2020.
  • [10] M. Herb, T. Weiherer, N. Navab, and F. Tombari, “Crowd-sourced semantic edge mapping for autonomous vehicles,” in Proc. of the IEEE/RSJ Intl. Conf. on Intell. Robots and Syst., 2019.
  • [11] X. Pan, J. Shi, P. Luo, X. Wang, and X. Tang, “Spatial as deep: Spatial cnn for traffic scene understanding,” in AAAI Conference on Artificial Intelligence, 2018.
  • [12] D. Neven, B. D. Brabandere, S. Georgoulis, M. Proesmans, and L. V. Gool, “Towards end-to-end lane detection: an instance segmentation approach,” in IEEE Intelligent Vehicles Symposium, 2018.
  • [13] M. Ghafoorian, C. Nugteren, N. Baka, O. Booij, and M. Hofmann, “El-gan: Embedding loss driven generative adversarial networks for lane detection,” in European Conference on Computer Vision, 2018.
  • [14] J. Philion, “Fastdraw: Addressing the long tail of lane detection by adapting a sequential prediction network,” in Proc. of the IEEE Intl. Conf. on Pattern Recognition, 2019.
  • [15] J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova, “Bert: Pre-training of deep bidirectional transformers for language understanding,” arXiv, 2018.
  • [16] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, L. K. Aidan N. Gomez, and I. Polosukhin, “Attention is all you need,” arXiv, 2017.
  • [17] N. Carion, F. Massa, G. Synnaeve, N. Usunier, A. Kirillov, and S. Zagoruyko, “End-to-end object detection with transformers,” arXiv, 2022.
  • [18] D. Dolgov, S. Thrun, M. Montemerlo, and J. Diebel, “Path planning for autonomous driving in unknown environments,” in Experimental Robotics, O. Khatib, V. Kumar, and G. J. Pappas, Eds. Berlin, Heidelberg: Springer Berlin Heidelberg, 2009, pp. 55–64.
  • [19] ——, “Path planning for autonomous vehicles in unknown semi-structured environments,” Intl. J. Robot. Research, 2010.
  • [20] M. McNaughton, C. Urmson, J. M. Dolan, and J.-W. Lee, “Motion planning for autonomous driving with a conformal spatiotemporal lattice,” in Proc. of the IEEE Intl. Conf. on Robot. and Autom. IEEE, 2011.
  • [21] J. Ziegler and C. Stiller, “Spatiotemporal state lattices for fast trajectory planning in dynamic on-road driving scenarios,” IEEE, 2009.
  • [22] W. Ding, W. Gao, K. Wang, and S. Shen, “Trajectory replanning for quadrotors using kinodynamic search and elastic optimization,” in 2018 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2018, pp. 7595–7602.
  • [23] W. Xu, J. Wei, J. M. Dolan, H. Zhao, and H. Zha, “A real-time motion planner with trajectory optimization for autonomous vehicles,” in Proc. of the IEEE Intl. Conf. on Robot. and Autom. IEEE, 2012.
  • [24] R. Mahjourian, J. Kim, Y. Chai, M. Tan, B. Sapp, and D. Anguelov, “Occupancy flow fields for motion forecasting in autonomous driving,” arXiv, 2022.
  • [25] A. Jain, S. Casas, R. Liao, Y. Xiong, S. Feng, S. Segal, and R. Urtasun, “Discrete residual flow for probabilistic pedestrian behavior prediction,” arXiv, 2019.
  • [26] J. Hong, B. Sapp, and J. Philbin, “Rules of the road: Predicting driving behavior with a convolutional model of semantic interactions,” arXiv, 2019.
  • [27] M. Werling, S. Kammel, J. Ziegler, and L. Gröll, “Optimal trajectories for time-critical street scenarios using discretized terminal manifolds,” Intl. J. Robot. Research, 2012.
  • [28] W. Ding, L. Zhang, J. Chen, and S. Shen, “Safe trajectory generation for complex urban environments using spatio-temporal semantic corridor,” IEEE Robotics and Automation Letters, vol. 4, no. 3, pp. 2997–3004, 2019.