知荐 | 基于深度卷积网络的自动驾驶多模态轨迹预测

来源|汤吉智能汽车研究所（环境感知研究小组）

Zhiquan |加入“信息安全社区”，请添加微信13636581676，并注意安全

编者注：为了在道路上安全有效地驾驶，自动驾驶汽车必须具有预测周围交通参与者（如人类驾驶员）的行为。目前，有关轨迹预测的相关研究已受到越来越多的关注。本文主要解决轨迹预测的困难，即预测的多模态。同时，本文的另一个亮点是通过卷积栅格图像实现预测。作者目前通过实验获得了最佳的预测效果。本文在与轨迹预测有关的领域的研究中具有一定的学习和参考价值。

摘要：无论是在困难还是潜在的社会影响方面，自主驾驶都是目前人工智能领域面临的最大问题之一。预计自动驾驶车辆（SDV）将减少道路事故并挽救数百万的生命，同时改善更多人的生活质量。但是，尽管在自动驾驶领域工作了大量的关注和行业参与者，但仍有很多工作要花与最佳人类驾驶员的运营水平相媲美。这些原因之一是交通行为的高度不确定性以及SDV在道路上可能遇到的大量情况，因此很难创建一个完全通用的系统。为了确保安全有效的操作，自动驾驶汽车需要考虑这种不确定性并预测周围交通参与者的多种可能行为。我们解决了这个关键问题，并提出了一种预测多个可能的轨迹的方法，同时估计其概率。该方法将每个参与者的周围环境编码为栅格图像，以作为深度卷积网络的输入，以自动获得任务的相关特征。经过广泛的离线评估和与最新基准测试的比较后，该方法成功完成了SDV上的闭路测试。

介绍

近年来，人工智能领域（AI）的应用领域取得了前所未有的进步，智能算法很快成为我们日常生活中必不可少的一部分。仅举几个影响了数百万人的例子：医院使用人工智能方法来帮助诊断疾病[1]，对接服务使用学习模型将潜在的夫妻连接[2]，而社交媒体提要则使用算法[3]来构建。然而，AI革命还远远没有结束，并且在未来几年可能会进一步加速。有趣的是，汽车领域是主要行业之一，到目前为止，人工智能的应用仍然非常有限。大型汽车制造商通过在先进的驾驶援助系统（ADA）[5]中使用人工智能（AI）[AI）取得了一些进步，但是，仍然需要通过出现新的智能技术（例如自动驾驶汽车）来利用其全部功能。 （SDVS）。

尽管驾驶车辆是许多人的普遍活动，但对于拥有数年经验的人类驾驶员来说，这也是一项危险的任务[6]。尽管汽车制造商正在努力通过更好的设计和ADAS系统来提高车辆安全性，但年复一年的统计数据表明，在公共道路上扭转负面趋势仍有很多工作要做。特别是在2015年，美国汽车事故死亡人数占总死亡人数的5％以上[7]，绝大多数汽车事故是由人为因素引起的[8]。不幸的是，这并不是最近才出现的问题，研究人员一直在尝试了解几十年的原因。研究包括调查驾驶员分心[9]，酒精和药物使用[10]，[11]和驾驶员年龄等因素[6]，以及如何最有效地使驾驶员接受他们容易出错，并且最有效地影响了他们行为[12]。毫不奇怪，现有文献中的一个共同主题是人类是运输系统中最不可靠的部分。通过SDV的开发和广泛应用可以改善这一点。硬件和软件技术的最新突破使这一前景成为可能，为机器人技术和人工智能领域打开了大门，迄今为止可能具有最大的社会影响。

自主驾驶技术已经开发了很长时间，最早的尝试可以追溯到1980年代，即Al-Vinn的研究[13]。但是，直到最近，技术进步已经达到了可以更广泛使用的水平，例如2007年DARPA城市挑战的结果[14]，[15]。在这里，参与的团队必须在复杂的城市环境中导航，在公共道路上处理常见情况，并与人类和机器人驱动的车辆互动。这些早期的成功激发了人们对自动驾驶领域的极大兴趣，许多行业参与者（例如Uber和Waymo）和政府机构竞争建立实现SDV的技术和法律基础。然而，尽管取得了进展，但仍将做更多的工作来使SDV在人类层面运行并完全商业化。

在现实世界中安全有效地操作的主要挑战是正确预测周围参与者的运动，并且成功的系统还需要考虑其固有的多模式属性。我们专注于这项任务，并基于我们部署的基于深度学习的工作[16]，我们创建了编码高清图和环境的Bird's-eye视图（BEV）横梁，以预测参与者的未来并提出以下贡献：

（1）我们扩展了现有技术，并提出了一种取代单个轨迹推理的方法，提供了多个轨迹及其概率；

（2）经过多种高素质方法的广泛离线研究，该方法成功地对SDV进行了封闭的路测。

图1显示了我们的模型如何捕获接下来6秒的轨迹的多模式。该方法使用栅格化的车辆环境（包括HD地图和其他参与者）作为模型输入，以预测参与者在动态环境中的运动[16]。当车辆接近交叉路口时，多模式模型（我们将模态数设置为2）估计直线行驶的概率略低于右转概率，请参见图1A。经过三个步骤后，车辆继续笔直移动，右转的概率显着降低（图1C）；请注意，实际上，车辆继续通过交叉路口直接移动。我们可以看到，单模式模型无法捕获场景的多模式，而是粗略地预测了两种模式的平均值，如图1b和1d所示。

相关工作

在最近的几本出版物中讨论了预测参与者未来行动的问题。 [17]和[18]中显示了该主题的全面概述。在本节中，我们将从自主驾驶的角度审查相关工作。首先，我们将介绍自主驾驶行业的实用工程方法。然后，我们讨论用于运动预测的机器学习方法，并特别强调深度学习方法。

A.自主驾驶系统中的运动预测

大多数部署的自主驾驶系统都使用成熟的工程方法来预测参与者的行动。常用的方法包括根据基础物理系统的假设和使用Kalman Filtering（KF）[19] [19]，[20]来计算对象的未来运动。尽管这种方法在短期预测中效果很好，但其性能将在更长的时间内下降，因为该模型忽略了周围环境（例如道路，其他参与者，交通规则）。为了应对这个问题，梅赛德斯·奔驰（Mercedes Benz）提出的方法使用地图信息作为限制，以计算车辆的长期未来位置。该系统首先将每个检测到的车辆与地图上的一个或多个车道相关联。然后，基于地图拓扑，车道连接性和车辆当前状态估计值，为每个车辆和相关车道对生成所有可能的路径。这种启发式总体上提供了合理的预测，但对车辆和车道关联的错误敏感。作为现有部署工程方法的替代方法，该提议的方法会自动从数据中学习，这些数据通常会遵守道路和车道的约束，同时将其推广到道路上观察到的各种情况。此外，与现有的巷道协会的思想相结合，我们提出了我们方法的扩展。

B.机器学习预测模型

人为设计的模型不能扩展到许多不同的流量方案，这促使机器学习模型是替代品，例如隐藏的马尔可夫模型[22]，贝叶斯网络[23]或高斯流程[24]。最近的研究人员专注于如何使用逆增强学习（IRL）来模拟环境环境[25]。 Kitani等。 [26]考虑场景语义并使用逆最佳控制来预测行人路径，但是现有的IRL方法对于实时应用程序效率低下。

深度学习在许多实际应用中的成功[27]促使人们研究其运动预测的应用。随着复发性神经网络（RNN）的最新成功，已在序列预测任务中使用了一种称为长时间和短期记忆（LSTM）的研究路线。文学作者[28]，[29]使用LSTM来预测社会互动中行人的未来轨迹。在[30]中，使用过去的轨迹数据应用LSTM来预测车辆位置。在[31]中，将另一种称为门控递归单元（GRU）的RNN变体与条件变异自动编码器（CVAE）结合使用，以预测车辆轨迹。此外，[32]，[33]通过将卷积神经网络（CNN）应用于一系列视觉图像，可以直接从图像像素从图像像素进行运动。在[16]中，作者提出了一个系统，其中使用CNN预测短期车辆轨迹，并作为输入单个参与者周围环境的BEV栅格图像，随后也适用于脆弱的交通参与者[34]。尽管这些方法取得了成功，但它们仍未解决精确长期流量预测所需的未来轨迹的潜在多模式问题。

目前，许多研究正在解决多模型建模的问题。混合密度网络（MDN）[35]是传统的神经网络，通过学习高斯混合模型的学习参数来解决多模式回归问题。但是，由于在高维空间中运行时，MDN通常很难训练。

为了解决这个问题，研究人员建议使用仅考虑最接近真实价值的预测结果的损失来训练一组网络[36]或训练网络，以生成与M不同假设相对应的M不同的输出[37] 。得益于良好的经验结果，我们的工作以这些努力为基础。此外，在[38]中，作者通过学习将概率分配给六个操纵类别的模型来介绍了道路车辆多模式轨迹预测的方法。这种方法需要预定的一组可能的离散电机，这对于复杂的城市驾驶可能很难定义。另外，在[28]，[29]，[31]中，作者建议通过采样生成多模式预测，这需要重复向前传递才能生成多个轨迹。我们提出的方法直接计算出单个正向CNN模型上的多模式预测结果。

图2。本文提出的网络框架

提出的方法

在本小节中，我们讨论了针对交通参与者的拟议的多模式轨迹预测方法。我们首先介绍问题定义和符号使用情况，然后讨论我们设计的卷积神经网络结构和损失功能。

A.问题定义

假设我们可以将传感器安装在自动驾驶汽车上，例如LIDAR，超声雷达或相机的实时数据流。此外，假定这些数据用于所有周围交通参与者的现有检测和跟踪系统和输出状态估计（状态包括检测框架，位置，速度，速度，加速度，标题和标题角变化率）。定义跟踪器输出状态评估的一组离散时间是，连续时间步之间的时间间隔是固定的（Tracker在10Hz运行时的时间间隔为0.1）。然后，我们将跟踪器的状态输出定义为在TJ TIME的第i-the流量参与者，为sij，其中i = 1，…，nj。 NJ是TJ时刻跟踪的所有交通参与者的数量。请注意，一般而言，交通参与者的数量会不时差异，因为新的交通参与者将出现在传感器的感知范围内，并且先前跟踪的交通参与者将超过传感器的感知范围。此外，我们假设可以获取自动驾驶汽车驱动区的详细高精度地图信息m，包括道路和人行道位置，车道方向和其他相关地图信息。

B.多模式轨迹建模

根据我们以前的工作[16]，我们首先将BEV栅格图像栅格化，该图像编码了交通参与者和周围的交通参与者的地图环境（例如其他车辆和行人等），如图1所示。 ，鉴于在TJ时刻，第I-trive参与者的栅格图和状态估计SIJ，我们使用卷积神经网络模型来预测可能的未来状态序列以及每个序列的概率。其中m表示模态数，而h表示预测的时间步。有关栅格化方法的详细说明，请咨询我们以前的工作[16]。在不失去一般性的情况下，我们简化了工作，我们只会推断第i-the-traffic参与者的未来X和Y坐标，而不是全州估计，而国家的其余估计值可以通过状态序列和未来位置估算。在TJ时间，交通参与者过去和将来的位置的坐标相对于交通参与者在TJ时间的位置，向前方向是X轴，左手方向是Y轴，而交通参与者的检测框的中心是起源。

本文提出的网络结构如图2所示。输入是一个RGB网格图，分辨率为0.2米，300*300和交通参与者的当前状态（车速，加速度和方向角变率），输出是M模式的未来X和Y坐标（每种模态都有2H输出）及其概率（每个模态一个标量）。因此每个流量参与者的输出为（2H+1）m。然后将概率输出传递到SoftMax层，以确保其总和为1。请注意，任何卷积神经网络结构都可以用作基本网络，在这里我们使用Mobillenet-V2。

C.多模式优化函数

在本节中kaiyun官方网站登录入口，我们将讨论我们提出的建模轨迹预测问题中固有的多模式的损耗函数。首先，我们在TJ时间定义了第i-thtrage参与者的MTH模式的单模式损耗函数，为真实轨迹点和预测的MTH模式之间的平均位移误差（或L2 Norm）。 。

我们可以直接使用的一个简单的多模式损耗函数是我的损失，该损失定义如下：

但是，从我们在第四节中的评估结果中可以看出，由于模态崩溃问题，我的损失不适用于轨迹预测问题。为了解决这个问题，我们受到[37]的启发，以提出使用新的多区域预测（MTP）损失，该损失明确模拟了轨迹空间的多模式。在MTP方法中，对于TJ时间的第i-thtrive参与者，我们首先通过神经网络的正向传播获得M输出轨迹。然后，我们通过任意轨迹距离公式确定最接近真实轨迹的模态m。

选择最佳匹配模式M后，最终损耗函数可以定义如下：

在这里，我是一个二进制指标函数。如果条件C为真，则等于1，否则为0。它是分类的横向渗透损失，定义为：

α是用于称重两次损失的超参数。换句话说，我们使最匹配的模式M接近1的概率，而其他模式的概率接近0。请注意，在训练期间，位置的输出仅通过最佳模式更新，而在训练中则是最佳模式的。所有模式都更新了概率。这使每个模式专门针对不同类别的参与者行为（例如，直行或转弯），从而成功地解决了模态崩溃的问题，如以下实验所示。

图3：模态选择方法（模态以蓝色表示）：使用位移时，真实值（绿色）匹配右转模式，并且使用角度匹配直线模式

我们尝试了几个不同的轨迹距离函数。特别是作为第一个选择，我们正在使用两个轨迹之间的平均位移。但是，此距离函数并不能很好地模拟交叉路口的多模式行为，如图3所示。为了解决此问题，我们提出了一个范围测量函数，通过考虑当前位置之间的角度来改善交叉场景的处理交通参与者和预测轨迹的最后位置。第4节给出了定量比较结果。

最后，对于损失（2）和（4），我们训练卷积神经网络参数，以最大程度地减少训练集的损失。

请注意，我们的多模式损耗函数不可知，将其中一种模态选择作为损失函数，并且使用负高斯对数可能性的损失函数很容易将我们的方法推广到论文[16]以预测轨迹点的差异。确定性。

D.车道线遵循多模式预测

以前，我们描述了一种可以在正向传播过程中直接预测多种模态的方法。在[21]中，每个车辆都与车道相关联（即，车道线跟随车辆），我们提出了一种隐式输出多个轨迹的方法。特别是，假设我们知道我们会遵循车道线并通过车道线评分系统过滤掉不可能的沿车道线，那么我们添加了另一个网格层来编码此信息并训练网络以输出车道线以遵循轨迹。然后，对于场景，我们可以通过在多个不同的车道线下生成栅格图来有效地预测多模式轨迹。为了生成训练集，我们首先确定车辆实际遵循的车道线并基于此构建输入网格图。然后，我们通过设置M = 1（在这种情况下是ME和MTP相等）来训练Lane线以下模型（LF）模型。实际上，可以同时使用LF和其他方法来分别处理车道线关注者和其他交通参与者。请注意，我们仅介绍这种方法才能完整，因为从业人员可能会发现将栅格的想法与现有的车道线相结合以后的方法以获得多模式预测，如[21]描述中。

图4。在同一情况下，LF模型的轨迹输出示例具有不同的跟随车道线（用浅粉红色表示）

在图4中，我们显示了同一场景的网格图，但使用两种标有淡粉红色的随访线条。一个是直行，另一个是向左转。该方法的轨迹输出遵循预定的路径很好，可用于在车辆后为车道线生成多个预测轨迹。

实验

我们通过在不同的交通条件下（例如匹兹堡，宾夕法尼亚州，凤凰城，亚利桑那州等）进行手动驾驶（例如不同的时间段和不同的日子），收集了240小时的数据。原始传感器数据是从相机，激光雷达和超声雷达获得的，使用UKF [40]和运动学模型[41]跟踪J交通参与者，并以10 Hz的速率获得了每个跟踪车辆的估计输出状态。 UKF对大量标记数据进行了高度优化和培训，并在大规模的真实数据上进行了广泛的测试。每个离散时刻的每个流量参与者的跟踪时刻等于单个数据点1，在删除静态流量参与者之后，总体数据具有780万个数据点。我们考虑了6秒的预测时间（IE H = 60），α= 1，并使用3：1：1的分割比获得训练集，验证集和测试集。

我们将所提出的方法与几个基线进行比较：

（1）对UKF的实时估算的状态

（2）单轨预测（STP）[16]

（3）高斯混合轨迹空间MDN [35]

该模型在TensorFlow [42]上实现，并在16NVIDIA TITAN X GPU卡上进行了训练。我们使用开源分布式框架Horovod [43]培训，并在24小时内完成。我们将每个GPU的批次编号设置为64，并使用Adam Optimizer [44]进行培训，将初始学习率设置为10-4，每20,000次迭代将其减少0.9倍。所有型号均经过端到端训练和部署在自动驾驶汽车上，使用GPU进行批处理处理，平均时间约为10ms。

A.实验结果

我们使用与运动预测相关的误差指标进行比较：位移（1），以及沿着和交叉跟踪[45]分别测量与真实值的纵向和横向偏差。由于多条件方法提供了概率，因此一种可能的评估方法是使用最可能的模式的预测误差。然而，对多模式预测的较早研究[31]发现，该度量更倾向于单态模型，因为它们在输出不真实的轨迹时显示了优化的平均预测误差（见图1示例）。我们从[31]和[37]镜像现有的设置，滤除概率较低的轨迹（我们将阈值设置为0.2），并使用其余设置的最小误差模式来计算度量。我们发现，该计算的结果与自动驾驶汽车的观察性能更一致。

表1。不同方法的预测误差的比较（以米为单位）

在表1中，我们给出了1S和6S的预测步骤的误差，在整个预测步骤中，模态M数的平均度量（模态数为2到4）。首先，我们可以看到，单模式模型（例如UKF和STP）显然不适合及时预测。但是，它们在1s中的短期预测结果是合理的，并且6S的预测误差明显大于最佳多模式方法的预测误差。这种结果是可以预期的，因为在短期的交通参与者受到身体及其周围环境的约束，导致真相近似于单模式分布[16]。另一方面，从长期的角度来看，预测问题的多模式变得更加明显（例如，当交通参与者接近十字路口时，在完全相同的情况下，他们可能会造成几种不同的情况。选择）。单模式预测并不能很好地考虑这个问题开元棋官方正版下载，而是直接预测了分布的平均值，如图1所示。

此外，值得注意的是，对于各种M值，MDN和我给出的结果与STP相似。原因是众所周知的模态崩溃问题，其中只有一种模态提供了非降解预测。因此，在实践中，受影响的多模式方法将恢复到单态度，无法完全捕获多种方式。 [37]的作者报告了MDNS的这个问题，发现多模式假设模型的影响较小，我们的实验结果进一步证实。

通过将我们的重点转移到MTP方法上，我们观察到与其他方法相比有了显着改善。在6s时间的平均误差和误差都以全面的方式减少，表明这些方法已经学会了交通问题的多模式。即使长期预测的效果更明显，短期1和长期6s的预测误差也低于其他方法的预测错误。有趣的是，结果表明，当M = 3时，所有评估指标都是最佳的。

表2。在6s时不同模式的位移误差

接下来，我们评估了不同的轨迹距离指标，以选择MP训练中最佳匹配模式。表1表明，使用位移作为距离函数比使用角度稍好。但是，为了更好地理解此选择的含义，我们将测试集分为三类：左转，右转弯和笔直（测试集中95％的交通参与者大约是笔直的，其余的分布在两回合之间均匀分布）和6S预测结果在表2中报告。我们可以看到角度的使用来改善转弯的处理开yun体育app官网网页登录入口，以及非常轻微的降解直跟踪。这证实了我们的假设，即角度匹配策略可改善交叉点的性能，这对于自动驾驶汽车的安全至关重要。考虑到这些结果，在本节的其余部分中，我们将使用角模式匹配策略的MTP模型。

图5。从左到右的1至4个不同模式在输出轨迹上的影响

在图5中，当增加模态M的数量时，我们可以看到当M = 1时（即推断轨迹大约是线性模式和右转模式的平均值。将模态的数量增加到2时，我们得到了一个清晰的直接和右转模式的分离。进入“快速”和“慢”模式，对交通参与者的纵向速度进行建模。

图6。模态概率校正的分析

最后，我们分析了预测模态概率的校准。特别是，使用测试集，我们计算预测的模态概率与最适合真实轨迹的模态概率之间的关系。我们根据预测的概率对轨迹进行了分割，并计算了每个段的平均模态匹配概率。图6显示了我们使用M = 3的结果，而M是类似于所示的其他值。我们可以看到修改图非常接近y = x参考线，表明预测的概率已经很好地校准。

综上所述

由于交通参与者的行为的固有不确定性，为了确保在道路上安全有效的驾驶，自动驾驶汽车将来需要考虑周围交通参与者可能会考虑多个可能的轨迹。在本文中，我们解决了自主驾驶问题的关键方面，并提出了一种用于车辆运动预测的多模型建模方法。该方法首先生成一个栅格图，编码交通参与者的周围环境，并使用卷积神经网络模型来输出几个可能的预测轨迹及其概率。我们讨论了几种多模型模型，并将它们与目前最先进的方法进行了比较，结果表明，本文提出的方法具有实际的好处。经过广泛的离线评估，该方法已成功地对自动驾驶汽车进行了测试。

本文翻译回：

“使用深层卷积网络的自动驾驶的多模式轨迹预测”，IEEE国际会议机器人和自动化（ICRA）2019

原始作者：汉加奇，弗拉德·拉多萨夫·杰维奇，fang-chieh chou

原始链接：

参考：（滑动）

超过