arXiv2022年6月17日上传论文“Improving Diversity of Multiple Trajectory Prediction based on Map-adaptive Lane Loss“，作者来自韩国KAIST。

自动驾驶运动预测领域的现有技术倾向于寻找接近真值的轨迹。然而，这种方法经常导致丢失多样性和偏差的轨迹预测。因此，不适用于现实世界中的自动驾驶，因为在现实世界中，多样化和道路相关的多模态轨迹预测对安全至关重要。

本文提出一种损失函数，车道损失（lane loss），确保地图适应的多样性并适应几何约束。其提出一种两步轨迹预测体系结构，具有一个轨迹候选提议模块，即轨迹预测注意（TPA，Trajectory Prediction Attention），通过车道损失训练，鼓励多条轨迹表现不同分布，以地图-觉察方式覆盖可行的机动。

现有轨迹性能指标侧重于基于真值的轨迹精度评估，作者提出一个使用定量评估指标来评估预测多条轨迹的多样性。在Argoverse数据集上进行的实验表明，该方法在不牺牲预测精度的前提下，显著提高了预测轨迹的多样性。

预测多智体环境中动态智体的未来轨迹是自主驾驶等移动机器人的一项基本任务。为了对不确定的未来采取先发行动，需要对附近智体的未来运动进行预测。然而，附近智体的未来运动高度不确定，不能确定地预测其未来（例如，选择可能性最大的单轨迹）。

假设环境智体预测输出的同时，提供车道保持和转弯的未来轨迹，概率分别为0.8和0.2。在这种情况下，规划器可以在主动准备转弯的同时采取行动进行车道保持预测。相反，如果预测模型仅返回车道保持结果，规划器无法提前制定转弯情况的应急计划，因为只有一个预测机动或轨迹。

因此，为了使决策/规划模块始终保证安全，以便自主智体能够注意到安全，需要覆盖范围广泛的不确定（甚至那些不太可能发生的）未来预测。

然而，一些问题让开发一个可靠的预测模型来生成具有不同机动的多个轨迹是一个挑战。

首先，在数据集中，每个场景只有一个单一的真值模态。给定场景缺乏多样的真值情况，这为多轨迹预测带来了巨大障碍。

其次，大多数轨迹数据集具有高度不平衡的分布，其中车道保持轨迹与其他机动（如换道/转弯）相比占据主要地位。例如，在最大的轨迹数据集之一的Argoverse运动预测数据集中，超过90%的目标智体机动是直线，如表所示：数据集分布的这种不平衡导致预测结果偏差（预测结果大多为车道保持）。

第三，像路线图这样的驾驶环境是多种多样的，很难一概而论。因为车辆应该沿着车道行驶，所以在不同的道路几何中，轨迹是不同的。因此，预测模型应该能够自适应地处理各种道路几何，以充分适应不同的道路形状。

在运动预测中，之前的多个多模态预测模型，在最终距离误差（FDE）和平均距离误差（ADE）方面具有良好的预测精度。特别是，其中许多系统利用道路信息输出多个预测。然而，这些模型中的多模态无法解决多样性问题。

如图所示，预测模型主要由两部分组成：Baseline network 和Trajectory Proposal Attention（TPA）。在baseline网络的特征提取器中，将周围智体的历史轨迹编码为行动者特征，并使用GCN对地图信息进行编码（来自LaneGCN方法）。特征提取器的输出由TPA处理，然后将TPA的输出馈入Interaction Network（即LaneGCN的FusionNet模型），即智体和地图之间的交互。最后，预测头生成智体的多个未来轨迹及其得分。

Baseline网络可以替换为由特征提取器和预测头组成的任何轨迹预测模型，这里采用LaneGCN。特征提取器由ActorNet和MapNet组成。ActorNet和MapNet分别处理智体的轨迹和地图信息，然后融合二者。

TPA是整个架构的瓶颈，是两步轨迹预测框架的第一步。其目的是根据历史观测和地图数据，输出几何上可行的多个轨迹提议。然后，通过提议注意（Proposal Attention）聚合为联合表征。TPA由三个模块组成：提议头、提议编码器和提议注意。

提议头将从可观察的过去轨迹和地图数据中提取的特征作为输入，并生成轨迹提议：

与 RPN 类似，提议头的输出在下游网络中递归使用，提供物理和几何线索。为了在提议头和预测头之间生成轨迹的一致性，在提议头和预测头采用相同的网络，头由三个 MLP 组成，第二层后有一个残差连接，ReLU 和一个 GroupNorm 层。轨迹提议使用与最终输出相同的损失函数进行训练以提出提议。

提议编码器是一个嵌入层，将轨迹提议编码为特征向量：

由于提议编码器的目的是对轨迹形状的输入形成嵌入，与Baseline网络中的ActorNet具有相同的架构，由1-D CNN和特征金字塔网络（FPN）组成。编码每个提议的函数共享权重。

提议注意是一个模块，用于聚合来自表示不同机动或行为的多个提议特征。由于不能忽略所有提议（候选），因此采用多头注意网络来聚合提议的所有特征。未来特征是使用观察特征和提议特征生成的。提议特征以观察特征作为Query，提议特征作为 Key 和 Value。

注意机制，而不是平均或求和，有助于未来特征采取更重要的未来机动，同时也保留其他机动。然后，将每个智体的观察特征和未来特征连接成聚合特征，可以解释为既考虑可观察的历史信息（例如过去的轨迹）又考虑了未来信息的特征。作为输入信号，其馈送到交互网络和预测头生成最终预测输出。

损失函数定义：

其中

后两个是回归项，每个都包括Winner-Takes-All（WTA）损失和作者定义的车道损失（Lane Loss）。

WTA损失是克服如下ME（mixture-of-experts）损失存在的mode collapse问题

WTA损失根据真值轨迹和预测轨迹之间位置欧氏距离来选择获胜者，而不是对所有模态的所有距离损失求和。最后仅根据距离函数计算所选模态（获胜者）的损失：

因为 WTA 损失只更新一种模态，所以它受真值轨迹分布的影响很大。因此，使用 WTA 损失和不平衡数据集所训练的模型，其性能是有限的，特别是要生成多样化的输出，这对于安全运动规划至关重要。然而，要使 WTA 损失能正常工作，真值轨迹应该很好地分布在各种机动中（例如，转弯或直行）。

这里引入Lane Loss，用车道级地图信息为数据集中未显示的模态提供伪真值。尽管在每种情况下只有一个观察到的真值，但预测结果应该能够涵盖与真实机动不相符的其他机动。换言之，为了在不确定的未来安全驾驶，不应该忽略小部分出现的情况。

尽管有几种方法在损失函数中使用地图数据，但都专注于通过惩罚可驾驶区域之外的输出来提高可行性，而不是提高多样性以覆盖足够多的未来可能机动。例如，假设一个模型输出六个完全相同的未来轨迹，并且完全符合位于可驾驶区域的车道中心线，但都够不多样化，不适合多模态的预测。

车道损失（Lane Loss）计算预测轨迹与可行参考车道候选的距离误差，鼓励多样化的预测。这些可能的参考车道直接从地图数据中获取。与 WTA 损失类似，车道损失根据与一个候选车道和所预测轨迹的欧氏距离，为每个参考车道候选选择获胜者。

在 Arogoverse API 中，有一个用于获取候选车道的函数。然而，来自该函数的候选车道有不同的长度，与给定的过去轨迹或真值无关。因此，将这些候选车道处理成参考车道轨迹，用于损失函数。

参考车道的处理如下：1）起点：找到当前位置最近点（过去轨迹的最后一点）；2）终点：根据恒速行驶距离在候选车道上找到最近点；3）根据车道候选在起点和终点之间进行插值。

然后，计算每个参考车道的损失（参考车道的数量设置为 3，符合大多数情况）。回归损失是场景中所有智体的 WTA 损失和车道损失之和的平均值：

如下图是计算回归损失的伪代码：

采用最小平均/最终位移误差 (minADE/minFDE) 作为多模态评估指标：

尽管这些指标被广泛用于运动预测任务，但 minADE 和 minFDE 仅依赖于真值机动误差，而忽略了其他可能的机动。因此，不可能公平地评估多输出的多样性。因此，除了 minADE/minFDE 之外，还需要一个可以评估多预测的多样性指标。

最小车道FDE (minLaneFDE)，根据地图数据捕获多输出的多样性数量和质量，特别是参考车道的中心线。它专注于覆盖未来可能机动的多样性。minLaneFDE 表示可能的候选车道中心线（采用Argoverse map API 获取候选车道）和每个多预测轨迹之间的横向位移误差最小值。

换句话说，minLaneFDE 评估来自每个候选车道最接近的预测误差。（因此，即使多个轨迹多样，如果都不在参考车道周围，minLaneFDE 也会增加。）minLaneFDE 可以评估多条轨迹覆盖地图上可能车道的程度：

实验结果如下：

如图所示：上部是LaneGCN 的结果，模型的baseline，可见难以从给定的历史信息中推断出未来机动，LaneGCN 无法预测目标轨迹和返回所有多个相似的轨迹；中部是本文模型的轨迹提议的预测结果，不同的轨迹，即使不准确，也不是只代表直线前进；底部是本文模型的最终预测结果，可以预测准确和多样化的多个未来轨迹。

如图所示：即使 LaneGCN 的预测结果涵盖了真实机动，也缺乏多样性输出 (e)，输出发散，有不可行的轨迹存在 (f)，或者包含错误的多样性（g）。相比之下，本文模型预测了准确、可行但多样化的结果。