基于深度学习的车辆轨迹预测研究综述

刘 凯, 汪佳琴, 李汉涛

(北京航空航天大学 电子信息工程学院,北京 100191)

摘 要:车辆轨迹预测(VTP)是交通技术领域中的重要研究对象。传统VTP方法需要大量特征工程,且难以实时适应复杂变化的环境。深度学习(DL)通过多层神经网络实现高效数据表达,克服了传统方法的局限性。对基于DL的VTP方法进行了综述,探讨了其在VTP中的应用及性能表现。首先,回顾了传统VTP方法和基于DL的VTP方法,介绍了VTP主要考虑的问题和问题的表述;其次,分析并比较了各类VTP方案,包括输入数据、输出结果和预测方法;再次,介绍了常用的评估指标,比较了这些VTP方案的实验结果,分析了VTP的应用,并展示了DL在VTP中表现出的优异性能;最后,展望了VTP未来在数据集、建模和计算效率方面的研究方向,指出车辆交互协同建模、模型的泛化以及多模态融合将是未来的挑战和研究方向。

关键词:车辆轨迹预测; 深度学习; 序列网络; 图神经网络; 生成模型; 网格方法

车辆轨迹预测(vehicle trajectory prediction, VTP)对交通管理具有重要意义。传统VTP方法主要基于统计学或浅层机器学习方法。例如,Ju等[1]利用位置数据构建多层卡尔曼滤波来估计车辆的运动情况;Liu等[2]利用XGBoost处理轨迹数据来预测车辆的加速度。这些传统方法需要手动提取特征,并且难以适应实时性和复杂多变的环境。

基于深度学习(deep learning, DL)的VTP方法能够有效解决上述存在的问题。例如,Wang等[3]利用门限循环单元(gated recurrent unit, GRU)学习轨迹信息,利用卷积神经网络(convolutional neural network, CNN)学习环境信息,并利用长短期记忆网络(long and short-term memory network, LSTM)输出轨迹;Katariya等[4]提出的DL方法能够预测车辆轨迹。

目前,已有文献对VTP研究进行了综述分析,其中,Gulzar等[5]从建模方法和模型输出方面对车辆的运动预测进行了分析阐述;Hu等[6]对车辆行为预测进行了分析。在上述研究的基础上,本文对基于DL的VTP方法进行了全面系统的综述。首先,本研究详细讨论了VTP中输入数据、输出结果和预测模型;其次,介绍了常用的评估指标,比较了当前部分研究的性能结果,并介绍了VTP的应用;最后,概括了VTP未来研究方向。

1 VTP主要考虑问题和问题表述

1.1 VTP主要考虑问题

(1)轨迹数量问题。在实际交通场景中,车辆短期内可能有多种行驶轨迹,仅输出一条轨迹可能会遗漏实际轨迹,而输出所有轨迹则可能导致误报。

(2)车辆与周围环境的交互。车辆行为受道路拓扑、交通信号和限速等周围环境影响。

(3)车辆之间的交互。车辆之间的交互是影响轨迹预测的重要因素,包括车间距离、相对速度、车道变换和超车行为。

(4)处理不确定性。由于VTP存在传感器误差和道路状况等不确定性,例如,传感器数据中的误差会影响预测精度,因此,需要合适的方法处理。

1.2 VTP问题表述

基于DL的VTP可以用Y=H(X)来表示这个过程。不同的是输入数据X、预测方法H和输出结果Y。输入数据是进行VTP的基础,可以分为4类,即轨迹数据、地理信息、交通信息和其他数据。轨迹数据直接反映了车辆的运动状态;地理信息有助于模型理解车辆运动的环境约束;交通信息对于在高密度交通环境下预测车辆行为尤为重要;其他数据如天气和车辆类型数据侧面反映车辆行驶中的位置变化。

随着输入数据类型的增多,不同的预测方法也逐渐丰富,主要分为4类,即序列网络、图神经网络(graph neural network, GNN)、生成模型和网格方法。序列网络能有效处理序列数据,捕捉时间特征;GNN能够捕获车辆间的相互影响;生成模型能生成多种可能的轨迹;网格方法通过将地理信息编码成网格形式,再利用DL提取空间特征。

VTP的目标是预测车辆的未来轨迹,即输出结果,可以分为4类,即数值预测、概率分布预测、意图预测和单元格预测。数值预测能够提供车辆未来的具体位置和速度信息;概率分布预测则描述了未来位置的不确定性;意图预测旨在推断驾驶者的潜在目标和行为计划;单元格预测通过对预测区域进行网格划分,预测车辆可能占据的具体网格。

2 VTP输入数据和输出结果

2.1 输入数据

常用VTP数据集包括交通领域和自动驾驶领域开源数据集。交通领域开源数据集包括下一代仿真(next generation simulation, NGSIM)数据集[7]和HighD数据集[8]。自动驾驶领域开源数据集包括nuScenes和Lyft数据集。本文将从轨迹数据、地理信息、交通信息和其他数据4方面介绍VTP的输入数据。

2.1.1 轨迹数据

传统VTP方法仅利用车辆的位置和速度等数据进行预测[9],这些数据称为轨迹数据,如图1(a)所示。Zhao等[10]、Sheng等[7]使用模型对车辆的历史位置信息进行编码。

图1 输入数据示意图
Figure 1 Schematic diagram of input data

速度决定了车辆轨迹在空间中的变化快慢,因此,Woo等[11]、Dai等[12]加入位置和速度数据预测车辆轨迹;除了速度外,加速度也影响车辆轨迹的曲线和时间,因此,Chen等[13]、Feng等[14]从位置、速度和加速度等数据中提取特征作为模型输入;同样,朝向决定了车辆运动的方向,因此,Choi等[15]在文献[13-14]输入数据基础上增加朝向作为输入,以此提高预测准确性。

2.1.2 地理信息

车辆周围的地理信息能够提供车辆位置和道路状况等空间数据,从而辅助轨迹数据提高VTP的精度。通常,地理信息包括道路形状和车道等信息,如图1(b)所示。车道信息提供了车辆可行驶区域和车道规则的重要指示,因此,Chen等[16]、Jo等[17]在轨迹数据基础上增加了交通场景中的车道信息来预测轨迹。

除了车道信息,道路信息对VTP也至关重要,它能够帮助车辆选择合适的行驶路径,并适应道路的限制。因此,Liu等[8]、Berntorp等[18]引入了道路信息研究VTP,综合考虑所有车辆的轨迹数据以及道路形状和车道等信息。同样,人行道信息对VTP具有关键影响,它涉及行人活动和通行规则等情况,有助于预测安全性。因此,Messaoud等[19]、Cui等[20]在文献[8,18]输入数据基础上增加了人行道信息。

2.1.3 交通信息

在利用轨迹数据和地理信息研究VTP时,常忽略交通环境的影响。实际上,考虑这些因素能显著提高预测的时长和精度。车辆必须遵守交通规则,如图1(c)所示,交通信号灯和交通流等因素显著影响车辆位置变化。在历史数据研究车辆基本行驶规则的基础上,Zhou等[21]引入交通信息进行车辆速度预测。与文献[21]类似,Zhang等[22]在地理信息基础上引入交通信号表示车辆的行驶状态。

Lin等[23]利用车辆位置和交通密度数据分析高速公路中不同的车辆所占用的空间权重,然后预测车辆轨迹。在上述VTP研究中,只考虑了一种交通信息,而Wang等[3]则充分考虑了多种交通信息以全面描述交通环境,例如交通标志、交通信号灯和交通规则,并利用车辆之间的交互来预测车辆轨迹。

2.1.4 其他数据

由于车辆受到各种因素的影响,使得车辆轨迹的特征与常规运动对象的特征不同,因此,除了上述使用较为广泛的数据外,有些研究还利用其他数据如天气用于VTP,如图1(d)所示。在文献[24]中,模型将晴天和雨天编码为不同的特征。此外,由于不同类型的车辆具有不同的加速能力,因此可以将编码后的车辆类型特征输入到模型中进行预测。Altché等[25]、Chen等[26]通过引入车辆类型信息进行了相关研究。Chen等[26]提出的时空动态注意力网络(spatial-temporal dynamic attention network,STDAN)处理车辆的位置和车辆类型等数据,并从这些数据中提取时空特征进行预测。

2.1.5 输入数据总结

表1总结了现有研究中的输入数据。由于表1中的输入数据是递进的关系,因此在介绍每个文献的基本数据时,上一类数据仅用数据类型进行描述。在表1中,每一类输入数据由一篇文献的实验结果来代表该类输入数据的性能。以文献[7]为例,Sheng等[7]使用图卷积网络(graph convolutional network, GCN)处理NGSIM,均方根误差RMSE在第1~5 s的结果为0.33~3.23 m。

表1 现有研究中输入数据总结
Table 1 Summary of input data in existing research

输入数据定义应用优缺点文献基本特征数据集模型RMSE/m轨迹数据表示车辆中的数据车辆轨迹的直接表示优点:直接反映了车辆运行的轨迹信息缺点:缺少对周围环境的考虑地理信息车辆行驶中周围的地理信息车辆位置与周围地理环境密切相关优点:可以提供车辆所处环境的地理信息缺点:处理地理信息需要大量资源和时间交通信息车辆行驶中周围的交通信息车辆位置与实时的交通信息高度相关优点:可以反映车辆所处路段的拥堵情况和流量等信息缺点:不能全面反映车辆的状态,获取和处理困难其他数据车辆行驶中其他信息辅助其他数据更好地预测优点:提供准确的轨迹预测缺点:没有直接表示车辆轨迹[7]位置NGSIMGCN1~5 s:0.33~3.23[12]位置NGSIMLSTM1~5 s:0.49~3.34[14]位置、速度、加速度NGSIMCVAE1~5 s:0.54~4.03[15]位置、速度、加速度、朝向自收集LSTM0.5~2 s:0.21~2.11[17]轨迹数据、车道信息NGSIMLSTM、GCN1~5 s:0.61~2.66[8]轨迹数据、道路信息、车道HighDCVAE1~5 s:0.09~0.35[19]轨迹数据、道路信息、车道、人行道信息nuScenesLSTM、CNN、AM[21]轨迹数据、交通信号NGSIM[22]轨迹数据、地理信息、交通信号LyftGAT、CNN[23]轨迹数据、交通密度NGSIMLSTM、AM0.2~1 s:0.09~0.56[3]轨迹数据、交通标志、交通信号、交通规则nuScenesGRU、CNN、AM、LSTM1~5 s:0.67~3.57[24]轨迹数据、天气NGSIMLSTM、AM1~5 s:0.57~4.13[26]轨迹数据、车辆类型NGSIMLSTM1~5 s:0.42~3.67

由表1中VTP输入数据可以得出以下3点结论:①一项研究方案中,可以采取不同类型的数据,而轨迹数据几乎是VTP都会采用的输入数据;②由于每类输入数据都有优缺点,因此,考虑场景中的各类型信息能更好地预测轨迹;③针对输入数据的多样性,大部分方案都采用混合模型,例如用LSTM处理轨迹数据,用CNN处理图像数据。

2.2 输出结果

2.2.1 数值预测

数值预测直接输出车辆具体的数值,例如车辆位置、速度和加速度,图2为输出结果示意图,图2(a)显示了车辆历史轨迹和预测轨迹路径。数值预测研究可以分为3类。

图2 输出结果示意图
Figure 2 Schematic diagram of output results

(1)车辆坐标预测。Katariya等[4]采用序列网络处理轨迹数据预测目标车辆位置;Liu等[18]使用条件变分自动编码器(conditional variational autoencoders, CVAE)处理轨迹数据和地理信息来预测位置。

(2)车辆速度预测。Feng等[14]利用CVAE处理轨迹数据来预测车辆速度;Zhou等[21]根据车辆是否进入交叉口状态来预测车辆速度。

(3)加速度预测。Chen等[16]利用动态网格方法处理轨迹数据和地理信息来预测车辆加速度。

2.2.2 概率分布预测

预测轨迹的概率分布可以更准确地描述车辆行为并提高预测精度,包括以下两种类型:

(1)目标车辆轨迹概率分布。Chen等[16]采用序列网络来预测目标车辆高斯分布的均值和方差,如图2(b)所示。与文献[26]输出结果不同,文献[27]则有多种预测结果,不仅利用LSTM模型预测车辆的驾驶行为,而且预测车辆未来的概率分布。

(2)所有车辆轨迹概率分布。Sheng等[7]采用基于图的时空卷积网络(graph-based spatial-temporal convolutional network, GSTCN)处理轨迹数据生成所有车辆的轨迹分布。与Sheng等[7]不同,Jo等[17]则是采用系统模型处理轨迹数据和地理信息来预测所有车辆在不同方向上的多模态轨迹分布。

2.2.3 意图预测

(1)车道类别预测。图2(c)中白色车辆的黑线显示了车辆行驶中可能存在的车道变化。Chen等[16]利用动态网格方法预测车辆的车道类别,即车道保持、左变道和右变道;与Chen等[16]研究不同,Woo等[11]则只预测车道变换和车道保持两个类别。

(2)车辆行为预测。图2(c)黑色车辆的虚线表示在交叉口场景中车辆行为的预测研究。Wu等[27]利用预测模型处理轨迹数据和交通信息来预测车辆直行、左转和右转行为;Wang等[28]利用序列网络处理轨迹数据和地理信息来预测车辆的左转、右转和直行行为。

2.2.4 单元格预测

除上述输出外,还有一种特殊输出,即预测车辆未来占用的单元格。单元格预测包含以下两种形式。

(1)单元格类别。模型预测车辆位于哪个单元格,单元格的数量即分类的总数,如图2(d)所示,P1,P2,…,P12表示每个单元格的概率。在文献[15]的网格方法中,模型事先在车辆周围划分了一系列网格,然后从构建的网格中选择一个单元格作为输出。

(2)单元格坐标。模型直接输出由单元格表示的车辆轨迹数值。Kim等[29]提出的基于LSTM的静态网格方法中,模型首先构建网格,然后预测车辆占用的单元格坐标和概率。

2.2.5 输出结果总结

表2总结了现有研究中的输出结果。

表2 现有研究中输出结果总结
Table 2 Summary of output results in existing research

输出结果定义应用优点缺点文献对应文献介绍输入数据预测方法RMSE/m数值预测直接预测车辆未来时间的某个数值为车辆未来时间提供更精确的位置信息提供了对车辆未来位置和行为的具体数值估计缺乏对不确定性的处理,成本高、复杂度高概率分布预测预测车辆轨迹的概率分布不能直接预测车辆位置,对位置做出大致预测反映车辆运动状态,对不确定性有一定的处理能力需要更多存储空间,增加成本意图预测预测车辆行为,例如转向行为仅提供车辆高级别行为可以预测车辆驾驶员的意图需要大量样本,不能预测车辆位置单元格预测 预测车辆占用的单元格将预测区域划分为多个单元格提供新的VTP输出类型,提供精细化空间信息预测精度受单元格大小的限制[4]车辆轨迹轨迹数据序列网络:TCN-LSTM1~5 s:0.47~3.89[14]速度轨迹数据生成模型:CVAE1~5 s:0.54~4.03[16]加速度轨迹数据、地理信息网格方法:动态网格1~5 s:0.43~3.96[26]目标车辆概率分布轨迹数据、其他数据序列网络:STDAN1~5 s:0.42~3.67[7]所有车辆概率分布轨迹数据图神经网络:GSTCN1~5 s:0.44~2.98[16]车道类别轨迹数据、地理信息网格方法:动态网格1~5 s:0.43~3.96[27]车辆行为轨迹数据、交通信息序列网络1~3 s:0.77~2.19[15]单元格类别 轨迹数据网格方法:动态网格0.5~2.0 s:0.21~2.11[29]单元格数值 轨迹数据网格方法:静态网格

每一类输出结果由一篇文献的实验结果来代表该类输出结果的性能。通过观察表2中的VTP输出结果,可以得出下述4点结论:

(1)数值预测能够提供准确的车辆未来行为信息,为车辆提供基于位置的最佳未来服务。

(2)概率分布预测可以看作是数值预测的扩展输出结果,它通过预测概率分布来反映车辆的运动状态和行为规律。但是,概率分布需要更多的存储空间来存储概率分布的信息,且涉及的计算更复杂。

(3)意图预测仅能提供对车辆行为的高级理解。由于其输出是行为类别,因此需要大量数据来训练模型,且车辆行为标签需要涵盖各种行为。

(4)单元格预测是VTP中的一种新型输出类型。单元格预测的范围受到预先构建网格的范围限制。如果超出网格范围,则会降低预测准确性。为了提高预测的准确性,可以增加单元格数量或缩小每个单元格,但会增加成本和计算量。

3 VTP预测方法

3.1 序列网络

基于DL的轨迹预测序列网络主要包括LSTM、CNN和融合注意力机制(attention mechanism, AM)的编码器-解码器。

3.1.1 LSTM

在VTP研究中,LSTM能够捕捉车辆的时序模式并生成轨迹预测。Altché等[25]首先对轨迹数据进行处理,然后用处理后的数据训练LSTM。Xing等[30]提出了一种基于LSTM的联合时间序列建模(joint time series modeling, JTSM)方法预测车辆轨迹。

Altché等[25]、Xing等[30]均只采用了一种LSTM;而Dai等[12]则采用两种LSTM预测轨迹,提出了基于时空长短期记忆网络(spatial-temporal LSTM, ST-LSTM)区分轨迹段时空关系的方法。第一种LSTM对每辆车的时间规律建模以生成预测序列;第二种LSTM对车辆的空间影响建模以生成校正序列。

3.1.2 CNN

在VTP研究中,CNN通过层级结构能够处理轨迹数据以高效地提取空间特征,因此,在VTP中通常使用CNN处理图像数据。Cui等[20]提出一种基于CNN的多模态轨迹方法预测车辆的未来状态。

CNN经常结合LSTM作为系统模型来预测车辆轨迹。Katariya等[4]利用时间卷积网络(temporal convolutional network, TCN)编码车辆的轨迹数据,然后采用LSTM处理编码特征来研究VTP。

3.1.3 融合AM的编码器-解码器

AM是DL中的一种机制,主要与编码器-解码器框架结合使用。融合AM的编码器-解码器架构如图3所示,其中,编码器提取输入数据的特征,解码器根据这些特征生成输出数据。

图3 融合AM的编码器-解码器架构
Figure 3 Encoder-decoder architecture with AM

在VTP研究中,AM经常结合其他模型来预测轨迹,例如,Wang等[3]首先采用基于AM的GRU编码器学习所有车辆的历史轨迹信息;其次,利用基于AM的CNN学习环境信息;最后,利用LSTM编码器-解码器输出未来轨迹。

3.1.4 序列网络方法小结

由于LSTM擅长处理时间依赖关系,所以LSTM是VTP方法中最主要的DL模型之一,然而,LSTM无法很好地解释空间关系。CNN能够使用卷积操作提取局部空间特征,使用池化层减少特征维度来提高计算效率,但其时间相关性建模能力较弱。融合AM的编码器-解码器通过赋予特征不同的权重,使得模型能够聚焦于关键轨迹片段。AM通过使用多头注意力机制可以提高模型的表达能力,但计算复杂度较高。

3.2 GNN

基于DL的轨迹预测图模型包括GCN、图注意力网络(graph attention network, GAT)、时空图神经网络(spatial-temporal graph neural network, ST-GNN)和图卷积递归神经网络(graph convolutional recurrent neural network, GCRN)。

在基于CNN的VTP研究中,CNN无法表示节点和边这种图关系型数据,而GNN能解决这种图数据的表示问题。GNN模型架构如图4所示,GNN能够使所有车辆之间的信息可以共享。在VTP研究中,GNN可以有效地表示和处理道路网络和车辆之间的交互。Zhou等[31]利用基于空间注意力机制的GNN捕捉空间交互关系,采用基于时间注意力机制的GNN捕捉时间运动模式,然后利用CNN预测轨迹。

图4 GNN模型架构
Figure 4 GNN model architecture

3.2.1 GCN

将卷积操作应用到图结构的GNN定义为GCN。在VTP研究中,GCN通过卷积操作聚合目标车辆和周围车辆的信息来捕捉车辆之间的依赖关系。Sheng等[7]提出GSTCN预测车辆轨迹,GCN利用加权邻接矩阵描述车辆间影响的强度。Jo等[17]提出一种分层图神经网络(hierarchical graph neural network, HGNN)预测车辆轨迹,第一层网络输出基于机动的车辆多模态轨迹,第二层网络基于第一层网络输出车辆的单模态轨迹。

3.2.2 GAT

将注意力机制应用到图结构的GNN定义为GAT。在VTP研究中,GAT能够自适应地学习场景中车辆之间的交互关系,从而增强模型的泛化能力。Zhang等[22]使用CNN从轨迹数据、交通信号和车道等信息提取空间特征,利用GAT预测移动对象的轨迹。Mo等[32]设计一种新的异构边缘增强GAT来模拟不同车辆之间的交互。

3.2.3 ST-GNN

ST-GNN是一种结合空间和时间的GNN,其中空间模块用于处理图结构中的空间关系,时间模块用于捕捉时间序列中的时间依赖性。Gui等[33]提出了一种结合ST-GCN和LSTM的混合模型来预测轨迹。该模型使用ST-GCN捕获车辆间的复杂空间依赖关系,随后通过LSTM来预测车辆轨迹。Li等[34]在编码器中采用ST-GAT模型有效捕获了每个时间步骤中周围不同车辆的相对重要性。

3.2.4 GCRN

GCRN是一种将GCN与循环神经网络(recurrent neural network, RNN)结合起来的模型。在VTP研究中,GCRN通过GCN捕捉车辆之间的相互关系,并通过RNN建立模型来研究车辆轨迹的时间依赖性。Singh等[35]采用GCRN处理轨迹数据提取时空特征,并通过LSTM处理这些特征以预测轨迹。同样地,Mo等[36]也采用GCRN处理轨迹数据提取车辆的时序特征和车辆间的相互作用,这些特征随后输入LSTM解码器以生成轨迹的预测结果。

3.2.5 GNN方法小结

GNN通过捕捉图结构数据中节点之间的关系,能够有效建立车辆交互模型。GCN通过卷积操作在图结构上提取特征并聚合邻居节点信息。与GNN和GCN相比,GAT能够更好地捕捉关键交互信息。STGNN通过在图结构上同时编码空间关系和时间动态来全面捕捉数据的时空特性。GCRNN通过GCN和RNN的结合,既能分析图中各节点的空间关系,也能处理时间上的动态变化。

3.3 生成模型

基于DL的轨迹预测生成模型主要包括生成对抗网络(generative adversarial network, GAN)、自动编码器(auto-encoders, AE)和Diffusion。

3.3.1 GAN

GAN通过生成器和判别器的对抗学习,能够生成高度代表性的特征表示。在VTP研究中,GAN可以用于生成逼真的轨迹数据,从而增强数据的多样性和丰富性。Li等[37]利用动态集成的GAN处理车辆的位置和速度数据,以优化VTP任务。Hegde等[38]使用GAN处理车辆的位置和速度等数据来学习车辆的复杂行为。

上述研究仅利用GAN处理轨迹数据,但未考虑车辆间的相互作用。相比之下,Roy等[39]使用GAN处理历史路径来预测多个未来轨迹,并通过池化层来模拟车辆间的交互。Guo等[40]利用地图增强的GAN方法提高VTP的预测准确性,在生成器中,该方法全面考虑了车辆的运动特性和车辆间相互作用。

3.3.2 AE

在VTP研究中,AE可以用于特征降维和数据去噪,从而提取关键的轨迹特征并改善预测效果。变分自动编码器(variational auto-encoders, VAE)是一种基于AE扩展的网络,广泛地用于生成图像。Neumeier等[41]使用编码器分析每辆车的轨迹信息,并通过解码器预测轨迹。CVAE也是基于AE扩展的网络,它可以处理多模态条件分布情况。例如,Feng等[14]使用CVAE构建预测模型,并引入了驾驶员潜在意图的估计来生成具有可解释性的多模态轨迹预测结果。

3.3.3 Diffusion

Diffusion是一种基于扩散过程的生成模型,在VTP研究中,通过在图的节点和边上施加扩散过程,Diffusion能够描述车辆在交通网络中随时间传播其位置和速度的状态。Li等[42]采用Diffusion进行前向扩散和反向去噪处理;Li等[43]使用目标车道评估器生成轨迹,再通过Diffusion优化生成的轨迹以提高预测性能。

上述研究在利用Diffusion处理轨迹数据时,未充分考虑轨迹数据中的动态特性,因此,Tang等[44]首先采用局部Diffusion捕捉随机不确定性,然后利用图Diffusion模型从历史轨迹信息中捕捉动态特性。Westny等[45]采用Diffusion捕捉车辆与环境间的相互作用。

3.3.4 生成模型方法小结

GAN通过对抗训练可以生成更加复杂的轨迹数据,但训练时间长且需要大量计算资源;AE能够更好地保留原始数据的细节,它通过编码器-解码器的结构进行数据压缩和重建,但是只能处理静态图像,无法应对随时间变化的动态数据;Diffusion通过其独特的扩散过程能够稳定地处理图结构数据。

3.4 网格方法

近年来,在交通区域划分多个网格的VTP方法越来越流行。每个小网格称为一个单元格,车辆的位置被聚合到相应的单元格中,将这种预测方法定义为网格方法。图5(b)是对应图5(a)车辆位置的网格示意图。网格方法可以分为两种类型,即动态网格方法和静态网格方法。

图5 网格方法示意图
Figure 5 Schematic diagram of grid method

3.4.1 动态网格方法

动态网格方法是以车辆实际相对位置构建空间网格。例如,Chen等[16]、Yu等[24]是在目标车辆周围的区域定义空间网格。Chen等[16]提出一种基于多损失函数的混合条件自动编码器生成对抗网络(conditional auto encoder generative adversarial network, CAE-GAN)来预测车辆轨迹,在目标车辆周围定义了一个13×13空间网格;Yu等[24]提出了一个动态和静态上下文感知注意网络(dynamic and static context-aware attention network, DSCAN)预测轨迹,首先采用LSTM从所有车辆轨迹中提取特征,然后利用AM处理特征信息来预测车辆轨迹。

3.4.2 静态网格方法

静态网格方法是在车辆的行驶区域内划分网格,Kim等[29]、Hajrasouliha等[46]则采用了这种网格方法。其中,Kim等[29]先将高速公路区域设置成36×21网格,单元格大概覆盖1/4车道,然后采用LSTM预测车辆占用网格的概率。

3.4.3 网格方法小结

网格方法保留了交通场景中的道路结构且模拟了所有车辆的实际相对位置。由于模型的输出是基于构建的网格,所以预测结果会受到网格范围的限制。网格方法在低密度交通场景下得到的是稀疏特征矩阵,这会增加成本和模型运算时间。此外,在网格方法研究中,采用了多种类型的模型,这导致模型变得更加复杂。虽然网格方法可能会提高模型性能,但同时也会增加模型的成本和时间。

3.5 预测方法总结

表3总结了现有研究中的VTP预测方法,每一类预测方法由一篇文献的实验结果来代表该类预测方法的性能。

表3 现有研究中的VTP预测方法总结
Table 3 Summary of VTP prediction methods in existing research

预测方法定义应用优点缺点文献对应文献介绍文献模型方法RMSE/m序列网络图神经网络 生成模型LSTM长短期记忆网络适合处理时间序列数据具有较好的时序建模能力无法解释空间关系[12]LSTM:处理时序数据ST-LSTM1~5 s:0.49~3.34CNN卷积神经网络适合处理图像分类问题有效提取图像的局部特征无法捕捉全局的空间关系[4]CNN:处理图像数据TCN-LSTM1~5 s:0.47~3.89AM模仿认知注意力的技术适合处理文本摘要等问题自适应性强,可结合多模态信息需要大量计算资源[3]AM:融合AM的编码器-解码器F-Net1~5 s:0.67~3.57GCNGATST-GNNGCRN邻居特征加权聚合用于节点分类、图表示等任务用于节点分类、图表示等任务易于在中小规模图中部署难捕捉长距离依赖和动态图注意力加权聚合邻居用于推荐系统、社交网络建模自适应建模邻居节点重要性计算开销大,不易扩展融合图与时间建模用于交通预测、环境监测等同时建模空间和时间依赖性结构复杂,计算成本高图卷积加循环结构用于交通流、轨迹预测等时序图数据联合建模空间与时间特征训练慢,易出现梯度问题[17]GCN:利用卷积操作提取空间特征HGNN1~5 s:0.61~2.66[22]GAT:利用注意力机制分配节点权重CNN-GAT[34]ST-GNN:提取时空特征ST-GAT[36]GCRN:GCN与RNN相结合GCN-RNN1~5 s:0.54~3.67GAN生成对抗网络适合图像、语音等数据生成任务生成逼真样本训练过程不稳定,需要大量计算资源[38]GAN:对抗学习的生成模型GAN-LSTMAE自动编码器适合数据压缩和异常检测等问题有助于数据压缩和重建在编码过程中可能会出现信息丢失[14]AE:预测轨迹CVAE1~5 s:0.54~4.03Diffusion扩散模型适合处理包含时空依赖关系的数据稳定地处理图结构数据计算复杂度高[44]Diffusion:模拟信息在图结构中的传播来捕捉复杂的图结构信息Diffusion网格方法在车辆周围构建网格道路规范情况下构建网格保留道路结构,模拟车辆位置预测范围受网格范围的限制[16] 动态网格:以车辆相对位置构建网格CAE-GAN[29]静态网格:在车辆的行驶区域构建网格LSTM

以文献[12]为例,Dai等[12]使用ST-LSTM处理轨迹数据预测车辆轨迹,RMSE在第1~5 s的结果是从0.49~3.34 m。由表3中预测方法可以得出以下4点结论:①基于DL的VTP有多种预测方法,可分为序列网络、GNN、生成模型和网格方法4类,每种预测方法都有优缺点;②在预测方法中,序列网络中的LSTM是使用最广泛的神经网络之一;③输入数据有多种类型时,可以考虑不同神经网络的组合;④这4类预测方法之间并不是完全的独立关系,某些方法是在前面方法基础上扩展的。例如网格方法并不仅是构建网格,还采用LSTM或CNN处理车辆数据提取特征。

3.6 VTP研究总结

本文从4类输入数据、4类输出结果和4类预测方法这3方面介绍近几年的VTP解决方案。图6用不同线型的线表示这3部分的关系。

图6 VTP研究总结
Figure 6 Research summary of VTP

(1)4类输入数据。轨迹数据和地理信息是VTP方法中常用数据。虽然其他两种类型的数据只能作为几种预测方法的输入数据,但是是在文中所列举的文献基础上得出的,未来可能这些数据可以用于其他预测方法的输入。

(2)4类预测方法。从输入数据角度分析,序列网络的输入数据可以是任意一种类型。GNN擅长处理图结构数据,其图边可以用轨迹数据中的位置或者车距表示,因此,其输入数据可以是轨迹数据,也可以是表示空间的地理信息和交通信息。从输出结果角度分析,每种预测方法都不能输出4种预测结果,例如,由于网格方法的特殊性,该方法能输出数值预测和单元格预测两种输出类型。

(3) 4类输出结果。数值预测可以是每种预测方法的输出结果,而单元格预测仅是网格方法的输出结果。同样地,图6所示的结果是在文中所列举的文献基础上得出的,未来可能会有其他的研究方法输出不同类型的预测结果。

4 VTP结果比较

4.1 评估指标

分类指标作为评价标准,用于衡量分类研究的准确性和可靠性。在VTP的输出结果中,意图预测和第一类单元格预测属于分类研究。准确率是最常用的分类性能指标,通常准确率越高,模型效果越好。然而,在样本不平衡时,仅依赖准确率是不可靠的,例如,在交叉口场景中,转弯车辆样本多于直行车辆样本,这会导致在样本不均衡情况下准确率依然很高。因此,现有研究还使用精确率、召回率和F-值作为评估指标。

回归指标为回归研究提供客观的性能评估依据。在VTP的输出结果中,数值预测、概率分布预测和第二类单元格预测属于回归研究。RMSE在大部分VTP中被用作评估指标,但是,RMSE也存在局限性。它只能代表模型的平均性能,导致模型最佳和最差的预测结果可能会被覆盖,因此,部分VTP研究还采用平均位移误差和终点位移误差作为评估指标。例如,Katariya等[4]采用RMSE、平均位移误差和终点位移误差来评估DL算法预测车辆轨迹的性能。

4.2 实验结果比较

本研究分析了现有VTP方法的实验结果。为了公平比较,所比较的VTP方法均使用NGSIM数据集,并使用RMSE进行评估。本文列举了6篇文献的研究结果,如表4所示。为了更详细地比较每种研究方案,表4还包括每个文献的输入数据、预测方法和输出结果等内容。下面从3方面分析表4。

表4 部分VTP方法的比较
Table 4 Comparison of selected VTP methods

文献年份输入数据考虑交互情况预测方法输出结果RMSE/m1 s2 s3 s4 s5 s[25]2017轨迹数据、其他数据9辆车交互序列网络:LSTM概率分布0.731.783.134.786.68[24]2021轨迹数据、地理信息、其他数据目标车辆周围区域的车辆动态网格方法:DSCAN概率分布0.581.262.032.924.13[16]2022轨迹数据、地理信息目标车辆周围区域的车辆动态网格方法:CAE-GAN加速度0.431.071.832.773.96[30]2019轨迹数据两辆车交互序列网络: JTSM位置0.571.382.213.033.79[7]2022轨迹数据交通区域内车辆GCN、GSTCN概率分布0.440.831.332.012.98[17]2021轨迹数据、地理信息交通区域内车辆GCN、HGNN概率分布0.611.141.622.12.66

(1)这6种VTP方法均采用了LSTM模型,说明LSTM在VTP中被广泛使用,这是因为LSTM在捕捉长期依赖关系上表现出了优越的性能。例如,Xing等[30]利用LSTM处理轨迹数据提取车辆随时间变化的特征。在这些VTP方法中,LSTM处理车辆历史轨迹中的时序特征,从而提升预测的准确性。

(2)车辆之间的交互信息对于提高预测的准确性至关重要。例如,Chen等[16]结合GAN模拟目标车辆周围区域的复杂交互行为。Sheng等[7]利用CNN捕捉交通区域的局部交互信息。这些方法通过不同的技术手段有效地对交通区域中车辆间的交互进行建模,从而在不同的应用场景中均取得了优异的预测性能。

(3)有些VTP方法短期预测表现很好,但是长期预测结果却不佳。例如,由于Sheng等[7]采用CNN有效捕捉了局部时空特征,因此其在短期预测上表现优异。然而,缺乏对长期时序依赖性的建模,导致长期预测效果较差。Chen等[16]研究中GAN训练的不稳定性导致长期预测效果不佳。Jo等[17]根据不同时间的车辆距离来构建GCN,可以更准确地捕捉车辆间的交互,这种方法使得模型在长期预测中表现出色。

5 应用分析

5.1 LLM在VTP中的应用

5.1.1 LLM介绍

LLM是基于大量数据进行预训练的超大型DL模型。其底层架构采用转换器,该架构由具有注意力机制的编码器和解码器组成。目前,有以下几个具有代表性的LLM。①GPT。GPT由OpenAI团队开发,GPT系列是目前最著名的大语言模型之一,该系列的模型通过预训练和微调的方式,可以生成高质量的文本。②BERT。BERT是Google开发的另一个重要的大语言模型,它在自然语言处理任务中取得了很大的成功,可以理解上下文,并且可以进行下游任务的微调。③ERNIE。ERNIE是百度推出的LLM,通过从大规模数据中融合学习来得到预训练的大模型,并采用有监督精调、人类反馈强化学习和提示等技术,具备知识增强、检索增强和对话增强的技术优势。

5.1.2 LLM在VTP中的应用

LLM为VTP提供了新的方法和思路,在VTP中,LLM的应用包括以下几个方面:

(1)多模态融合。LLM能够处理文本、图像和时间序列等多种数据。Omama等[47]采用LLM处理地图、交通报告和LiDAR信息,以预测车辆未来的姿态信息。然而,多模态融合面临一些挑战,如不同数据源的格式各异,以及需要对不同时间戳的数据进行对齐,以确保数据的一致性。

(2)复杂模式识别。LLM通过自注意力机制,能够识别轨迹中的依赖关系,从而捕捉复杂的时空模式。Peng等[48]利用LLM处理车辆的状态信息来提取复杂的空间互动信息,然后使用预测模块处理这些信息来输出车辆变道意图和轨迹。

(3)预训练与微调。LLM通过在数据集上进行预训练,学习到丰富的特征表示。其微调过程包括3个步骤:首先,利用预训练模型生成时空特征;其次,设置预训练模型中微调层和训练参数;最后,通过损失函数进行优化。Lan等[49]采用预训练的LLM来捕获空间互动信息,再利用解码模块预测车辆轨迹。

(4)生成式模型。作为生成式模型,LLM能够预测车辆可能遵循的多种轨迹路径。Li等[50]利用GPT生成多样化的轨迹,然后采用循环操作优化生成的轨迹。然而,生成式模型也面临一些挑战,例如,LLM生成多种轨迹的计算复杂度较高,需要更多的计算资源和优化策略来提升效率。

5.2 DL模型在VTP中的应用

(1)Waymo自动驾驶系统使用DL技术进行VTP来提升系统的安全性和可靠性,它通过摄像头和雷达等传感器收集环境数据,利用DL模型预测车辆轨迹,从而实现准确的路径规划和避障操作。

(2)Tesla自动驾驶系统采用DL技术进行VTP研究。它使用多模态数据融合技术,将摄像头、雷达和超声波传感器的数据结合起来,利用CNN进行物体检测和环境感知,采用基于RNN和LSTM模型进行VTP并结合多模态数据进行分析。

(3)NVIDIA的DRIVE平台利用DL技术进行对象检测和分类,采用并行计算的LSTM和GCN进行实时轨迹预测。在该平台中,DL模型被部署在高性能计算硬件上,能够在复杂的交通环境中实时处理和预测轨迹,确保自动驾驶系统的高效运行。

6 未来研究方向

6.1 基础挑战和研究方向

(1)数据集的多样性和真实性。当前VTP数据集存在明显不足的问题,并且数据采集过程中可能存在数据噪声,未来研究应构建更为多样化和真实的数据集。

(2)不确定性建模。VTP研究中存在多种不确定因素,如传感器噪声和驾驶员行为等。未来研究应重视不确定性建模,量化和表达预测中的不确定性因素。结合强化学习和博弈论方法,可以在复杂环境中有效进行不确定性建模,从而提升VTP的可靠性。

(3)计算效率。实时VTP需要在极短时间内完成预测,而现有模型通常需要大量计算资源和时间,难以满足实时性要求。未来研究应聚焦于提升模型的计算效率,可以通过模型压缩技术和利用硬件加速技术进一步提升计算效率。

6.2 高级挑战和研究方向

(1)车辆交互协同。车辆间的相互作用对VTP的准确性有很大的影响[51],因此,需要加强对车辆交互协同的建模,重点探索如何有效捕捉和利用车辆之间的交互信息来提高VTP预测性能。

(2)模型的泛化能力。DL模型在特定数据集上表现优异,但在不同场景的泛化能力仍然有限,因此,提升模型的泛化能力是未来的重要研究方向,可通过集成学习方法来增强模型的泛化能力。

(3)多模态融合技术的应用。VTP研究不仅依赖轨迹数据,还需要结合其他模态的信息。然而,多模态数据融合存在技术挑战,不同模态数据的时间同步、空间对齐和信息融合需要高效算法支持。因此,未来需要研究高效的多模态数据融合算法。

7 结语

本文对基于DL的VTP方法进行了广泛深入的探究:输入数据提供了模型进行预测所需的基本信息;输出结果能够提供车辆未来行为的不同层次的预测;预测方法适用于不同类型的数据和问题。目前,基于DL的VTP方法通过使用多样化的输入数据、选择合适的预测方法以及生成多样化的输出结果展现出卓越的性能。然而,当前基于DL的VTP方法仍然面临一些挑战,例如缺乏有效的多模态数据融合技术,研究人员需要更加综合地考虑实时交通场景中各类数据的特征,建立更为全面和完备的VTP模型。

参考文献:

[1] JU C, WANG Z, LONG C, et al. Interaction-aware Kalman neural networks for trajectory prediction[C]∥2020 IEEE Intelligent Vehicles Symposium. Piscataway:IEEE, 2020: 1793-1800.

[2] LIU P F, FAN W. Extreme gradient boosting (XGBoost) model for vehicle trajectory prediction in connected and autonomous vehicle environment[J]. Promet-Traffic &Transportation, 2021, 33(5): 767-774.

[3] WANG J, WANG P, ZHANG C, et al. F-Net: fusion neural network for vehicle trajectory prediction in autonomous driving[C]∥2021 IEEE International Conference on Acoustics, Speech and Signal Processing. Piscataway:IEEE, 2021: 4095-4099.

[4] KATARIYA V, BAHARANI M, MORRIS N, et al. DeepTrack: lightweight deep learning for vehicle trajectory prediction in highways[J]. IEEE Transactions on Intelligent Transportation Systems, 2022, 23(10): 18927-18936.

[5] GULZAR M, MUHAMMAD Y, MUHAMMAD N. A survey on motion prediction of pedestrians and vehicles for autonomous driving[J]. IEEE Access, 2021, 9: 137957-137969.

[6] HU X H, ZHENG M. Research progress and prospects of vehicle driving behavior prediction[J]. World Electric Vehicle Journal, 2021, 12(2): 88.

[7] SHENG Z H, XU Y W, XUE S B, et al. Graph-based spatial-temporal convolutional network for vehicle trajectory prediction in autonomous driving[J]. IEEE Transactions on Intelligent Transportation Systems, 2022, 23(10): 17654-17665.

[8] LIU X L, WANG Y F, JIANG K, et al. Interactive trajectory prediction using a driving risk map-integrated deep learning method for surrounding vehicles on highways[J]. IEEE Transactions on Intelligent Transportation Systems, 2022, 23(10): 19076-19087.

[9] 张三川, 马啸. 基于轨迹加权预测的主动避撞安全距离模型及算法[J]. 郑州大学学报(工学版), 2022, 43(3): 104-110.
ZHANG S C, MA X. A safe distance model and algorithm for active collision avoidance based on weighted prediction of trajectory[J]. Journal of Zhengzhou University (Engineering Science), 2022, 43(3): 104-110.

[10] ZHAO Z Y, FANG H W, JIN Z, et al. GISNet: graph-based information sharing network for vehicle trajectory prediction[C]∥2020 International Joint Conference on Neural Networks. Piscataway:IEEE, 2020: 1-7.

[11] WOO H, JI Y, KONO H, et al. Lane-change detection based on vehicle-trajectory prediction[J]. IEEE Robotics and Automation Letters, 2017, 2(2): 1109-1116.

[12] DAI S Z, LI Z H, LI L, et al. A flexible and explainable vehicle motion prediction and inference framework combining semi-supervised AOG and ST-LSTM[J]. IEEE Transactions on Intelligent Transportation Systems, 2022, 23(2): 840-860.

[13] CHEN J N, WANG Y, WU R H, et al. Spatial-temporal graph neural network for interaction-aware vehicle trajectory prediction[C]∥2021 IEEE 17th International Conference on Automation Science and Engineering. Piscataway: IEEE, 2021: 2119-2125.

[14] FENG X D, CEN Z P, HU J M, et al. Vehicle trajectory prediction using intention-based conditional variational autoencoder[C]∥2019 IEEE Intelligent Transportation Systems Conference. Piscataway: IEEE, 2019: 3514-3519.

[15] CHOI D, YIM J, BAEK M, et al. Machine learning-based vehicle trajectory prediction using V2V communications and on-board sensors[J]. Electronics, 2021, 10(4): 420.

[16] CHEN L, ZHOU Q Y, CAI Y F, et al. CAE-GAN: a hybrid model for vehicle trajectory prediction[J]. IET Intelligent Transport Systems, 2022, 16(12): 1682-1696.

[17] JO E, SUNWOO M, LEE M. Vehicle trajectory prediction using hierarchical graph neural network for considering interaction among multimodal maneuvers[J]. Sensors, 2021, 21(16): 5354.

[18] BERNTORP K, HOANG T, DI CAIRANO S. Motion planning of autonomous road vehicles by particle filtering[J]. IEEE Transactions on Intelligent Vehicles, 2019, 4(2): 197-210.

[19] MESSAOUD K, DEO N, TRIVEDI M M, et al. Trajectory prediction for autonomous driving based on multi-head attention with joint agent-map representation[C]∥2021 IEEE Intelligent Vehicles Symposium. Piscataway: IEEE, 2021: 165-170.

[20] CUI H G, RADOSAVLJEVIC V, CHOU F C, et al. Multimodal trajectory predictions for autonomous driving using deep convolutional networks[C]∥2019 International Conference on Robotics and Automation. Piscataway: IEEE, 2019: 2090-2096.

[21] ZHOU W, YANG L, YING T X, et al. Velocity prediction of intelligent and connected vehicles for a traffic light distance on the urban road[J]. IEEE Transactions on Intelligent Transportation Systems, 2019, 20(11): 4119-4133.

[22] ZHANG K P, FENG X L, WU L, et al. Trajectory prediction for autonomous driving using spatial-temporal graph attention transformer[J]. IEEE Transactions on Intelligent Transportation Systems, 2022, 23(11): 22343-22353.

[23] LIN L, LI W Z, BI H K, et al. Vehicle trajectory prediction using LSTMs with spatial-temporal attention mechanisms[J]. IEEE Intelligent Transportation Systems Magazine, 2022, 14(2): 197-208.

[24] YU J, ZHOU M, WANG X, et al. A dynamic and static context-aware attention network for trajectory prediction[J]. ISPRS International Journal of Geo-Information, 2021, 10(5): 336.

[25] ALTCHÉ F, DE LA FORTELLE A. An LSTM network for highway trajectory prediction[C]∥2017 IEEE 20th International Conference on Intelligent Transportation Systems. Piscataway:IEEE, 2017: 353-359.

[26] CHEN X B, ZHANG H J, ZHAO F, et al. Intention-aware vehicle trajectory prediction based on spatial-temporal dynamic attention network for Internet of vehicles[J]. IEEE Transactions on Intelligent Transportation Systems, 2022, 23(10): 19471-19483.

[27] WU J B, CHEN X H, BIE Y M, et al. A co-evolutionary lane-changing trajectory planning method for automated vehicles based on the instantaneous risk identification[J]. Accident Analysis &Prevention, 2023, 180: 106907.

[28] WANG J Q, WANG S C. Geographical information enhanced recognition of traffic modes and behavior patterns[J]. IEEE Transactions on Intelligent Transportation Systems, 2022, 23(4): 3777-3782.

[29] KIM B, KANG C M, KIM J, et al. Probabilistic vehicle trajectory prediction over occupancy grid map via recurrent neural network[C]∥2017 IEEE 20th International Conference on Intelligent Transportation Systems. Piscataway: IEEE, 2017: 399-404.

[30] XING Y, LV C, CAO D P. Personalized vehicle trajectory prediction based on joint time-series modeling for connected vehicles[J]. IEEE Transactions on Vehicular Technology, 2020, 69(2): 1341-1352.

[31] ZHOU H, REN D C, XIA H X, et al. AST-GNN: an attention-based spatio-temporal graph neural network for interaction-aware pedestrian trajectory prediction[J]. Neurocomputing, 2021, 445: 298-308.

[32] MO X Y, HUANG Z Y, XING Y, et al. Multi-agent trajectory prediction with heterogeneous edge-enhanced graph attention network[J]. IEEE Transactions on Intelligent Transportation Systems, 2022, 23(7): 9554-9567.

[33] GUI Z M, WANG X, LI W Z. Dynamic perception-based vehicle trajectory prediction using a memory-enhanced spatio-temporal graph network[J]. ISPRS International Journal of Geo-Information, 2024, 13(6): 172.

[34] LI J C, MA H B, ZHANG Z H, et al. Spatio-temporal graph dual-attention network for multi-agent prediction and tracking[J]. IEEE Transactions on Intelligent Transportation Systems, 2022, 23(8): 10556-10569.

[35] SINGH D, SRIVASTAVA R. Graph neural network with RNNs based trajectory prediction of dynamic agents for autonomous vehicle[J]. Applied Intelligence, 2022, 52(11): 12801-12816.

[36] MO X Y, XING Y, LV C. Graph and recurrent neural network-based vehicle trajectory prediction for highway driving[C]∥2021 IEEE International Intelligent Transportation Systems Conference. Piscataway:IEEE, 2021: 1934-1939.

[37] LI X, ROSMAN G, GILITSCHENSKI I, et al. Vehicle trajectory prediction using generative adversarial network with temporal logic syntax tree features[J]. IEEE Robotics and Automation Letters, 2021, 6(2): 3459-3466.

[38] HEGDE C, DASH S, AGARWAL P. Vehicle trajectory prediction using GAN[C]∥2020 Fourth International Conference on I-SMAC (IoT in Social, Mobile, Analytics and Cloud). Piscataway: IEEE, 2020: 502-507.

[39] ROY D, ISHIZAKA T, MOHAN C K, et al. Vehicle trajectory prediction at intersections using interaction based generative adversarial networks[C]∥2019 IEEE Intelligent Transportation Systems Conference. Piscataway: IEEE, 2019: 2318-2323.

[40] GUO H Y, MENG Q Y, ZHAO X M, et al. Map-enhanced generative adversarial trajectory prediction method for automated vehicles[J]. Information Sciences, 2023, 622: 1033-1049.

[41] NEUMEIER M, BOTSCH M, TOLLKÜHN A, et al. Variational autoencoder-based vehicle trajectory prediction with an interpretable latent space[C]∥2021 IEEE International Intelligent Transportation Systems Conference. Piscataway:IEEE, 2021: 820-827.

[42] LI C N, FENG G W, LI Y N, et al. DiffTAD: denoising diffusion probabilistic models for vehicle trajectory anomaly detection[J]. Knowledge-Based Systems, 2024, 286: 111387.

[43] LI Z Y, LIANG H W, WANG H Q, et al. A multi-modal vehicle trajectory prediction framework via conditional diffusion model: a coarse-to-fine approach[J]. Knowledge-Based Systems, 2023, 280: 110990.

[44] TANG Y J, HE H W, WANG Y. Hierarchical vector transformer vehicle trajectories prediction with diffusion convolutional neural networks[J]. Neurocomputing, 2024, 580: 127526.

[45] WESTNY T, OLOFSSON B, FRISK E. Diffusion-based environment-aware trajectory prediction [EB/OL]. (2024-03-18)[2024-09-03].https:∥doi.org/10.48550/arXiv.2403.11643.

[46] HAJRASOULIHA A, GHAHFAROKHI B S. Dynamic geo-based resource selection in LTE-V2V communications using vehicle trajectory prediction[J]. Computer Communications, 2021, 177: 239-254.

[47] OMAMA M, INANI P, PAUL P, et al. ALT-Pilot: autonomous navigation with language augmented topometric maps [EB/OL]. (2023-10-03)[2024-09-03].https:∥doi.org/10.48550/arXiv.2310.02324.

[48] PENG M X, GUO X S, CHEN X D, et al. LC-LLM: explainable lane-change intention and trajectory predictions with large language models [EB/OL]. (2024-03-27)[2024-09-03]. http:∥arxiv.org/abs/2403.18344.

[49] LAN Z X, LI H B, LIU L S, et al. Traj-LLM: a new exploration for empowering trajectory prediction with pre-trained large language models [EB/OL]. (2024-05-08)[2024-09-03].https:∥doi.org/10.48550/arXiv.2405.04909.

[50] LI X, LIU E L, SHEN T Y, et al. ChatGPT-based scenario engineer: a new framework on scenario generation for trajectory prediction[J]. IEEE Transactions on Intelligent Vehicles, 2024, 9(3): 4422-4431.

[51] 崔建明, 蔺繁荣, 张迪, 等. 基于有向图的强化学习自动驾驶轨迹预测[J]. 郑州大学学报(工学版), 2023, 44(5): 53-61.
CUI J M, LIN F R, ZHANG D, et al. Reinforcement learning autonomous driving trajectory prediction based on directed graph[J]. Journal of Zhengzhou University (Engineering Science), 2023, 44(5): 53-61.

A Review of Vehicle Trajectory Prediction Based on Deep Learning

LIU Kai, WANG Jiaqin, LI Hantao

(School of Electronics and Information Engineering, Beihang University, Beijing 100191, China)

AbstractVehicle trajectory prediction (VTP) was a significant research subject in the transportation technology field. Traditional VTP methods require extensive feature engineering and struggle to adapt to complex and dynamic environments in real-time. Deep learning (DL) overcomes the limitations of traditional methods by achieving efficient data representation through multi-layer neural networks. Therefore, in this study a comprehensive review of DL-based VTP methods was carried out to explore their applications and performance in VTP. Firstly, the traditional VTP and DL-based VTP methods were explored, and the main consideration problems and problem formulations in VTP were introduced. Secondly, various VTP schemes, including input data, output results and prediction methods were analyzed and compared. Subsequently, commonly used evaluation metrics was introduced, and the experimental results of these VTP approaches were compared, the applications of VTP were analyzed, and the superior performance of DL in VTP were demonstrated. Finally, future research directions of VTP are discussed in terms of datasets, modeling approaches, and computational efficiency. It identifies that vehicle interaction collaborative modeling, model generalization, and multimodal fusion would constitute the primary challenges and research frontiers in the field.

Keywordsvehicle trajectory prediction; deep learning; sequential network; graph neural network; generative model; grid method

中图分类号:TP181;TP391

文献标志码:A

doi:10.13705/j.issn.1671-6833.2025.02.006

收稿日期:2024-10-27;修订日期:2024-12-28

基金项目:国家自然科学基金资助项目(U2233216; U2033215)

作者简介:刘凯(1973—),男,北京航空航天大学教授,博士,博士生导师,主要从事空间信息网络、车联网等研究,E-mail:liuk@buaa.edu.cn。

引用本文:刘凯,汪佳琴,李汉涛. 基于深度学习的车辆轨迹预测研究综述[J]. 郑州大学学报(工学版),2025,46(5):77-89. (LIU K, WANG J Q, LI H T. A review of vehicle trajectory prediction based on deep learning[J]. Journal of Zhengzhou University (Engineering Science), 2025,46(5):77-89.)

文章编号:1671-6833(2025)05-0077-13