導(dǎo)讀：

本文提出了一種動(dòng)態(tài)軌跡預(yù)測(cè)方法，通過結(jié)合歷史幀和歷史預(yù)測(cè)結(jié)果來提高預(yù)測(cè)的穩(wěn)定性和準(zhǔn)確性。它引入了歷史預(yù)測(cè)注意力模塊，以編碼連續(xù)預(yù)測(cè)之間的動(dòng)態(tài)關(guān)系，并通過三重因子注意力模塊實(shí)現(xiàn)了最先進(jìn)的性能。本方法能夠生成準(zhǔn)確且穩(wěn)定的未來軌跡，這對(duì)于自動(dòng)駕駛系統(tǒng)落地至關(guān)重要。??【深藍(lán)AI】編譯

01本文概要

在自動(dòng)駕駛中，精確預(yù)測(cè)道路智能體的未來軌跡至關(guān)重要?，F(xiàn)有的方法主要采用了一種靜態(tài)的范式：通過固定長(zhǎng)度的歷史幀來預(yù)測(cè)未來的軌跡。然而，這些方法在相鄰時(shí)間戳中獨(dú)立進(jìn)行預(yù)測(cè)，可能會(huì)引起預(yù)測(cè)的不穩(wěn)定性和不一致性。考慮到連續(xù)時(shí)間戳中的歷史軌跡大量重疊，預(yù)測(cè)結(jié)果應(yīng)當(dāng)展現(xiàn)出內(nèi)在的相關(guān)性，例如，重疊的預(yù)測(cè)軌跡應(yīng)保持一致，或者在不同的情況下，根據(jù)道路狀況共享相同的運(yùn)動(dòng)目標(biāo)。

基于這些考慮，作者提出了HPNet——一種創(chuàng)新的動(dòng)態(tài)軌跡預(yù)測(cè)方法。為了確保軌跡預(yù)測(cè)的穩(wěn)定性和準(zhǔn)確性，我們的方法不僅利用了包括地圖和智能體狀態(tài)的歷史幀，還考慮了歷史預(yù)測(cè)結(jié)果。具體來說，我們?cè)O(shè)計(jì)了一個(gè)全新的歷史預(yù)測(cè)注意力模塊，用于自動(dòng)捕捉連續(xù)預(yù)測(cè)之間的動(dòng)態(tài)關(guān)系。此外，該模塊通過利用歷史預(yù)測(cè)，擴(kuò)大了注意力的范圍，使其超越了當(dāng)前可見的窗口。

作者提出的歷史預(yù)測(cè)注意力，結(jié)合智能體注意力和模式注意力，被整合為三重因子注意力模塊，構(gòu)成了HPNet的核心架構(gòu)。在Argoverse和INTERACTION數(shù)據(jù)集上的實(shí)驗(yàn)驗(yàn)證了HPNet的先進(jìn)性能，證明其能夠生成準(zhǔn)確且穩(wěn)定的未來軌跡預(yù)測(cè)。

▲圖1｜之前方法和作者的方法之間的差異。之前的方法(上方)將軌跡預(yù)測(cè)視為靜態(tài)任務(wù)，基于固定長(zhǎng)度的歷史幀預(yù)測(cè)未來軌跡。它們即使在相鄰時(shí)間戳也獨(dú)立地進(jìn)行預(yù)測(cè)，盡管輸入數(shù)據(jù)存在大量重疊。相反，HPNet(下方)將軌跡預(yù)測(cè)視為動(dòng)態(tài)任務(wù)。它不僅利用歷史幀，還使用歷史預(yù)測(cè)嵌入來進(jìn)行預(yù)測(cè)軌跡。??【深藍(lán)AI】編譯

02方法

本文提出的HPNet如下圖所示。本模型由三部分組成：時(shí)空上下文編碼、三重因子注意力和多模態(tài)輸出。首先，智能體和車道的時(shí)空特征與可學(xué)習(xí)的模式查詢聚合，以生成可以初步預(yù)測(cè)未來軌跡的預(yù)測(cè)嵌入。然后，進(jìn)行三重因子注意力處理，包括智能體注意力、歷史預(yù)測(cè)注意力和模式注意力，以精煉預(yù)測(cè)嵌入。其中，智能體注意力模擬智能體之間的互動(dòng)，模式注意力模擬不同模式（即不同預(yù)測(cè)路徑）之間的互動(dòng)，而歷史預(yù)測(cè)注意力是我們提出的一個(gè)新模塊，用于動(dòng)態(tài)地模擬當(dāng)前和歷史預(yù)測(cè)之間的內(nèi)在關(guān)聯(lián)。最后，通過多層感知器（MLP）解碼預(yù)測(cè)嵌入，以獲得預(yù)測(cè)軌跡，這些軌跡再次輸入整個(gè)流程，以提高未來預(yù)測(cè)的精確度。

▲圖2｜HPNet的概覽??【深藍(lán)AI】編譯

■2.1 時(shí)空上下文編碼模塊

●智能體特征編碼：將每個(gè)智能體在每個(gè)時(shí)間戳的位置、運(yùn)動(dòng)狀態(tài)、語義屬性等信息，通過兩個(gè)多層感知機(jī)（MLP）編碼成智能體節(jié)點(diǎn)嵌入。同時(shí)利用相對(duì)坐標(biāo)系提取運(yùn)動(dòng)方向等信息。

●道路特征編碼：將道路段的位置、長(zhǎng)度、屬性等信息，也通過兩個(gè)多層感知機(jī)（MLP）編碼成道路節(jié)點(diǎn)嵌入。此外，構(gòu)建道路節(jié)點(diǎn)之間的連接關(guān)系，如相鄰、前驅(qū)、后繼等。

●時(shí)空注意力：采用時(shí)間注意力和空間注意力兩個(gè)并行模塊。時(shí)間注意力用于聚合智能體的歷史時(shí)序信息，而空間注意力用于建模智能體與道路之間的交互。將這兩種注意力的結(jié)果相加，得到初始預(yù)測(cè)嵌入。

■2.2 三重因子注意力模塊

●智能體注意力：對(duì)每個(gè)時(shí)間戳和預(yù)測(cè)模式下的智能體節(jié)點(diǎn)，進(jìn)行自注意力計(jì)算，以建模智能體間的相互影響。一方面，智能體注意力模型模擬了智能體在各自的時(shí)空上下文中的相互作用。另一方面，它也可以被視為不同智能體未來軌跡之間的相互作用，從而減少潛在的碰撞風(fēng)險(xiǎn)。

●歷史預(yù)測(cè)注意力：通過使用當(dāng)前預(yù)測(cè)嵌入與之前一段時(shí)間的所有預(yù)測(cè)嵌入進(jìn)行注意力計(jì)算，從而建模當(dāng)前預(yù)測(cè)與歷史預(yù)測(cè)之間的動(dòng)態(tài)關(guān)系。這不僅提高了預(yù)測(cè)的穩(wěn)定性和準(zhǔn)確性，還擴(kuò)大了注意力的范圍。而且歷史預(yù)測(cè)注意力模塊不需要額外的訓(xùn)練時(shí)間和推理開銷，僅通過注意力機(jī)制建模歷史預(yù)測(cè)信息。因此能夠在不增加復(fù)雜度的情況下提升模型性能。

●模式注意力：在前兩個(gè)注意力機(jī)制的基礎(chǔ)上，對(duì)不同預(yù)測(cè)模式之間進(jìn)行自注意力建模，進(jìn)一步增強(qiáng)多模態(tài)輸出的表達(dá)能力。它通過建模不同預(yù)測(cè)軌跡之間的相互影響，增強(qiáng)了模型對(duì)未來不確定性的理解能力，從而產(chǎn)生更加穩(wěn)定可靠的預(yù)測(cè)結(jié)果。

■2.3 多模態(tài)輸出模塊

經(jīng)過三重注意力機(jī)制優(yōu)化的預(yù)測(cè)嵌入，將通過多層感知機(jī)（MLP）解碼為多模態(tài)的未來軌跡。因?yàn)樵谧詣?dòng)駕駛等應(yīng)用場(chǎng)景中，智能體未來的行為存在很大不確定性，通過輸出多個(gè)可能的未來軌跡，而不是單一的預(yù)測(cè)，可以更好地反映這種未來不確定性。

03結(jié)構(gòu)展示

作者在Argoverse和INTERACTION數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，展示了其在動(dòng)態(tài)軌跡預(yù)測(cè)方面的先進(jìn)性能。

▲表1｜與最先進(jìn)方法在Argoverse測(cè)試集上的性能比較，其中b-minFDE是官方排名指標(biāo)。對(duì)于每個(gè)指標(biāo)，最佳結(jié)果以粗體顯示，次佳結(jié)果下劃線。??【深藍(lán)AI】編譯

▲表2｜與最先進(jìn)方法在INTERACTION測(cè)試集上的性能比較。對(duì)于每個(gè)指標(biāo)，最佳結(jié)果以粗體顯示，次佳結(jié)果下劃線。??【深藍(lán)AI】編譯

▲表3｜三重因子注意力的消融實(shí)驗(yàn)。實(shí)驗(yàn)在Argoverse驗(yàn)證集上進(jìn)行。??【深藍(lán)AI】編譯

▲圖3｜作者的HPNet和沒有歷史預(yù)測(cè)注意力的基線在Argoverse驗(yàn)證集上的預(yù)測(cè)準(zhǔn)確性（b-minFDE↓）和穩(wěn)定性（累計(jì)ADE↓）的比較。??【深藍(lán)AI】編譯

▲圖4｜(a) 基線(b) HPNet。在Argoverse驗(yàn)證集上的定性結(jié)果。車道、歷史軌跡、ground truth軌跡和六個(gè)預(yù)測(cè)軌跡分別用灰色、綠色、紅色和藍(lán)色表示。??【深藍(lán)AI】編譯

▲圖5｜HPNet(下)和基線(上)的預(yù)測(cè)結(jié)果??【深藍(lán)AI】編譯

04總結(jié)

作者提出了一種新穎的動(dòng)態(tài)軌跡預(yù)測(cè)方法——HPNet。設(shè)計(jì)了一個(gè)歷史預(yù)測(cè)注意力模塊，用于模擬連續(xù)預(yù)測(cè)之間的動(dòng)態(tài)關(guān)系。它采用歷史預(yù)測(cè)嵌入來指導(dǎo)當(dāng)前預(yù)測(cè)，使得預(yù)測(cè)軌跡更加準(zhǔn)確和穩(wěn)定。在Argoverse和INTERACTION數(shù)據(jù)集上的實(shí)驗(yàn)表明，作者提出的HPNet實(shí)現(xiàn)了最先進(jìn)的性能，并且還證明了歷史預(yù)測(cè)注意力模塊可以有效提高模型的準(zhǔn)確性和穩(wěn)定性。