摘要： 矢量高精地圖能為決策規(guī)劃、軌跡預測、環(huán)境感知提供重要的高層級語義信息，是自動駕駛系統(tǒng)中不可或缺的部分。地平線聯(lián)合華中科技大學Vision Lab提出基于結(jié)構(gòu)化建模的矢量高精地圖實時在線構(gòu)建方法——MapTR。MapTR僅依靠車載環(huán)視相機數(shù)據(jù)，輸出自車周圍各類地圖要素的結(jié)構(gòu)化表示，能夠?qū)崿F(xiàn)實時的高質(zhì)量的在線地圖構(gòu)建。MapTR展現(xiàn)了在線建圖方案的潛力，具有很高的應用價值，有助于推動自動駕駛技術(shù)的發(fā)展。

晴天&陰天

?

雨天

夜晚

藍色-pedestrian crossing，黃色-lane divider，綠色-road boundary

圖1 MapTR在多樣而復雜的駕駛場景中都能穩(wěn)定地構(gòu)建高質(zhì)量的矢量地圖

背景

矢量高精地圖（vectorized high-definition map）是應用于自動駕駛的高精度結(jié)構(gòu)化電子地圖，其由駕駛場景各類地圖要素（如人行橫道、車道線、路沿等）的矢量化表示構(gòu)成，為決策規(guī)劃、軌跡預測、環(huán)境感知提供重要的高層級語義信息。

以往的高精地圖通常以離線的方式構(gòu)建，即利用地圖采集車的車載傳感器（激光雷達、相機、慣導等）采集場景數(shù)據(jù)，并通過自動化和人工相結(jié)合的方式對數(shù)據(jù)進行處理和矢量化語義標注。離線建圖的主要挑戰(zhàn)在于：1）采集、處理和標注都需要大量的人力和時間成本，且流程繁瑣；2）道路信息動態(tài)變化，離線構(gòu)建的地圖時效性差，需要高頻更新來保證地圖的準確性；3）考慮到信息安全，離線地圖無法覆蓋到保密要求高的區(qū)域；4）當拓展到大規(guī)模大范圍的高精地圖應用時，離線建圖在人力、時間和維護成本上的問題將更加凸顯。

在線建圖是指在自動駕駛車輛行駛過程中利用車載傳感器實時地感知自車周圍的地圖要素并生成地圖。在線建圖無需人工處理、標注和維護，相比離線建圖，成本低，可拓展性強，易用性強。然而，目前的在線建圖方法在建圖質(zhì)量和建圖速度兩方面都難以達到自動駕駛實際應用的要求。高質(zhì)量高效率在線建圖成為了業(yè)界亟待解決的技術(shù)難題。

針對這一問題，地平線聯(lián)合華中科技大學Vision Lab提出了基于結(jié)構(gòu)化建模的矢量高精地圖實時在線構(gòu)建方法——MapTR。MapTR通過對地圖要素的結(jié)構(gòu)化建模消除表示上的歧義性，降低地圖要素的復雜度和學習難度，并且采用端到端的結(jié)構(gòu)化框架高效地生成矢量高精地圖。MapTR在nuScenes數(shù)據(jù)集上達到了最好的建圖質(zhì)量和實時的運行速度。豐富的可視化結(jié)果表明（如圖一），MapTR在多樣而復雜的駕駛場景中都能穩(wěn)定地構(gòu)建高質(zhì)量的矢量地圖。MapTR展現(xiàn)了在線建圖方案的潛力，具有很高的應用價值和落地前景，有助于推動自動駕駛技術(shù)的發(fā)展。

地圖要素結(jié)構(gòu)化建模

圖二? 地圖要素結(jié)構(gòu)化建模 ? MapTR提出了新穎的結(jié)構(gòu)化建模方式?；趲缀蜗闰灒琈apTR將開環(huán)地圖要素（如車道線）離散化為polyline（多段線），將閉環(huán)地圖要素（如人行橫道）離散化為polygon（多邊形）。Polyline和polygon都可以用以某種順序排列的若干節(jié)點統(tǒng)一地表示。通過等間隔采樣可以確定節(jié)點，但節(jié)點的排列方式難以明確定義和表示，同一拓撲結(jié)構(gòu)可以對應于多種等效的節(jié)點排列方式。? 具體而言，對于polyline，如圖二（左），存在2種等效的節(jié)點排列方式，對應于兩種相反的連接節(jié)點的順序。對于polygon，如圖二（右），存在??種等效的節(jié)點排列方式（??為節(jié)點數(shù)量），任一節(jié)點都可以作為起始點，且存在兩種相反的連接順序。為了消除表示上的歧義性且準確地描述節(jié)點之間的排列方式（連接關(guān)系），MapTR引入等效排列集合的概念，所有等效的節(jié)點排列方式構(gòu)成的集合作為等效排列集合。 ? MapTR將地圖要素統(tǒng)一地建模為節(jié)點點集??和關(guān)于節(jié)點的等效排列集合??，節(jié)點點集??用于描述地圖要素關(guān)鍵點的位置信息，等效排列集合??包含了節(jié)點之間所有的等效的連接關(guān)系， 用于描述地圖要素的拓撲結(jié)構(gòu)。節(jié)點點集和等效排列集合??構(gòu)成了地圖要素的結(jié)構(gòu)化表示??。

端到端訓練

在結(jié)構(gòu)化建模的基礎(chǔ)上，MapTR采用了基于DETR[1]的set prediction的方式進行端到端訓練。MapTR引入分層級匹配機制進行標簽分配，即實例級匹配（instance-level matching）和節(jié)點級匹配（point-level matching）。 實例級匹配：在預測的地圖要素和真實的地圖要素之間找到最優(yōu)的一一對應關(guān)系，匹配的依據(jù)為地圖要素之間的類別相關(guān)性和位置相關(guān)性：

? 節(jié)點級匹配：對于每一個地圖要素，從等效排列集合中找到最優(yōu)的排列，使得預測的節(jié)點和真實的節(jié)點一一對應且點對之間的距離之和最?。?

損失函數(shù)：根據(jù)分層級匹配的結(jié)果，損失函數(shù)由classification loss，point2point loss和edge direction loss組成：

Classification loss根據(jù)實例級匹配的結(jié)果對地圖要素的類別預測進行約束：

Point2point loss根據(jù)節(jié)點級匹配的結(jié)果，對匹配的點對之間的位置關(guān)系進行約束：

Edge direction loss對預測的edge和真實的edge的方向一致性進行約束：

結(jié)構(gòu)化建圖框架

在結(jié)構(gòu)化建模的基礎(chǔ)上，MapTR采用了結(jié)構(gòu)化框架端到端地輸出場景內(nèi)所有地圖要素的結(jié)構(gòu)化表示，無需后處理。圖三為MapTR的整體框架。MapTR以車載相機組實時采集的圖像數(shù)據(jù)作為輸入。Map Encoder對原始圖像提取語義特征，并通過2D-to-BEV變換方法（如GKT[2]、IPM[3]、Deformable Attention[4]、LSS[5]），將2D特征圖轉(zhuǎn)換為統(tǒng)一的BEV（bird’s eye view）特征圖。Map Decoder采用了分層級的query embedding機制結(jié)構(gòu)化地編碼地圖要素的信息。分層級query和BEV特征圖進行交互，并且 query之間進行實例內(nèi)和實例間的交互。分層級query迭代地更新，最終輸出地圖要素的語義類別和節(jié)點位置。

圖三 結(jié)構(gòu)化建圖框架

實驗

圖四展示了在nuScenes數(shù)據(jù)集上MapTR與其他在線建圖方法（HDMapNet[1]和VectorMapNet[2]）的對比，MapTR在建圖速度和建圖質(zhì)量兩方面都有明顯的優(yōu)勢。MapTR-nano達到了實時的推理速度（25.1FPS），8倍快于其他視覺方法，并且建圖質(zhì)量更高（+3.3mAP）。MapTR-tiny達到了遠好于多模態(tài)方法的建圖質(zhì)量（+13.5mAP）并且仍有3倍的速度優(yōu)勢。

圖四 與其他在線建圖方法的對比

圖五是關(guān)于建模方式的消融實驗。相比于把地圖要素建模為排列固定且唯一的序列點集，基于等效排列概念的結(jié)構(gòu)化建模極大地簡化了地圖要素的學習難度，并且顯著提高了建圖質(zhì)量。

圖五 關(guān)于建模方式的消融實驗 圖六是關(guān)于2D-to-BEV變換方法的消融實驗。MapTR能夠兼容各種2D-to-BEV變換方法，并且基于多種方法都能取得穩(wěn)定的建圖速度和質(zhì)量。

圖六 關(guān)于2D-to-BEV變換方法的消融實驗