黑芝麻智能的科研團(tuán)隊(duì)在最新公開(kāi)的論文中提出兩點(diǎn)創(chuàng)新：一是建立了一種更加準(zhǔn)確和合理的基于柵格化的“矢量化高精地圖構(gòu)建”的評(píng)價(jià)指標(biāo)；二是推出了 MapVR，一個(gè)受益于柵格化視角的更精準(zhǔn)的“矢量化高精地圖構(gòu)建”的框架。

引言

在自動(dòng)駕駛領(lǐng)域，BEV感知能為自動(dòng)駕駛感知任務(wù)提供有效的時(shí)空表征方法，將成為車(chē)載感知的主流發(fā)展方向，能在多樣而復(fù)雜的駕駛場(chǎng)景中都能穩(wěn)定地構(gòu)建高質(zhì)量的矢量化高精地圖（vectorized HD map），對(duì)于BEV感知能力的提升至關(guān)重要。它能為環(huán)境感知提供重要的高層級(jí)語(yǔ)義信息。然而，現(xiàn)有的矢量化高精地圖構(gòu)建方法往往存在一些偏差，現(xiàn)有的評(píng)估指標(biāo)對(duì)于這些偏差的敏感度卻不足。這在對(duì)精度要求極高的自動(dòng)駕駛場(chǎng)景中，可能帶來(lái)安全隱患。因此，我們需要更有效的地圖矢量化方法和更敏感的評(píng)估指標(biāo)，以提高地圖構(gòu)建的準(zhǔn)確性，滿足自動(dòng)駕駛的嚴(yán)格要求。

為應(yīng)對(duì)這一挑戰(zhàn)，黑芝麻智能的科研團(tuán)隊(duì)與新加坡南洋理工大學(xué)的研究者們?cè)谧钚鹿_(kāi)的論文中提出了一個(gè)新觀點(diǎn)：在“矢量化高精度地圖構(gòu)建”任務(wù)中，應(yīng)當(dāng)引入柵格化（rasterization）的視角?；谶@一動(dòng)機(jī)，他們提出了兩點(diǎn)創(chuàng)新：一是建立了一種更加準(zhǔn)確和合理的基于柵格化的“矢量化高精地圖構(gòu)建”的評(píng)價(jià)指標(biāo)；二是推出了 MapVR（Map Vectorization via Rasterization），一個(gè)受益于柵格化視角的更精準(zhǔn)的“矢量化高精地圖構(gòu)建”的框架。

在接下來(lái)的內(nèi)容中，我們將深入介紹此研究的背景，所提出的評(píng)價(jià)指標(biāo)和 MapVR 的細(xì)節(jié)，以及討論如何利用柵格化來(lái)提高矢量化高精地圖的精準(zhǔn)度和實(shí)用性。

背景

在線高精度地圖構(gòu)建是指利用車(chē)載傳感器（如攝像頭）的輸入，實(shí)時(shí)構(gòu)建自車(chē)周?chē)貓D（包含車(chē)道線、道路邊沿、人行橫道、泊車(chē)位等）的任務(wù)。現(xiàn)有的在線高精度地圖構(gòu)建方法主要分為兩大模式：地圖柵格化（map rasterization）和地圖矢量化（map vectorization）。地圖柵格化相對(duì)簡(jiǎn)單直觀，它將周?chē)h(huán)境在鳥(niǎo)瞰視圖（Bird's-eye View，BEV）中建模為語(yǔ)義分割任務(wù)，將分割結(jié)果作為輸出的柵格化地圖。然而，這種柵格化的地圖并非適用于自動(dòng)駕駛應(yīng)用的理想表達(dá)形式，因?yàn)樗y以區(qū)分不同地圖元素，無(wú)法提供結(jié)構(gòu)信息，因而需要進(jìn)行大量的后處理才能供下游任務(wù)使用。為解決這些問(wèn)題，地圖矢量化方法應(yīng)運(yùn)而生，成為實(shí)時(shí)構(gòu)建高精地圖的熱門(mén)方案。最新的地圖矢量化方法，例如VectorMapNet和MapTR，使用有序點(diǎn)集來(lái)表征各個(gè)地圖元素，直接回歸每個(gè)地圖元素的一系列點(diǎn)坐標(biāo)，實(shí)現(xiàn)了更準(zhǔn)確的結(jié)果和更快的運(yùn)行速度。

然而，最新方法在實(shí)踐中常常表現(xiàn)得不盡如人意，原因主要有三。首先，如下圖所示，稀疏點(diǎn)集的表征方式在處理地圖結(jié)構(gòu)的尖銳彎曲或復(fù)雜細(xì)節(jié)時(shí)，精度不足，會(huì)導(dǎo)致明顯的參數(shù)化誤差。第二，將等距離的點(diǎn)集作為回歸目標(biāo)時(shí)，中間的點(diǎn)會(huì)缺乏清晰的視覺(jué)線索。這會(huì)導(dǎo)致監(jiān)督信號(hào)的模糊性，使得學(xué)習(xí)過(guò)程變得困難。再者，單純依賴點(diǎn)集間的L1損失進(jìn)行回歸監(jiān)督，往往會(huì)忽視細(xì)粒度的特征，導(dǎo)致預(yù)測(cè)結(jié)果過(guò)于平滑，模型對(duì)微小的變化不敏感。

同樣地，當(dāng)前的評(píng)價(jià)指標(biāo)也是基于點(diǎn)集之間的Chamfer距離，這種方式也容易忽視微小的偏差和幾何細(xì)節(jié)。

總而言之，針對(duì)自動(dòng)駕駛這樣對(duì)精度要求苛刻的場(chǎng)景，我們認(rèn)識(shí)到現(xiàn)有的地圖矢量化方法和評(píng)價(jià)指標(biāo)仍有很大不足。為了滿足真實(shí)駕駛場(chǎng)景的需求，業(yè)界和學(xué)術(shù)界都應(yīng)采用更高精度、更面向業(yè)務(wù)的評(píng)估指標(biāo)和方法。

動(dòng)機(jī)

為了解決上述問(wèn)題，我們嘗試了一個(gè)新的思路——在地圖矢量化任務(wù)中引入柵格化（rasterization）的視角。柵格化的表達(dá)方式有其獨(dú)特的優(yōu)勢(shì)，它與人類對(duì)環(huán)境的感知模式更為相符，能提供更為詳細(xì)和直觀的信息。

然而，如何將這一思路有效地融合到地圖矢量化中，以提升精度和實(shí)用性，無(wú)疑是一項(xiàng)挑戰(zhàn)。我們希望，通過(guò)引入柵格化視角，能夠在方法和評(píng)價(jià)指標(biāo)上均更準(zhǔn)確地捕捉到地圖的細(xì)節(jié)和結(jié)構(gòu)，提升地圖矢量化的精度，同時(shí)還能保留其矢量化的優(yōu)勢(shì)，使其更適合自動(dòng)駕駛的各種下游任務(wù)。

基于柵格化的地圖矢量化評(píng)價(jià)指標(biāo)

1.回顧現(xiàn)有的評(píng)價(jià)指標(biāo)

現(xiàn)有的評(píng)價(jià)指標(biāo)使用Chamfer距離來(lái)確定預(yù)測(cè)的地圖元素和真實(shí)的地圖元素是否匹配。Chamfer距離是一種衡量?jī)蓚€(gè)無(wú)序點(diǎn)集之間不相似性的量，它量化了一個(gè)集合中每個(gè)點(diǎn)到另一個(gè)集合中最近點(diǎn)的平均距離，可以用公式表達(dá)為：

盡管它簡(jiǎn)單且能給出大致合理的評(píng)價(jià)結(jié)果，但這一指標(biāo)的以下缺陷使得其在如自動(dòng)駕駛等對(duì)精度要求極高的場(chǎng)景中顯得不足：首先，它不具備尺度不變性，對(duì)于較小的地圖元素（如停車(chē)線），Chamfer距離無(wú)論預(yù)測(cè)是否準(zhǔn)確都會(huì)很小，無(wú)法提供有意義的評(píng)價(jià)。其次，Chamfer距離僅依賴于無(wú)序點(diǎn)集的距離，完全忽視了地圖元素的形狀和幾何特性，因此對(duì)許多實(shí)際駕駛場(chǎng)景會(huì)產(chǎn)生不合理的評(píng)價(jià)。

2.更精準(zhǔn)與合理的基于柵格化的評(píng)價(jià)指標(biāo)

為了解決上述限制，我們提出了一種基于柵格化的評(píng)價(jià)指標(biāo)，該指標(biāo)對(duì)細(xì)微偏差更敏感，并更適合真實(shí)的駕駛場(chǎng)景。在此指標(biāo)中，我們采用柵格化來(lái)準(zhǔn)確地確定預(yù)測(cè)的地圖元素和真實(shí)地圖元素的匹配。

如上圖所示，我們使用線形的地圖元素（例如，車(chē)道線和泊車(chē)線等）來(lái)示例我們的評(píng)價(jià)指標(biāo)。首先，目標(biāo)地圖元素和預(yù)測(cè)的地圖元素都被柵格化（rasterization）為一條折線。柵格化后的圖像分辨率應(yīng)較高（例如，柵格化后的每個(gè)像素代表現(xiàn)實(shí)中的0.1米），以保證評(píng)價(jià)的精準(zhǔn)性。然后，為了使我們的評(píng)價(jià)指標(biāo)能對(duì)細(xì)長(zhǎng)的折線的輕微偏移有一定的容忍度，我們將柵格化的折線在每側(cè)膨脹（dilate）2個(gè)像素。最后，我們計(jì)算柵格化的預(yù)測(cè)和目標(biāo)之間的交并比（IoU）以判斷其是否匹配。與MS-COCO目標(biāo)檢測(cè)的的評(píng)價(jià)指標(biāo)指標(biāo)類似，我們?cè)诙鄠€(gè)IoU閾值下計(jì)算Average Precision（AP）。

值得注意的是，地圖通常還包含除線形之外的元素，如人行橫道，交叉路口和停車(chē)位等。這些地圖元素都可以被抽象為多邊形。在對(duì)此類地圖元素進(jìn)行評(píng)價(jià)時(shí)，我們采用類似的方法計(jì)算AP，但不同的是，我們將其柵格化為多邊形，而非折線，以更合理地進(jìn)行評(píng)價(jià)。

3. 兩種指標(biāo)的評(píng)價(jià)質(zhì)量

我們以下圖所示的一些實(shí)例來(lái)對(duì)比兩種評(píng)價(jià)指標(biāo)的評(píng)價(jià)質(zhì)量。紅色代表Ground Truth，藍(lán)色代表預(yù)測(cè)結(jié)果。一般來(lái)說(shuō)，Chamfer距離小于1.0即可認(rèn)為匹配，而mIoU大于0.35才可認(rèn)為匹配。

（a）所示的是一條較短的停車(chē)線。由于Chamfer距離缺乏尺度不變性，對(duì)于這種較小的地圖元素，Chamfer距離都會(huì)誤判為匹配。而我們提出的基于柵格化的指標(biāo)判斷更為合理。

（b）所示的車(chē)道線預(yù)測(cè)出現(xiàn)了輕微的橫向偏移。在實(shí)際駕駛場(chǎng)景中，即使是輕微的橫向偏移也可能帶來(lái)重大危險(xiǎn)。由于Chamfer距離僅依賴于點(diǎn)集間的距離，缺乏對(duì)形狀和幾何細(xì)節(jié)的理解，因此它認(rèn)定預(yù)測(cè)和Ground Truth匹配。然而，我們提出的基于柵格化的評(píng)價(jià)指標(biāo)在確定匹配的過(guò)程中考慮了幾何信息，因此能正確地識(shí)別出預(yù)測(cè)和Ground Truth之間的差異，判定兩者不匹配。

（c）所示車(chē)道線的預(yù)測(cè)出現(xiàn)了輕微的縱向偏移。這種偏移通常是由于遮擋現(xiàn)象造成的，在實(shí)際的自動(dòng)駕駛場(chǎng)景中，其風(fēng)險(xiǎn)并不大。因?yàn)殡S著車(chē)輛的移動(dòng)，地圖會(huì)持續(xù)更新。由于我們所提出的基于柵格化的評(píng)價(jià)指標(biāo)考慮了地圖元素的形狀和幾何信息，因此能夠?qū)@種情況給出更為合理的評(píng)估。

（d）所示的情況也能說(shuō)明，我們提出的指標(biāo)對(duì)微小的偏差更為敏感。

基于柵格化的地圖矢量化評(píng)價(jià)指標(biāo)

本文還提出了一個(gè)新型的地圖矢量化框架——MapVR。這是一個(gè)通用框架，不涉及網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)，因此可以與其他地圖矢量化的網(wǎng)絡(luò)模型共同使用，如最新的MapTR。

相對(duì)于當(dāng)前的地圖矢量化方法，MapVR在訓(xùn)練過(guò)程中采用了一種獨(dú)特的技巧。它將矢量化的輸出（即地圖元素的有序點(diǎn)集）進(jìn)行可微分的柵格化處理，將每個(gè)矢量化的地圖元素渲染成一張具有高分辨率的分割掩碼。然后，我們將在這些渲染后的高分辨率分割掩碼上進(jìn)行分割監(jiān)督。這個(gè)思路與我們之前提到的評(píng)估指標(biāo)是一致的，它能夠提供更精確、更詳細(xì)、并包含了幾何形狀先驗(yàn)的監(jiān)督，這將顯著提升地圖構(gòu)建的精度。此外，MapVR還能夠提供更合理的監(jiān)督。在現(xiàn)有的地圖矢量化方法中，我們通常會(huì)回歸等間距的點(diǎn)作為目標(biāo)，但這常常會(huì)在缺乏明顯視覺(jué)線索的中間部分的點(diǎn)帶來(lái)模糊性。MapVR的出現(xiàn)，有效地解決了這個(gè)問(wèn)題。

另外，地圖中經(jīng)常包含很多不能被抽象成線的元素，如人行橫道、十字路口、停車(chē)位等。這些元素更適合被抽象為多邊形。如上圖所示，我們也對(duì)這些多邊形地圖元素設(shè)計(jì)了可微分柵格化的策略。具體的柵格化公式請(qǐng)讀者參閱論文。

值得一提的是，MapVR額外引入的柵格化步驟僅需在訓(xùn)練時(shí)使用。在推理階段，我們可以簡(jiǎn)單地去掉額外的可微分柵格化步驟，直接使用網(wǎng)絡(luò)的矢量化輸出作為最終的結(jié)果。因此，MapVR在推理階段并不會(huì)引入任何額外的計(jì)算負(fù)擔(dān)。這意味著我們的方法在保持高效率的同時(shí)，還能夠提供更準(zhǔn)確、更穩(wěn)健的地圖構(gòu)建結(jié)果。

此外，由于MapVR所提出的監(jiān)督方式很大程度上消除了之前方法的“等距離目標(biāo)點(diǎn)”的要求，我們還引入了一個(gè)額外的損失函數(shù)作用于正則化預(yù)測(cè)的折現(xiàn)之間的夾角。這能鼓勵(lì)網(wǎng)絡(luò)輸出更加平滑的地圖元素，同時(shí)在轉(zhuǎn)彎處得到更加精力的結(jié)果。該正則項(xiàng)可用公式表示為：

在論文中，我們也通過(guò)實(shí)驗(yàn)證實(shí)了該正則項(xiàng)的有效性。

實(shí)驗(yàn)結(jié)果

在論文中，作者將所提出的方法在4個(gè)數(shù)據(jù)集上進(jìn)行了充分的實(shí)驗(yàn)。MapVR無(wú)論在現(xiàn)有的評(píng)價(jià)指標(biāo)上，還是在論文中提出的新的指標(biāo)上，都取得了最佳的性能。有關(guān)具體的量化實(shí)驗(yàn)結(jié)果和消融實(shí)驗(yàn)結(jié)果，請(qǐng)讀者參閱論文。

如下圖所示比較了我們所提出的MapVR和現(xiàn)有的最佳基線方法——MapTR。我們可以觀察到，我們的方法能夠生成更加精確的矢量化高精地圖，尤其是在捕捉復(fù)雜的細(xì)節(jié)以及準(zhǔn)確呈現(xiàn)復(fù)雜或曲線形狀的地圖元素方面表現(xiàn)出色。相比之下，盡管MapTR方法可以產(chǎn)生大體正確的矢量化地圖，但在細(xì)節(jié)部分不可避免地會(huì)出現(xiàn)偏差，且在精確構(gòu)造復(fù)雜地圖元素上存在困難。這些結(jié)果證明了我們的方法的有效性。

我們還對(duì)兩種方法在兩種評(píng)價(jià)指標(biāo)下的精確度-召回率曲線（Precision-Recall Curve）進(jìn)行了比較。觀察可知，在未引入MapVR的情況下，MapTR基線在相對(duì)簡(jiǎn)單的APchamfer指標(biāo)和嚴(yán)格的APraster指標(biāo)上存在較大的差距。這說(shuō)明當(dāng)前的方法在捕捉地圖元素的細(xì)節(jié)方面確實(shí)存在不足。而當(dāng)引入MapVR后，這兩者的差距顯著縮小，并且性能都有所提升。

這證明了在地圖矢量化任務(wù)中引入柵格化的精細(xì)監(jiān)督確實(shí)能幫助模型提升性能，尤其是在捕捉更細(xì)節(jié)的部分上，證實(shí)了我們工作的有效性。

結(jié)語(yǔ)

本文提出了一種全新的視角去理解和處理地圖矢量化的任務(wù)：通過(guò)柵格化，我們能夠更準(zhǔn)確地學(xué)習(xí)和評(píng)估地圖矢量化。我們發(fā)現(xiàn)，雖然矢量化表示方式簡(jiǎn)潔易用，但其在細(xì)節(jié)表示能力上存在不足；因此，有必要在學(xué)習(xí)和評(píng)估中引入柵格化作為補(bǔ)充。我們希望我們的視角能夠?yàn)榈貓D矢量化的進(jìn)一步創(chuàng)新提供基礎(chǔ)，最終促進(jìn)安全可靠的自動(dòng)駕駛技術(shù)的發(fā)展。