摘要

語義占用網(wǎng)格感知對于自動駕駛至關(guān)重要，因為自動駕駛車輛需要對3D城市場景進行細粒度感知。然而，現(xiàn)有的相關(guān)基準測試在城市場景的多樣性方面存在不足，并且僅評估前視預測感知。為了全面評估周視感知算法，我們提出了OpenOccupancy，這是第一個用于周視語義占用網(wǎng)格感知的基準測試方法。在OpenOccupancy基準測試中，我們通過添加稠密的語義占用網(wǎng)格標注來擴展大規(guī)模的nuScenes數(shù)據(jù)集。以前的標注依賴于LiDAR點云的疊加，由于LiDAR數(shù)據(jù)的稀疏，導致一些占用標簽被遺漏。為了緩解這個問題，我們引入了增強與凈化（AAP）流程，將標注密度提高了約2倍，其中涉及約4000個人工小時的標注過程。此外為OpenOccupancy基準測試建立了基于攝像頭、LiDAR和多模態(tài)的基線模型。此外考慮到周視占用感知的復雜性在于高分辨率3D預測的計算負擔，我們提出了級聯(lián)占用網(wǎng)絡（CONet）來改進粗糙預測，相對于基線模型提高了約30%的性能。我們希望OpenOccupancy基準測試能促進周視占用感知算法的發(fā)展。

主要貢獻

盡管目前對于語義占用網(wǎng)格感知越來越受到關(guān)注，但大多數(shù)相關(guān)基準都是針對室內(nèi)場景設計的，SemanticKITTI 將占用感知擴展到駕駛場景，但其數(shù)據(jù)集規(guī)模相對較小且多樣性有限，這影響了開發(fā)占用感知算法的泛化和評估。此外，SemanticKITTI只評估前視圖的占用網(wǎng)格結(jié)果，而對于安全駕駛而言，周視感知更為關(guān)鍵。為解決這些問題，我們提出了OpenOccupancy，這是第一個用于周視語義占用感知的基準。在OpenOccupancy基準中引入了nuScenes-Occupancy，它將大規(guī)模的nuScenes數(shù)據(jù)集與密集的語義占用標注相結(jié)合。

如表1所示，nuScenes-Occupancy標注的場景和幀數(shù)比多約40倍和20倍。值得注意的是，通過人工直接標注大規(guī)模的占用標簽幾乎是不現(xiàn)實的。因此引入了Augmenting And Purifying (AAP)流程，以高效地標注和稠密的占用標簽。

圖1：nuScenes-Occupancy為nuScenes數(shù)據(jù)集中的所有關(guān)鍵幀提供了稠密的語義占用網(wǎng)格標簽，在這里展示了標注的地面真值，體積大小為（40 × 512 × 512），網(wǎng)格大小為0.2米。

圖1展示了稠密標注的可視化效果。為了促進未來研究，我們在OpenOccupancy基準中建立了基于相機、基于LiDAR和多模式的基線。實驗結(jié)果顯示，基于相機的方法在小物體（如自行車、行人、摩托車）方面表現(xiàn)更好，而基于LiDAR的方法在大型結(jié)構(gòu)區(qū)域（如行駛表面、人行道）方面表現(xiàn)更優(yōu)。值得注意的是，多模式基線通過自適應融合兩種模態(tài)的中間特征，相對提高了基于相機和基于LiDAR方法的整體性能，分別提升了47%和29%。考慮到周圍占用感知的計算負擔，所提出的基線只能生成低分辨率的預測。為了實現(xiàn)高效的占用感知，我們提出了級聯(lián)占用網(wǎng)絡（CONet），在所提出的基線之上構(gòu)建了一個從粗糙到精細的流程，相對提高了性能約30%。主要貢獻總結(jié)如下：

提出了OpenOccupancy，這是第一個針對駕駛場景中周圍占用感知的基準。

通過nuScenes數(shù)據(jù)集引入了AAP流程，它高效地標注和稠密化了周圍語義占用標簽，結(jié)果形成了第一個用于周圍語義占用分割的數(shù)據(jù)集nuScenes-Occupancy。

我們在OpenOccupancy基準上建立了基于相機、基于LiDAR和多模式的基線。此外，我們引入了CONet來減輕高分辨率占用預測的計算負擔，相對提高了基線性能約30%。

主要內(nèi)容

周視語義占用網(wǎng)格感知

周視語義占用感知是指生成場景的完整3D表示，包括體積占用和語義標簽，與前視圖感知的單目范例不同，周視占用感知算法旨在在周圍視圖的駕駛場景中生成語義占用，具體而言，給定360度的輸入Xi（例如LiDAR掃描或周圍視圖圖像），感知算法需要預測周圍的占用標簽F(Xi) ∈ R D×H×W，其中D、H、W是整個場景的體積大小。值得注意的是，周視圖的輸入范圍比前視覺傳感器覆蓋的范圍大約多了5倍，因此，周視占用網(wǎng)格感知的核心挑戰(zhàn)在于高效構(gòu)建高分辨率的占用表示。

nuScenes-Occupancy

SemanticKITTI 是首個用于室外占據(jù)感知的數(shù)據(jù)集，但在駕駛場景方面缺乏多樣性，并且僅評估前視感知，為了創(chuàng)建一個大規(guī)模的環(huán)境占據(jù)感知數(shù)據(jù)集，我們引入了nuScenes-Occupancy，它在nuScenes數(shù)據(jù)集的基礎上添加了稠密的語義占用標注。作者引入了AAP（Augmenting And Purifying）流程來高效地標注和密集化占據(jù)標簽。

整個AAP流程如算法1所示。

如圖2所示，偽標簽對初始標注是補充的，而增強和純化標簽更密集和精確，值得注意的是增強和純化標注中每個幀中約有40萬個占據(jù)體素，比初始標注密集了約2倍?？傊?，nuScenes-Occupancy包含28130個訓練幀和6019個驗證幀，在每個幀中對占據(jù)的體素分配了17個語義標簽。

圖2：初始標注、偽標注和增強純化標注之間的對比，紅圈和藍圈突出顯示增強標注更加密集和準確的區(qū)域。

OpenOccupancy基線

大多數(shù)現(xiàn)有的占據(jù)感知方法都是為前視感知而設計的，為了將這些方法擴展到周圍的占據(jù)感知，需要對每個相機視角的輸入進行單獨處理，這是低效的。此外，兩個相鄰輸出的重疊區(qū)域可能存在不一致性，為了緩解這些問題，我們建立了一致地從360度輸入（例如LiDAR掃描或環(huán)視圖像）中學習周圍語義占據(jù)的基線，具體而言，為OpenOccupancy基準提出了基于相機的、基于LiDAR的和多模態(tài)的基線，如圖3所示。

圖3：三種提出的基線的整體架構(gòu)，LiDAR分支利用3D編碼器提取體素化的LiDAR特征，相機分支使用2D編碼器學習環(huán)視圖特征，然后將其轉(zhuǎn)換為生成3D相機體素特征，在多模態(tài)分支中，自適應融合模塊動態(tài)地集成兩種模態(tài)的特征。所有三個分支都利用3D解碼器和占據(jù)頭來產(chǎn)生語義占據(jù)，在占據(jù)結(jié)果圖中，紅色和紫色圈圈標示出多模態(tài)分支可以生成更完整和準確的預測。

實驗

在OpenOccupancy基準測試中，基于nuScenes-Occupancy評估周圍語義占據(jù)感知性能，對提出的基線、CONet和現(xiàn)代占據(jù)感知算法進行全面實驗。所有模型在8個A100 GPU上以8個批次大小進行訓練，共訓練24個時期。利用OpenOccupancy基準測試，我們分析了六種現(xiàn)代方法（MonoScene ，TPVFormer，3DSketch ，AICNet ，LMSCNet，JS3C-Net ）以及提出的基線和CONet的周圍占據(jù)感知性能，從表2的結(jié)果可以看出：

與單視圖方法相比，周圍占據(jù)感知范式表現(xiàn)出更好的性能。

提出的基線對周圍占據(jù)感知具有適應性和可擴展性。

相機和LiDAR的信息相互補充，多模態(tài)基線顯著提高了性能。

周視占據(jù)感知的復雜性在于高分辨率3D預測的計算負擔，這可以通過提出的CONet來減輕。

這里提供可視化結(jié)果（見圖5）來驗證CONet可以基于粗糙預測生成精細的占據(jù)網(wǎng)格結(jié)果。

圖5：語義占據(jù)預測的可視化，第1行是周視圖像。第2行和第3行顯示了由多模態(tài)基線和多模態(tài)CONet生成的相機視圖的粗糙和精細占據(jù)，第4行比較了它們的全局視圖預測。

總結(jié)

本文提出了OpenOccupancy，這是首個用于駕駛場景中周視語義占據(jù)感知的基準測試，具體而言引入了nuScenes-Occupancy，它基于提出的AAP流水線擴展了nuScenes數(shù)據(jù)集，帶有稠密的語義占據(jù)標注，在OpenOccupancy基準測試中建立了基于相機、基于LiDAR和多模態(tài)的基線。此外還提出了CONet來減輕高分辨率占據(jù)預測的計算負擔。在OpenOccupancy基準測試中進行了全面的實驗，結(jié)果顯示基于相機和基于LiDAR的基線相互補充，而多模態(tài)基線進一步提高了性能，分別提高了47%和29%。此外所提出的CONet相對于基線提高了約30%，并且延遲開銷最小。我們希望OpenOccupancy基準測試對于周視語義占據(jù)感知的發(fā)展有所幫助。

審核編輯：劉清