本文是，加拿大滑鐵盧大學(xué)CogDrive實(shí)驗(yàn)室，對(duì)當(dāng)前最新的基于深度學(xué)習(xí)的相機(jī)-激光雷達(dá)融合（camera-LiDAR Fusion）方法的綜述。

本篇綜述評(píng)價(jià)了基于相機(jī)-激光雷達(dá)融合的深度補(bǔ)全，對(duì)象檢測(cè)，語義分割和跟蹤方向的最新論文，并根據(jù)其融合層級(jí)進(jìn)行組織敘述并對(duì)比。最后討論了當(dāng)前學(xué)術(shù)研究與實(shí)際應(yīng)用之間的差距和被忽視的問題?；谶@些觀察，我們提出了自己的見解及可能的研究方向。

01．背景

基于單目視覺的感知系統(tǒng)以低成本實(shí)現(xiàn)了令人滿意的性能，但卻無法提供可靠的3D幾何信息。雙目相機(jī)可以提供3D幾何信息，但計(jì)算成本高，且無法在高遮擋和無紋理的環(huán)境中可靠的工作。此外，基于視覺的感知系統(tǒng)在光照條件復(fù)雜的情況下魯棒性較低，這限制了其全天候能力。而激光雷達(dá)不受光照條件影響，且能提供高精度的3D幾何信息。但其分辨率和刷新率低，且成本高昂。

相機(jī)-激光雷達(dá)融合感知，就是為了提高性能與可靠性并降低成本。但這并非易事，首先，相機(jī)通過將真實(shí)世界投影到相機(jī)平面來記錄信息，而點(diǎn)云則將幾何信息以原始坐標(biāo)的形式存儲(chǔ)。此外，就數(shù)據(jù)結(jié)構(gòu)和類型而言，點(diǎn)云是不規(guī)則，無序和連續(xù)的，而圖像是規(guī)則，有序和離散的。這導(dǎo)致了圖像和點(diǎn)云處理算法方面的巨大差異。在圖1中，我們比較了點(diǎn)云和圖像的特性。

圖1．點(diǎn)與數(shù)據(jù)和圖像數(shù)據(jù)的比較

圖2． 論文總體結(jié)構(gòu)

02．趨勢(shì)，挑戰(zhàn)和未來研究方向

無人駕駛汽車中的感知模塊負(fù)責(zé)獲取和理解其周圍的場(chǎng)景，其輸出直接影響著下游模塊（例如規(guī)劃，決策和定位）。因此，感知的性能和可靠性是整個(gè)無人駕駛系統(tǒng)的關(guān)鍵。通過攝像頭-激光雷達(dá)融合感知來加強(qiáng)其性能和可靠性，改善無人駕駛車輛在復(fù)雜的場(chǎng)景下的感知（例如城市道路，極端天氣情況等）。因此在本節(jié)中，我們總結(jié)總體趨勢(shì)，并討論這方面的挑戰(zhàn)和潛在影響因素。如表IV所示，我們將討論如何改善融合方法的性能和魯棒性，以及與工程實(shí)踐相關(guān)的其他重要課題。如下是我們總結(jié)的圖像和點(diǎn)云融合的趨勢(shì)：

2D到3D：隨著3D特征提取方法的發(fā)展，在3D空間中定位，跟蹤和分割對(duì)象已成為研究的熱點(diǎn)。

單任務(wù)到多任務(wù)：一些近期的研究結(jié)合了多個(gè)互補(bǔ)任務(wù)，例如對(duì)象檢測(cè)，語義分割和深度完成，以實(shí)現(xiàn)更好的整體性能并降低計(jì)算成本。

信號(hào)級(jí)到多級(jí)融合：早期的研究經(jīng)常利用信號(hào)級(jí)融合，將3D幾何圖形轉(zhuǎn)換到圖像平面以利用現(xiàn)成的圖像處理模型，而最近的模型則嘗試在多級(jí)融合圖像和點(diǎn)云（例如早期融合，晚期融合）并利用時(shí)間上下文。

表I． 當(dāng)前的挑戰(zhàn)

A．與性能相關(guān)的開放研究問題

1）融合數(shù)據(jù)的（Feature/Signal Representation）特征/信號(hào)表示形式：

融合數(shù)據(jù)的Feature/Signal Representation是設(shè)計(jì)任何數(shù)據(jù)融合算法的基礎(chǔ)。當(dāng)前的特征/信號(hào)表示形式包括：

a） 在RGB圖像上的附加深度信息通道（RGB-D）。此方法由于可以通過現(xiàn)成的圖像處理模型進(jìn)行處理，因此早期的信號(hào)級(jí)融合常使用這種表達(dá)形式。但是，其結(jié)果也限制于2D圖像平面，這使其不適用于自動(dòng)駕駛。

b） 在點(diǎn)云上的附加RGB通道。此方法可以通過將點(diǎn)投影到像平面進(jìn)行像素點(diǎn)關(guān)聯(lián)來實(shí)現(xiàn)。但是，高分辨率圖像和低分辨率點(diǎn)云之間的分辨率不匹配會(huì)影響此方式的效率。

c） 將圖像和點(diǎn)云特征/信號(hào)均轉(zhuǎn)換為（intermediate data representation）其他的數(shù)據(jù)表示形式。當(dāng)前的intermediate data representation包括：（voxelized point cloud）體素化點(diǎn)云［75］，（lattice）晶格［88］。未來的研究可以探索其他新穎的中間數(shù)據(jù)結(jié)構(gòu)，例如（graph）圖，（tree）樹等，從而提高性能。

2）（Encoding Geometric Constraint）加入幾何約束：

與其他三維數(shù)據(jù)源（如來自立體相機(jī)或結(jié)構(gòu)光的RGBD數(shù)據(jù)）相比，LiDAR有更長的有效探測(cè)范圍和更高的精度，可提供詳細(xì)而準(zhǔn)確的3D幾何形狀。幾何約束已成為圖像和點(diǎn)云融合流程中的常識(shí)，其提供了額外的信息來引導(dǎo)深度學(xué)習(xí)網(wǎng)絡(luò)實(shí)現(xiàn)更好的性能。將點(diǎn)云以RGBD圖像的形式投影到圖像平面似乎是最自然的解決方法，但是點(diǎn)云的稀疏性會(huì)產(chǎn)生空洞。深度補(bǔ)全和點(diǎn)云上采樣可以在某種程度上解決該問題。除此之外利用單眼圖像預(yù)測(cè)深度信息以及在連續(xù)幀之間引入自我監(jiān)督學(xué)習(xí)，也有望緩解這個(gè)問題。但是，如何將這種幾何信息加入到融合流程中仍是當(dāng)前研究實(shí)踐中尚需解決的問題。

3）（Encoding Temporal Context）加入時(shí)間上下文：

還有一些工程問題阻礙了無人駕駛汽車的實(shí)際部署，例如LiDAR與攝像頭之間的時(shí)間不同步，LiDAR的低刷新率導(dǎo)致車速高時(shí)的點(diǎn)云變形，LiDAR傳感器測(cè)距誤差。這些問題將導(dǎo)致圖像與點(diǎn)云，點(diǎn)云與實(shí)際環(huán)境之間的不匹配。根據(jù)深度補(bǔ)全方面的經(jīng)驗(yàn)，可以采用連續(xù)幀之間的時(shí)間上下文來改善姿態(tài)估計(jì)，從而改善特征融合的性能并使得下游的的header網(wǎng)絡(luò)受益。在自動(dòng)駕駛中，準(zhǔn)確估算周圍車輛的運(yùn)動(dòng)狀態(tài)至關(guān)重要，時(shí)間上下文有助于獲得更平滑，更穩(wěn)定的結(jié)果。此外，時(shí)間上下文可能有益于在線自校準(zhǔn)。因此，應(yīng)對(duì)加入時(shí)間上下文進(jìn)行更多的研究。 4）深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)：

要回答這個(gè)問題，我們首先需要回答點(diǎn)云的最佳深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)是什么。對(duì)于圖像處理，CNN是最佳選擇，并已被廣泛接受。但點(diǎn)云處理仍然是一個(gè)開放的研究問題。同時(shí)沒有點(diǎn)云深度學(xué)習(xí)網(wǎng)絡(luò)的設(shè)計(jì)原則，被廣泛的接受或被證明是最有效的。當(dāng)前大多數(shù)傳感器融合網(wǎng)絡(luò)都是基于對(duì)應(yīng)的圖像的網(wǎng)絡(luò)結(jié)構(gòu)，或者是基于經(jīng)驗(yàn)或?qū)嶒?yàn)來進(jìn)行設(shè)計(jì)的。因此，采用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索（NAS）［95］的方法可能會(huì)帶來進(jìn)一步的性能提升。

5）無監(jiān)督或弱監(jiān)督的學(xué)習(xí)框架：

人工標(biāo)注圖像和點(diǎn)云數(shù)據(jù)既昂貴又耗時(shí)，這限制了當(dāng)前多傳感器數(shù)據(jù)集的大小。采用無監(jiān)督和弱監(jiān)督的學(xué)習(xí)框架，可以使網(wǎng)絡(luò)在更大的未標(biāo)記/粗標(biāo)簽的數(shù)據(jù)集上進(jìn)行訓(xùn)練，從而提升性能。 B．與可靠性相關(guān)的開放研究問題

1）與傳感器無關(guān)的融合框架：

從工程角度來看，自動(dòng)駕駛汽車的冗余設(shè)計(jì)對(duì)其安全至關(guān)重要。盡管將LiDAR和攝像頭融合在一起可以改善感知性能，但是它也會(huì)帶來信號(hào)耦合問題。如果在工作時(shí)有一條信號(hào)路徑失效，那么整個(gè)流程都可能會(huì)發(fā)生故障，并影響下游模塊。這對(duì)于在安全關(guān)鍵環(huán)境中運(yùn)行的自動(dòng)駕駛汽車是不可接受的。這一問題可以通過加入能接受不同傳感器輸入的多個(gè)融合模塊，或異步多模數(shù)據(jù)、多路徑的融合模塊來解決。但最佳解決方案仍有待進(jìn)一步的研究。 2）全天候/光線下的工作能力：

自動(dòng)駕駛汽車需要在所有天氣和光照條件下工作。然而，當(dāng)前的數(shù)據(jù)集和方法主要集中在具有良好照明和天氣條件的場(chǎng)景上。這會(huì)導(dǎo)致在現(xiàn)實(shí)世界中表現(xiàn)不佳，因?yàn)槠涔庹蘸吞鞖鈼l件更加復(fù)雜。

3）（Adversarial Attacks and Corner Cases）對(duì)抗攻擊和極端案例：

針對(duì)基于圖像的感知系統(tǒng)的對(duì)抗已被證明是有效的，這對(duì)自動(dòng)駕駛汽車構(gòu)成了嚴(yán)重的危險(xiǎn)。在這種情況下，可以進(jìn)一步探索如何利用LiADR的準(zhǔn)確3D幾何信息和圖像來共同識(shí)別這些攻擊。

由于自動(dòng)駕駛汽車需要在不可預(yù)測(cè)的開放環(huán)境中運(yùn)行，因此也必須考慮感知中的（edge cases）極端案例。在設(shè)計(jì)感知系統(tǒng)時(shí)，應(yīng)該考慮到不常見的特殊障礙物，例如奇怪的行為和極端的天氣。例如，打印在大型車輛上的人和物體（車體廣告）以及穿著怪異服裝的人。利用多模數(shù)據(jù)來識(shí)別這些極端情況，可能會(huì)比用單模傳感器更為有效、可靠和簡(jiǎn)單。在這個(gè)方向上的進(jìn)一步研究可以幫助提高自動(dòng)駕駛技術(shù)的安全性和加快其商用。

C．與工程有關(guān)的開放研究問題

1）傳感器在線自校準(zhǔn)：

相機(jī)和LiDAR融合的前提和假設(shè)是相機(jī)和LiDAR之間的精確校準(zhǔn)，其中包括相機(jī)內(nèi)部參數(shù)和相機(jī)與LiDAR之間的外部參數(shù)。但在實(shí)際上做到校準(zhǔn)參數(shù)一直準(zhǔn)確很難。即使在對(duì)相機(jī)和LiDAR進(jìn)行了完美的校準(zhǔn)之后，在車輛機(jī)械振動(dòng)，熱量等因素的影響下，其校準(zhǔn)參數(shù)也會(huì)隨時(shí)間變化而變得不準(zhǔn)。由于大多數(shù)融合方法對(duì)校準(zhǔn)誤差極為敏感，因此這會(huì)嚴(yán)重削弱其性能和可靠性。此外校準(zhǔn)過程大多需要從頭進(jìn)行，所以不斷的人工更新校準(zhǔn)參數(shù)既麻煩又不切實(shí)際。然而此問題受到的關(guān)注較少，因?yàn)檫@個(gè)問題在已發(fā)布的數(shù)據(jù)集中不太明顯。盡管如此，仍然有必要研究相機(jī)和LiDAR在線自校準(zhǔn)的方法。最近的一些研究采用了運(yùn)動(dòng)引導(dǎo)［96］和無目標(biāo)［97］自校準(zhǔn)。在這個(gè)重要方向上進(jìn)行更多的研究是有必要的。

2）傳感器時(shí)間同步：

明確來自多個(gè)傳感器數(shù)據(jù)幀的確切時(shí)間對(duì)于實(shí)時(shí)傳感器融合至關(guān)重要，這將直接影響融合結(jié)果。但在實(shí)踐中，我們很難保證完美的時(shí)間同步。首先，LiDAR和相機(jī)具有不同的刷新率，并且每個(gè)傳感器都有自己的時(shí)間源。此外，感知系統(tǒng)的許多部分（數(shù)據(jù)傳輸，傳感器曝光時(shí)間等）都可能發(fā)生不可控制的時(shí)間延遲。幸運(yùn)的是，有幾種緩解該問題的方法。首先可以增加傳感器刷新率以減少時(shí)間偏差。也可以使用GPS PPS時(shí)間源與主機(jī)保持同步，并且由主機(jī)將時(shí)間戳同步請(qǐng)求發(fā)送到每個(gè)傳感器，以使每個(gè)傳感器都在同一時(shí)間軸上。此外如果傳感器可以由外部信號(hào)觸發(fā)，則帶有晶振的特定電路硬件可以記錄精確的時(shí)間戳，該時(shí)間戳可用于在幾乎同時(shí)觸發(fā)每個(gè)傳感器。該方法被認(rèn)為是目前最有效的。

03．深度補(bǔ)全

激光點(diǎn)云的稀疏性極大地制約了3D感知算法并使之復(fù)雜化。深度補(bǔ)全旨在通過將稀疏的，不規(guī)則的深度數(shù)據(jù)，上采樣為密集的規(guī)則的數(shù)據(jù)來解決此問題?；谙鄼C(jī)-激光雷達(dá)融合的方法通常利用高分辨率圖像來引導(dǎo)深度上采樣，并采用（encoder-decoder）編碼器-解碼器架構(gòu)，這也意味著pixel-wise fusion。圖2是深度補(bǔ)全模型的發(fā)展時(shí)間軸和其對(duì)應(yīng)的數(shù)據(jù)融合層級(jí)。表I列出了KITTI深度補(bǔ)全基準(zhǔn)測(cè)試中各模型的結(jié)果比較和對(duì)應(yīng)的數(shù)據(jù)融合的層級(jí)，并在圖3中繪制成散點(diǎn)圖。

圖3． 深度補(bǔ)全模型的發(fā)展時(shí)間軸和其對(duì)應(yīng)的數(shù)據(jù)融合層級(jí)

表II． KITTI深度補(bǔ)全基準(zhǔn)測(cè)試中各模型的結(jié)果比較和對(duì)應(yīng)的數(shù)據(jù)融合的層級(jí)

當(dāng)前大多數(shù)研究使用單目圖像來引導(dǎo)深度補(bǔ)全。這些方法認(rèn)為圖像的顏色，材質(zhì)等信息包含著幾何信息，故可以將其作為深度上采樣的參考。與單目圖像相比，由立體相機(jī)的視差計(jì)算得到的幾何信息更豐富，更精確。在深度補(bǔ)全任務(wù)上，立體相機(jī)和激光雷達(dá)在理論上更具互補(bǔ)性，應(yīng)該能從中計(jì)算出更密集，更準(zhǔn)確的深度信息。但在實(shí)際應(yīng)用中，立體攝像機(jī)的有效距離范圍有限（與激光雷達(dá)的有效距離不匹配），且其在高遮擋，無紋理的環(huán)境中不可靠（如部分城市道路），這使其目前不太適用于自動(dòng)駕駛。

圖4． KITTI深度補(bǔ)全基準(zhǔn)測(cè)試中各模型的結(jié)果散點(diǎn)圖

各模型介紹與對(duì)比的詳細(xì)內(nèi)容見原文。

04．3D目標(biāo)識(shí)別

3D目標(biāo)檢測(cè)旨在3D空間中定位，分類并估計(jì)具備方向性的（bbox）目標(biāo)邊界框。當(dāng)前有兩種主要的目標(biāo)檢測(cè)流程：（Sequential/ two-stage）多階段和（single-shot/one-stage）單階段?；诙嚯A段的模型大體由（proposal stage）候選框階段和3D邊界框（3D bbox regression）回歸階段組成。在候選框階段，檢測(cè)并提出所有可能包含感興趣對(duì)象的區(qū)域。在（bbox）目標(biāo)邊界框回歸階段，根據(jù)候選的區(qū)域的特征對(duì)區(qū)域進(jìn)行進(jìn)一步甄別。但是，該模型的性能受到每個(gè)階段的限制。在另一方面，single-shot模型只包含一個(gè)階段，其通常以并行的方式處理2D和3D信息。3D對(duì)象檢測(cè)模型的發(fā)展時(shí)間軸和其對(duì)應(yīng)的數(shù)據(jù)融合層級(jí)如圖4所示。表II和圖6展示了在KITTI 3D目標(biāo)檢測(cè)基準(zhǔn)測(cè)試中各模型的性能對(duì)比和對(duì)應(yīng)的數(shù)據(jù)融合的層級(jí)。

圖5．3D對(duì)象檢測(cè)模型的發(fā)展時(shí)間軸和其對(duì)應(yīng)的數(shù)據(jù)融合層級(jí)

A． 基于（2D Proposal）2D候選區(qū)域的多階段模型：

這部分模型首先基于2D圖像語義生成2D候選區(qū)域，這使其能利用現(xiàn)成的圖像處理模型。更具體的來說，這些方法利用2D圖像目標(biāo)檢測(cè)器生成2D候選區(qū)域，并將其投影回3D點(diǎn)云空間中，形成3D搜索空間，并在這些3D搜索空間內(nèi)進(jìn)一步完成3D bbox的回歸檢測(cè)。這其中有兩種將2D候選區(qū)域轉(zhuǎn)換到3D點(diǎn)云空間的投影方法。第一個(gè)是將圖像平面中的邊界框投影到3D點(diǎn)云，從而形成一個(gè)錐形的3D搜索空間。而第二種方法將點(diǎn)云投影到圖像平面，將點(diǎn)云逐點(diǎn)與對(duì)應(yīng)的2D語義信息聯(lián)系起來。但在點(diǎn)云中，遠(yuǎn)處的或被遮擋的物體通常只由少量的稀疏點(diǎn)組成，這增加了第二階段中3D bbox回歸的難度。

表III． KITTI 3D目標(biāo)檢測(cè)基準(zhǔn)測(cè)試中各模型的性能對(duì)比和對(duì)應(yīng)的數(shù)據(jù)融合的層級(jí)。

B． 基于（3D Proposal）3D候選區(qū)域的多階段模型：

基于3D候選區(qū)域的模型直接從2D或3D數(shù)據(jù)中生成3D候選區(qū)域。其通過消除2D到3D轉(zhuǎn)換，極大地縮小了3D搜索空間。用于3D候選區(qū)域生成的常見方法包括（multi-view）多視角方法和（point cloud voxelization）點(diǎn)云體素化方法?；诙嘁暯堑姆椒ɡ命c(diǎn)云的鳥瞰（BEV representation）圖來生成3D候選區(qū)域。鳥瞰圖避免了透視遮擋，并保留了對(duì)象的方向信息和x，y坐標(biāo)的原始信息。這些方向和x，y坐標(biāo)信息對(duì)于3D對(duì)象檢測(cè)至關(guān)重要，且鳥瞰圖和其他視角之間的坐標(biāo)轉(zhuǎn)換較為直接。而基于點(diǎn)云體素化的模型，將連續(xù)的不規(guī)則數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換為離散的規(guī)則數(shù)據(jù)結(jié)構(gòu)。這讓應(yīng)用（standard 3D discrete convolution）標(biāo)準(zhǔn)3D離散卷積，并利用現(xiàn)有網(wǎng)絡(luò)模型來處理點(diǎn)云變得可能。其缺點(diǎn)是失去了部分空間分辨率，細(xì)粒度的3D結(jié)構(gòu)信息以及引入了（boundary artifacts）邊界痕跡。

圖6． KITTI 3D目標(biāo)檢測(cè)基準(zhǔn)測(cè)試中各模型的性能散點(diǎn)圖。 C． 單階段模型單階段模型將候選區(qū)域生成和bbox回歸階段融合為一個(gè)步驟，這些模型通常在計(jì)算效率上更高。這使它們更適合于移動(dòng)計(jì)算平臺(tái)上的實(shí)時(shí)應(yīng)用。

各模型介紹與對(duì)比的詳細(xì)內(nèi)容請(qǐng)見原文。

05．2D/3D語義分割

本節(jié)回顧了用于2D語義分割，3D語義分割和實(shí)例分割的現(xiàn)有Camera-LiDAR融合方法。2D / 3D語義分割旨在預(yù)測(cè)每個(gè)像素和每個(gè)點(diǎn)的類型標(biāo)簽，而實(shí)例分割還關(guān)心單個(gè)實(shí)例。圖6給出了3D語義分割網(wǎng)絡(luò)的時(shí)間順序概述和對(duì)應(yīng)的數(shù)據(jù)融合的層級(jí)。詳細(xì)內(nèi)容請(qǐng)見原文。

圖7． 3D語義分割網(wǎng)絡(luò)的發(fā)展時(shí)間軸和其對(duì)應(yīng)的數(shù)據(jù)融合層級(jí)

06．跟蹤

多目標(biāo)跟蹤（MOT）對(duì)于自動(dòng)駕駛汽車的決策是不可或缺的。為此，本節(jié)回顧了基于相機(jī)-激光雷達(dá)融合的對(duì)象跟蹤方法，并在表III中的KITTI多對(duì)象跟蹤基準(zhǔn)（汽車）［47］上比較了它們的性能。

A． Detection-Based Tracking （DBT）/Tracking-by-Detection

檢測(cè)跟蹤框架包括兩個(gè)階段。在第一階段為目標(biāo)檢測(cè)。第二階段在時(shí)間軸上將這些目標(biāo)關(guān)聯(lián)起來，并計(jì)算軌跡，這些軌跡可被表示成線性程序。

表IV． KITTI 跟蹤基準(zhǔn)測(cè)試中各模型的性能對(duì)比和對(duì)應(yīng)的方法。

責(zé)任編輯：gt