RM新时代网站-首页

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

用于弱監(jiān)督大規(guī)模點云語義分割的混合對比正則化框架

lhl545545 ? 來源:3D視覺工坊 ? 作者:3D視覺工坊 ? 2022-09-05 14:38 ? 次閱讀

為了解決大規(guī)模點云語義分割中的巨大標(biāo)記成本,我們提出了一種新的弱監(jiān)督環(huán)境下的混合對比正則化(HybridCR)框架,該框架與全監(jiān)督的框架相比具有競爭性。具體而言,HybridCR是第一個利用點一致性,并以端到端方式來使用對比正則化和偽標(biāo)記的框架。從根本上說,HybidCR明確有效地考慮了局部相鄰點之間的語義相似性和3D類的全局特征。我們進一步設(shè)計了一個動態(tài)點云增強器來生成多樣且魯棒的樣本視圖,其轉(zhuǎn)換參數(shù)與模型訓(xùn)練聯(lián)合優(yōu)化。通過大量實驗,HybridCR在室內(nèi)和室外數(shù)據(jù)集(如S3DIS、ScanNet-V2、Semantic3D和SemanticKITTI)上都比SOTA方法取得了顯著的性能改進。

引言

學(xué)習(xí)大規(guī)模點云的精確語義,是機器智能理解復(fù)雜3D場景的基本感知任務(wù)。現(xiàn)有的基于深度學(xué)習(xí)的方法嚴(yán)重依賴于用于訓(xùn)練的標(biāo)記點云數(shù)據(jù)的可用性和數(shù)量[5,21,22,29]。然而,3D point-wise標(biāo)記既耗時又費力。因此,我們的目標(biāo)是探索弱監(jiān)督學(xué)習(xí),以最大限度地提高數(shù)據(jù)效率并減少標(biāo)記3D點云的工作量。 最近,出現(xiàn)了幾種3D點云弱監(jiān)督語義分割方法,通常可分為三類:

一致性正則化,在隨機修改輸入或模型function后,利用預(yù)測分布的一致性約束。

偽標(biāo)記,也稱為自訓(xùn)練,使用模型預(yù)測作為監(jiān)督。

對比預(yù)訓(xùn)練,側(cè)重于模型預(yù)訓(xùn)練,然后使用較少的標(biāo)簽對下游任務(wù)進行微調(diào)。

雖然現(xiàn)有方法取得了令人鼓舞的成果,但仍有一些局限性有待解決。首先,他們沒有充分考慮大規(guī)模場景中相鄰類的語義屬性和3D類的全局特征,未能充分利用有限但有價值的標(biāo)記[33]。其次,許多pipelines [33,38]使用固定/人工的數(shù)據(jù)增強來獲得多視圖表示,導(dǎo)致次優(yōu)的學(xué)習(xí),因為增強的強度和類型強烈依賴于模型和數(shù)據(jù)集大小。此外,在fixed增強中忽略了樣本的形狀復(fù)雜度。第三,現(xiàn)有方法[9,37]通常涉及多個階段的預(yù)訓(xùn)練和微調(diào),與端到端訓(xùn)練方案相比,這增加了訓(xùn)練和部署的難度。 為了解決上述缺點,我們探索分別在標(biāo)記空間和特征空間中同時利用一致性和對比性。受最近3D PSD[38]和2D FixMatch[27]的啟發(fā),我們將偽標(biāo)簽和一致性正則化策略結(jié)合到大規(guī)模點云的端到端訓(xùn)練方案中。為了更好地使用對比信息,我們重新設(shè)計了錨點的正對和負(fù)對。一個關(guān)鍵的觀察結(jié)果是,高級語義場景理解不僅需要局部幾何特征,而且還需要全局幾何特征,使得點云實例的對比更加充分。此外,受分類任務(wù)中的PointAugment[15]的點云實例對比啟發(fā),我們進一步引入動態(tài)點云增強器,以提供一致性和對比正則化的轉(zhuǎn)換,并進行聯(lián)合優(yōu)化。 為了實現(xiàn)上述思想,我們提出了一種新的范式,稱為混合對比正則化(HybridCR),用于大規(guī)模點云的弱監(jiān)督語義分割,該范式包括局部和全局指導(dǎo)的對比學(xué)習(xí)以及動態(tài)點云變換。如圖1所示,局部引導(dǎo)對比正則化迫使不同視圖的數(shù)據(jù)樣本靠近其相鄰點,遠(yuǎn)離其他點。對于全局引導(dǎo)對比正則化,每個樣本都被要求靠近其類原型,遠(yuǎn)離不同類原型。從根本上講,HybridCR顯式有效地考慮了局部相鄰點之間的語義相似性和3D點云類的全局特征。此外,所提出的動態(tài)點云增強器使用多層感知機(MLP)和高斯噪聲來豐富上下文位移中的數(shù)據(jù)多樣性,其中增強器的參數(shù)可以與模型訓(xùn)練聯(lián)合優(yōu)化。大量實驗表明,HybridCR在室內(nèi)場景(即S3DIS[1]和ScanNet-V2[6])和室外場景(即Semantic3D[8]和SemanticKITTI[2])中都達到了SOTA性能,證明了提出的框架的有效性。 總之,貢獻有四個方面: ? 提出了框架HybridCR,第一個以端到端的方式利用點一致性和對比特性進行弱監(jiān)督點云語義分割。 ? 引入了局部和全局引導(dǎo)對比正則化,以促進high-level的3D語義場景理解任務(wù)。 ? 設(shè)計了一種新的動態(tài)點云增強器,用于轉(zhuǎn)換不同且穩(wěn)健的樣本視圖,并在整個訓(xùn)練過程中對其進行了聯(lián)合優(yōu)化。 ? 與最近的弱監(jiān)督方法相比,HybridCR取得了顯著的性能,在室內(nèi)和室外數(shù)據(jù)集中,AP分別提高了平均2.4%和1.0%。 6c557f60-2ca7-11ed-ba43-dac502259ad0.png圖1. 局部和全局的混合對比正則化。 1)左圖:鼓勵錨點與匹配的正點及其相鄰點(綠色圓圈)相似,而與負(fù)點及其相鄰點(紅色圓圈)不同。 2)右圖:鼓勵錨點與匹配的正點和屬于同一類別的其他點(綠色框中)相似,而與不同類別的負(fù)點(紅色框中)不同。

2、相關(guān)工作

2.1、弱監(jiān)督點云分割

弱監(jiān)督學(xué)習(xí)是降低高人工成本的有效方法。一些弱標(biāo)記方法已經(jīng)做了初步嘗試,例如標(biāo)記一小部分點[18、33、38]或語義類[31]。現(xiàn)有方法使用各種手段來提高模型的表達能力。它們可以大致分為三類: 一致性正則化 在弱監(jiān)督圖像分類中實現(xiàn)了透視性能[28、36、40]。Xu等人[33]介紹了一種點云特征的多分支監(jiān)督方法,且采用了兩種類型的點云增強和一致性正則化。Zhang等人[38]通過擾動自蒸餾為隱式信息傳播提供了額外的監(jiān)督。Shi等人[26]研究了label-efficient學(xué)習(xí),并引入了基于 super-point的主動學(xué)習(xí)策略。盡管受益于不同網(wǎng)絡(luò)分支的一致性,但它們沒有考慮特征空間中的對比特性。 偽標(biāo)記 根據(jù)由鄰域圖[11]或自訓(xùn)練[19,35]指定的訓(xùn)練模型[14,24]的預(yù)測創(chuàng)建監(jiān)督。在弱監(jiān)督環(huán)境中。Zhang等人[37]提出了一種基于轉(zhuǎn)移學(xué)習(xí)的方法,并引入稀疏偽標(biāo)簽來正則化網(wǎng)絡(luò)學(xué)習(xí)。Hu等人[18]提出了一種自訓(xùn)練策略,以利用偽標(biāo)簽來提高網(wǎng)絡(luò)性能。Cheng等人[4]利用動態(tài)標(biāo)簽傳播方案基于構(gòu)建的超點圖生成偽標(biāo)簽。然而,它們只使用偽標(biāo)簽來獲得更多的監(jiān)督信號,而忽略了標(biāo)簽空間中的一致性屬性。 對比預(yù)訓(xùn)練 首先由謝等人[32]提出,并通過提出點云場景的對比學(xué)習(xí)框架來啟動這項工作。然而,它主要關(guān)注具有100%標(biāo)簽的下游任務(wù)。Hou等人[9]利用場景的內(nèi)在屬性來擴展網(wǎng)絡(luò)可轉(zhuǎn)移性。Li等人[12]提出了引導(dǎo)點對比損失,并利用偽標(biāo)記學(xué)習(xí)區(qū)分特征。然而,它們只在特征空間中進行point-level的對比,而忽略了點云的內(nèi)在屬性,即幾何結(jié)構(gòu)和類語義。 HybridCR重新設(shè)計了大規(guī)模點云的局部和全局的正負(fù)對,并充分探索了如何以端到端的方式利用且增強一致性和對比性。

2.2、點云增強

現(xiàn)有網(wǎng)絡(luò)中的數(shù)據(jù)增強[33,38]主要包括隨機旋轉(zhuǎn)、縮放和抖動,這些都是在整個訓(xùn)練過程中手工/固定的。Li等人[15]提出了一種利用對抗學(xué)習(xí)策略的自動增強框架。Chen等人[3]通過實例之間的插值來說明這一點。Kim等人[13]利用局部加權(quán)變換產(chǎn)生非剛性變形。但是,他們只關(guān)注 object-level的點云。此外,在實際應(yīng)用中實現(xiàn)它們很復(fù)雜,這在訓(xùn)練期間給調(diào)整參數(shù)帶來了困難,并且僅關(guān)注object-level點云。我們引入了一個動態(tài)點云增強器,在訓(xùn)練期間為大規(guī)模點云生成各種變換。 6cad438a-2ca7-11ed-ba43-dac502259ad0.png圖2. 原始點云首先被輸入動態(tài)增強器以生成增強點。然后,原始點和增強點通過Siamese網(wǎng)絡(luò)生成模型對所有點的預(yù)測,以及高置信度的未標(biāo)記點的偽標(biāo)簽。Point-level的一致性損失Lcon和對比損失Lcra用于所有點的預(yù)測,而softmax交叉熵?fù)p失Lseg用于有標(biāo)記點的監(jiān)督。同時,偽標(biāo)簽用于計算每個類的原型。最后,HybridCR從局部和全局兩個角度進行,以形成局部和全局引導(dǎo)對比損失(即Llcl和Lgcl),為特征學(xué)習(xí)提供正則化。通過這種方式,HybridCR為端到端訓(xùn)練方案中的弱監(jiān)督框架服務(wù)。

3、方法

在本部分中,我們首先描述了第3.1節(jié)中的符號和預(yù)備知識。然后,我們在第3.2節(jié)中介紹了具有局部和全局引導(dǎo)對比正則化的HybridCR的一般框架。接下來,我們在3.3節(jié)中介紹動態(tài)點云增強器。最后,我們在第3.4節(jié)中介紹了training的總體目標(biāo)。

3.1、預(yù)備知識

問題設(shè)置和符號。

6cfaefcc-2ca7-11ed-ba43-dac502259ad0.png

點級一致性和對比。點級一致性[33,38]已廣泛用于弱監(jiān)督點云語義分割,它將具有不同增強的關(guān)聯(lián)點對強制到Siamese網(wǎng)絡(luò)中,以具有相同的特征表示。形式上,點級一致性損失公式為

6d193cc0-2ca7-11ed-ba43-dac502259ad0.png

6d27ef18-2ca7-11ed-ba43-dac502259ad0.png

6d5cd5e8-2ca7-11ed-ba43-dac502259ad0.png

高級語義場景理解任務(wù)不僅需要局部信息,還需要全局信息,僅在point-level直接對比3D實例是不夠的[17,32]。因此,這促使我們探索更有效的對比策略,以充分利用點云在幾何結(jié)構(gòu)和類語義中的固有特性。

3.2、混合對比正則化

如圖2所示,我們?yōu)榇笠?guī)模點云提出了一個緊湊的弱監(jiān)督語義分割框架,該框架包含新型混合對比正則策略(HybridCR),且具有有效的動態(tài)點云增強器。原始點云首先被輸入到動態(tài)點云增強器,以生成不同的變換。然后,原始輸入點和增強點通過Siamese網(wǎng)絡(luò),使用模型對未標(biāo)記點的預(yù)測來生成偽標(biāo)簽。通過使用不同變換的匹配3D點對,鼓勵模型在訓(xùn)練期間學(xué)習(xí)相似和魯棒的特征。同時,生成的偽標(biāo)簽用于計算每個類的原型。最后,在局部和全局引導(dǎo)的角度上,進行HybridCR,以學(xué)習(xí)未標(biāo)記點和標(biāo)記點之間的特征關(guān)系,這也利用了標(biāo)記點的傳統(tǒng)分割損失,且具有點級一致性和對比損失。 3.2.1 局部引導(dǎo)對比正則化 局部鄰域信息對于點云對象的特征學(xué)習(xí)至關(guān)重要。例如,遮擋和孔洞始終存在于室內(nèi)和室外場景的對象中。如果模型從其他完整對象中學(xué)習(xí)局部結(jié)構(gòu)信息(球體、角點等),則可以在訓(xùn)練期間增強模型對不完整對象的魯棒性。而點云的局部特征主要來自于點及其鄰域,這啟迪我們通過提出的局部引導(dǎo)對比正則化,來建模點云的局域信息。為了實現(xiàn)這一點,我們首先查詢錨點的相鄰點,然后促使每個點的不同增強視圖靠近其相鄰點,遠(yuǎn)離其他點。

6d7352b4-2ca7-11ed-ba43-dac502259ad0.png

事實上,提出的局部引導(dǎo)對比損失更一般化為等式2。注意,如果K設(shè)置為1,等式4退化為等式2。 3.2.2 全局引導(dǎo)對比正則化

6d9fb3a4-2ca7-11ed-ba43-dac502259ad0.png

3.3、動態(tài)點云增強器

數(shù)據(jù)增強器是所提出的HybridCR中一個重要的組成部分,它生成各種錨點、正負(fù)樣本,并通過在輸入中添加特定噪聲來提取不變表示。受[15]的啟發(fā),我們使用MLP和高斯噪聲來實現(xiàn)可學(xué)習(xí)的動態(tài)點云增強器,它豐富了上下文位移中的數(shù)據(jù)多樣性,并在同一場景中生成不同的變換。

6db56140-2ca7-11ed-ba43-dac502259ad0.png

6de61c40-2ca7-11ed-ba43-dac502259ad0.png圖3. 動態(tài)點云增強器的架構(gòu)。與[33,38]中采用的傳統(tǒng)增強器相比,在訓(xùn)練期間進行了聯(lián)合優(yōu)化。

3.4、總體目標(biāo)

如上所述,在端到端地訓(xùn)練方案中,HybridCR可以作為弱監(jiān)督點云語義分割框架的有效對比正則化策略。網(wǎng)絡(luò)的總體目標(biāo)如下:

6e040d0e-2ca7-11ed-ba43-dac502259ad0.png

4、實驗

4.1、實驗設(shè)置

實驗數(shù)據(jù)集包含S3DIS[1]、ScanNetV2[6]、Semantic3D[8]和SemanticKITTI[2]。S3DIS是用于語義分割的常用室內(nèi)3D點云數(shù)據(jù)集。它有271個點云場景,跨越6個區(qū)域,共13個類別。ScanNet-V2也是一個室內(nèi)三維點云數(shù)據(jù)集,包含1613個三維掃描,共20個類別。整個數(shù)據(jù)集被分成訓(xùn)練集(1201個掃描)、驗證集(312個掃描)和測試集(100個掃描)。Semantic3D是一個室外數(shù)據(jù)集,它提供了一個具有超過40億個點的大規(guī)模標(biāo)記3D點云。它涵蓋了一系列不同的城市場景,原始3D點有8類,包含多種信息,如3D坐標(biāo)、RGB信息和強度。SemanticKITTI是一個大型戶外點云數(shù)據(jù)集,用于自動駕駛場景中的3D語義分割,共有19個類。數(shù)據(jù)集包含22個序列,這些序列被劃分為訓(xùn)練集(10個序列,有19k幀)、驗證集(1個序列,有4k幀)和測試集(11個序列,有20k幀)。 實現(xiàn)細(xì)節(jié)。我們使用初始學(xué)習(xí)率為0.001、動量為0.9的Adam優(yōu)化器,在NVIDIA RTX Titan GPU上為所有數(shù)據(jù)集訓(xùn)練100個epochs。相鄰點的數(shù)量K為16,batch-size為6,初始學(xué)習(xí)率為0.01,衰減率為0.98,每個epoch的迭代steps設(shè)置為500。注意,由于其有效性和效率,我們選擇基于點的backbone PSD[38]作為baseline。 評估協(xié)議。我們評估原始測試集中所有點的最終性能。為了進行定量比較,我們使用平均交并比(mIoU)作為度量標(biāo)準(zhǔn)。我們實驗研究了兩種類型的弱標(biāo)記:1pt和1%設(shè)置。此外,我們將HybridCR擴展到全監(jiān)督的方式。 6e307ae2-2ca7-11ed-ba43-dac502259ad0.png表1 . S3DIS區(qū)域5的定量結(jié)果?!?”表示我們使用官方代碼訓(xùn)練的方法的結(jié)果。請注意,我們的1pt表示整個空間中每個類別僅有一個標(biāo)記點,而不是Xu等人[33]的小塊(例如1×1米)。在我們的1pt設(shè)置中,標(biāo)記點的數(shù)量占總點的0.03%,在Xu等人[33]中約為0.2%。

4.2、與SOTA方法比較

在S3DIS和ScanNet-V2上的定量結(jié)果。首先,我們將HybridCR與S3DIS Area-5上的SOTA方法進行了比較,其定量結(jié)果在表1中總結(jié)。顯然,與Zhang等人[37]、PSD[38]、Π模型[25]、MT[28]、Xu等人[33]和RandLA Net[10]相比,我們所提出的HybridCR在1pt和1%的設(shè)置下實現(xiàn)了最高的mIoU。例如,在1pt(0.03%)的設(shè)置時,我們的方法比PSD和RandLA Net分別高出3.3%和10.8%。此外,與Xu等人[33]相比,我們的方法還實現(xiàn)了7.0%的性能增益,Xu等人利用了約0.2%的更多點標(biāo)記。在1pt(0.03%)設(shè)置下的特定類方面,我們的方法顯著提高了性能,相對于PSD,“椅子”、“桌子”和“沙發(fā)”分別提高了8.7%、16.4%和8.9%。 對于1%的設(shè)置,我們的方法比PSD baseline獲得1.8%的mIoU增益,甚至超過Xu等人在設(shè)置為10%時[33]。為了解釋這一點,我們的方法通過添加所提出的hydrid對比正則化,從大規(guī)模點云數(shù)據(jù)中學(xué)習(xí)不同的幾何結(jié)構(gòu)?;诖?,我們的方法僅使用1%的點來優(yōu)于全監(jiān)督的RandLA-Net和PSD。為了進行公平的比較,我們還擴展了在 6-fold設(shè)置時、基于S3DIS數(shù)據(jù)集與其他方法的比較,其結(jié)果如表2所示。對于ScanNet-V2,與基于場景或者subcloud-level標(biāo)注的WyPR[23]和MPRM[31]相比,HybridCR在測試集上的1%設(shè)置下實現(xiàn)了56.8%的最高mIoU。同時,在相同數(shù)量的標(biāo)注下,HybridCR比Zhang等人實現(xiàn)了5.7%的mIoU增益。此外,在全監(jiān)督的情況下,我們的方法比RandLA-Net實現(xiàn)了2.1%的mIoU增益。 S3DIS和ScanNet-V2的定性結(jié)果。 我們分別在圖4和圖5中展示了S3DIS的定性結(jié)果和Scanne-V2的定量結(jié)果。在S3DIS上,與PSD相比,HybridCR在“板”和“椅子”上實現(xiàn)了更好的分割。此外,HybridCR的分割結(jié)果與真實情況非常一致。在ScanNet-V2上,我們觀察到HybridCR獲得了良好且真實的分割結(jié)果。在ScanNet-V2上,與PSD相比,HybridCR在“沙發(fā)”和“書桌”上表現(xiàn)良好。原因可能是,HybridCR可以有效地利用動態(tài)點云增強器生成的各種變換來提高表示能力并提高分割性能。 Semantic3D和SemanticKITTI的定量結(jié)果。我們進一步評估了在室外大型點云數(shù)據(jù)集Semantic3D(reduced-8)和SemanticKITTI上的HybridCR,并將結(jié)果分別顯示在表2中。對于Semantic3D,與Zhang等人[37]和PSD相比,我們的方法在1%的設(shè)置下也實現(xiàn)了更好的性能,mIoU改善了4.2%和1.0%。對于SemanticKITTI,我們的方法在1%的設(shè)置下,在驗證和測試數(shù)據(jù)集上報告的結(jié)果分別為51.9%和52.3%??梢钥闯?,我們的方法在標(biāo)注有限的情況下大大優(yōu)于其他基于點的方法。 Semantic3D和SemanticKITTI的定性結(jié)果。 我們分別在圖6和圖7中給出了Semantic3D和SemanticKITTI的定性結(jié)果。在Semantic3D上,我們的方法是對PSD的改進,特別是實現(xiàn)了對“建筑物”的精確分割。在SemanticKITTI上,可以看出,我們的方法實現(xiàn)了與ground-truth的一致性分割結(jié)果,特別是在“道路”和“汽車”中,這兩個場景在自動駕駛應(yīng)用中很難區(qū)分,但在稀疏的室外場景中很關(guān)鍵。結(jié)果證明了該方法在室外數(shù)據(jù)集上的有效性。 全監(jiān)督設(shè)置的結(jié)果。 基于室內(nèi)和室外數(shù)據(jù)集,我們進一步擴大了與當(dāng)前SOTA方法的全監(jiān)督設(shè)置上的比較,其定量結(jié)果在表2中總結(jié)??梢钥闯?,HybridCR在它們之間具有競爭力。例如,HybridCR在S3DIS和ScanNet-V2上分別以0.7%和2.1%的mIoU改進超過了RandLA Net,在SemanticKITTI上獲得0.1%mIoU改善。此外,在mIoU中,HybridCR在Semantic3D上比KPConv高1.8%。 6e5f67c6-2ca7-11ed-ba43-dac502259ad0.png圖4. S3DIS Area-5測試集的可視化結(jié)果。原始點云、語義標(biāo)簽、baseline結(jié)果和我們的結(jié)果,分別從左到右顯示。 6e9e17c8-2ca7-11ed-ba43-dac502259ad0.png圖5. ScanNetV2驗證集的可視化結(jié)果。原始點云、語義標(biāo)簽、基線結(jié)果和我們的結(jié)果,分別從左到右顯示。 6ee2a4ba-2ca7-11ed-ba43-dac502259ad0.png表2. S3DIS 6-fold、ScanNetV2驗證集、Semantic3D(reduced-8)和SemanticKITTI驗證集的定量結(jié)果(mIoU(%)),帶有完全標(biāo)記數(shù)據(jù)和1%標(biāo)記數(shù)據(jù)。特別地是,在100%標(biāo)記數(shù)據(jù)的實驗中,我們的混合對比損失用作輔助特征學(xué)習(xí)損失?!?”表示我們使用官方代碼訓(xùn)練的方法的結(jié)果。 6ef2b1ac-2ca7-11ed-ba43-dac502259ad0.png圖6. Semantic3D驗證集的可視化。原始點云、語義標(biāo)簽、基線結(jié)果和我們的結(jié)果,從左到右分別顯示。 6f31f25e-2ca7-11ed-ba43-dac502259ad0.png圖7. SemanticKITTI驗證集的可視化結(jié)果。語義標(biāo)簽、基線結(jié)果和我們的結(jié)果,從左到右分別顯示。

4.3、消融研究

我們進一步評估消融研究的基本組件的有效性,包括動態(tài)點云增強器和局部/全局引導(dǎo)對比正則化。所有實驗均在S3DIS Area-5上進行,結(jié)果如表3所示。請注意,#1由PSD報告,而#8由HybridCR報告,我們使用平均值和標(biāo)準(zhǔn)偏差(5 runs)報告結(jié)果。 動態(tài)數(shù)據(jù)增廣器的有效性。為了驗證數(shù)據(jù)增廣帶來的改進,我們比較了Base。在帶有數(shù)據(jù)增強時,進行相比,在1pt和1%的設(shè)置下,#1和#2分別獲得了2.5%和1.0%的增益。對于#5和#8,在1pt和1%設(shè)置下,其分別比HybridCR獲得了0.4%和0.3%的增益。結(jié)果表明,通過不同的轉(zhuǎn)換,HybridCR從數(shù)據(jù)增強中獲得了許多好處。 局部引導(dǎo)對比損失的有效性。在1pt和1%設(shè)置下,從#1和#3的比較來看,它在mIoU方面分別比Base 優(yōu)于1.6%和0.4%。對于#7和#8,其分別比HybridCR提高0.5%和0.2%。這些結(jié)果表明。這進一步提高了性能,因為它在增強特征學(xué)習(xí)的同時,利用了模型訓(xùn)練期間的相鄰信息。 全局引導(dǎo)對比損失的有效性。類似地,從#1和#4的比較來看,它優(yōu)于Base。在1pt和1%的設(shè)置下分別增加2.0%和0.5%。對于#6和#8,它分別比HybridCR獲得1.3%和0.6%的增益。結(jié)果表明,全局引導(dǎo)利用類原型有效地提高了弱監(jiān)督語義分割任務(wù)的性能。 6f591a32-2ca7-11ed-ba43-dac502259ad0.png圖8. 1%設(shè)置下點embedding的可視化。(a) 是PSD的embedding,(b)是HybridCR的embedding。從S3DIS的測試集中隨機選擇場景。(c)是標(biāo)記點的數(shù)量與性能之間的關(guān)系。

4.4、分析

點embedding的可視化。如圖8(a)和(b)所示,與PSD相比,HybridCR學(xué)習(xí)的點embedding變得更加緊湊和分離。這表明,通過利用局部和全局引導(dǎo)對比損失以及動態(tài)點云增強器生成的有效變換,分割網(wǎng)絡(luò)可以生成更多的區(qū)別特征,并產(chǎn)生有前景的結(jié)果。 標(biāo)記點和性能。在圖8(c)中,我們進一步討論了性能與標(biāo)記比率{1pt,0.1%,1%,10%,50%,100%}之間的關(guān)系。隨著比率的增加,兩種方法的性能都有所提高,增長趨勢逐漸放緩。注意,當(dāng)比率小于1%時,性能略有下降,這表明保持一定量的監(jiān)督信號是必要的。此外,當(dāng)比率為10%時的性能接近100%,這表明不需要密集標(biāo)注來獲得良好的分割結(jié)果。 6f6effb4-2ca7-11ed-ba43-dac502259ad0.png表3. S3DIS Area-5上不同組件的消融實驗情況。

5、結(jié)論

在本文中,我們提出了一種用于弱監(jiān)督大規(guī)模點云語義分割的混合對比正則化框架。利用我們提出的局部和全局引導(dǎo)對比正則化,網(wǎng)絡(luò)通過利用相鄰點和偽標(biāo)簽學(xué)習(xí)更多的鑒別特征。同時,我們提出了一種動態(tài)點云增強器,用于在訓(xùn)練過程中通過聯(lián)合優(yōu)化實現(xiàn)更多樣的轉(zhuǎn)換,從而有利于對比策略。室內(nèi)和室外數(shù)據(jù)集的大量實驗結(jié)果表明,和SOTA方法相比,HybridCR獲得了顯著的增益。此外,消融研究驗證了引入的關(guān)鍵部件的有效性。結(jié)果進一步證明了我們的方法利用有限標(biāo)記的大規(guī)模點云方面的有效性,并提高模型的泛化能力。

審核編輯:彭靜
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 3D
    3D
    +關(guān)注

    關(guān)注

    9

    文章

    2875

    瀏覽量

    107480
  • 數(shù)據(jù)
    +關(guān)注

    關(guān)注

    8

    文章

    7002

    瀏覽量

    88940
  • 深度學(xué)習(xí)
    +關(guān)注

    關(guān)注

    73

    文章

    5500

    瀏覽量

    121111

原文標(biāo)題:HybridCR:基于混合對比正則化的弱監(jiān)督3D點云語義分割(CVPR 2022)

文章出處:【微信號:3D視覺工坊,微信公眾號:3D視覺工坊】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    一種基于機器學(xué)習(xí)的建筑物分割掩模自動正則和多邊形方法

    摘要我們提出了一種基于機器學(xué)習(xí)的建筑物分割掩模自動正則和多邊形方法。以圖像為輸入,首先使用通用完全卷積網(wǎng)絡(luò)( FCN )預(yù)測建筑物分割
    發(fā)表于 09-01 07:19

    van-自然和醫(yī)學(xué)圖像的深度語義分割:網(wǎng)絡(luò)結(jié)構(gòu)

    feature每個做softmax prediction,就可以獲得32*upsampled prediction(分割圖)。FCN這三個創(chuàng)新有哪些?全卷積:用于解決逐像素的預(yù)測
    發(fā)表于 12-28 11:06

    一個benchmark實現(xiàn)大規(guī)模數(shù)據(jù)集上的OOD檢測

    操作,感知的環(huán)境類別也更多。因此,針對大規(guī)模圖像分類任務(wù)的OOD檢測算法的開發(fā)和評估存在一個關(guān)鍵的gap。本文首先志在提出一個benchmark實現(xiàn)大規(guī)模數(shù)據(jù)集上的OOD檢測。本文指出,隨著語義類別
    發(fā)表于 08-31 15:11

    監(jiān)督的譜聚類圖像分割

    譜聚類判別割(Dcut)計算正則相似度矩陣及其特征向量比較耗時,對于大規(guī)模矩陣特征值問題,隱式重啟動Amoldi方法(IRAM)能夠快速收斂到模值最大的☆個特征值(即主導(dǎo)特征值)。因此本文
    發(fā)表于 11-13 11:17 ?4次下載

    語義分割算法系統(tǒng)介紹

    圖像語義分割是圖像處理和是機器視覺技術(shù)中關(guān)于圖像理解的重要任務(wù)。語義分割即是對圖像中每一個像素進行分類,確定每個
    的頭像 發(fā)表于 11-05 10:34 ?6681次閱讀

    分析總結(jié)基于深度神經(jīng)網(wǎng)絡(luò)的圖像語義分割方法

    語義分割監(jiān)督學(xué)習(xí)圖像語義分割,對每種方法中代表性算法的效果以及優(yōu)缺點進行
    發(fā)表于 03-19 14:14 ?21次下載
    分析總結(jié)基于深度神經(jīng)網(wǎng)絡(luò)的圖像<b class='flag-5'>語義</b><b class='flag-5'>分割</b>方法

    基于深度學(xué)習(xí)的三維語義分割研究分析

    近年來,深度傳感器和三維激光掃描儀的普及推動了三維處理方法的快速發(fā)展。語義分割作為理解三
    發(fā)表于 04-01 14:48 ?16次下載
    基于深度學(xué)習(xí)的三維<b class='flag-5'>點</b><b class='flag-5'>云</b><b class='flag-5'>語義</b><b class='flag-5'>分割</b>研究分析

    如何縮小監(jiān)督信號與密集預(yù)測之間的差距

    導(dǎo)讀本文圍繞非完全監(jiān)督下的圖像分割方法最新綜述,講述用于解決“如何縮小監(jiān)督信號與密集預(yù)測之間的差距”的四種通用的啟發(fā)式先驗。
    的頭像 發(fā)表于 07-13 10:51 ?1161次閱讀

    第一個大規(guī)模的自監(jiān)督預(yù)訓(xùn)練MAE算法Voxel-MAE

    Voxel-MAE證明了對大規(guī)模進行基于掩碼的自監(jiān)督預(yù)訓(xùn)練學(xué)習(xí),來提高無人車的感知性能是可行的。KITTI、nuScenes、Waymo數(shù)據(jù)集上,SECOND、CenterPoin
    的頭像 發(fā)表于 10-21 16:15 ?4052次閱讀

    普通視覺Transformer(ViT)用于語義分割的能力

    本文探討了普通視覺Transformer(ViT)用于語義分割的能力,并提出了SegViT。以前基于ViT的分割網(wǎng)絡(luò)通常從ViT的輸出中學(xué)習(xí)像素級表示。不同的是,本文利用基本的組件注意
    的頭像 發(fā)表于 10-31 09:57 ?5092次閱讀

    分割相較圖像分割的優(yōu)勢是啥?

    自動駕駛領(lǐng)域的下游任務(wù),我認(rèn)為主要包括目標(biāo)檢測、語義分割、實例分割和全景分割。其中目標(biāo)檢測是指在區(qū)域中提取目標(biāo)的候選框并分類,語義
    的頭像 發(fā)表于 12-14 14:25 ?2737次閱讀

    分割技術(shù)的發(fā)展現(xiàn)狀及挑戰(zhàn)

    分割技術(shù)是指將三維空間中的數(shù)據(jù)分割成若干個具有相似屬性(如形狀、顏色、紋理等)的區(qū)域,從
    的頭像 發(fā)表于 05-24 17:26 ?1129次閱讀

    基于深度學(xué)習(xí)的分割的方法介紹

      摘 要:分割數(shù)據(jù)理解中的一個關(guān)鍵技術(shù),但傳統(tǒng)算法無法進行實時語義
    發(fā)表于 07-20 15:23 ?3次下載

    一種在線激光雷達語義分割框架MemorySeg

    。該框架旨在解決在激光雷達表示中引入記憶的若干挑戰(zhàn),包括遮擋、資源限制和動態(tài)場景。作者引入了一種級鄰域變化正則器,用于抑制局部三維鄰域內(nèi)
    的頭像 發(fā)表于 11-21 10:48 ?593次閱讀
    一種在線激光雷達<b class='flag-5'>語義</b><b class='flag-5'>分割</b><b class='flag-5'>框架</b>MemorySeg

    圖像語義分割的實用性是什么

    什么是圖像語義分割 圖像語義分割是一種將圖像中的所有像素點按照其語義類別進行分類的任務(wù)。與傳統(tǒng)的圖像分類和目標(biāo)檢測任務(wù)不同,
    的頭像 發(fā)表于 07-17 09:56 ?415次閱讀
    RM新时代网站-首页