為了解決大規(guī)模點云語義分割中的巨大標(biāo)記成本,我們提出了一種新的弱監(jiān)督環(huán)境下的混合對比正則化(HybridCR)框架,該框架與全監(jiān)督的框架相比具有競爭性。具體而言,HybridCR是第一個利用點一致性,并以端到端方式來使用對比正則化和偽標(biāo)記的框架。從根本上說,HybidCR明確有效地考慮了局部相鄰點之間的語義相似性和3D類的全局特征。我們進一步設(shè)計了一個動態(tài)點云增強器來生成多樣且魯棒的樣本視圖,其轉(zhuǎn)換參數(shù)與模型訓(xùn)練聯(lián)合優(yōu)化。通過大量實驗,HybridCR在室內(nèi)和室外數(shù)據(jù)集(如S3DIS、ScanNet-V2、Semantic3D和SemanticKITTI)上都比SOTA方法取得了顯著的性能改進。
引言
學(xué)習(xí)大規(guī)模點云的精確語義,是機器智能理解復(fù)雜3D場景的基本感知任務(wù)。現(xiàn)有的基于深度學(xué)習(xí)的方法嚴(yán)重依賴于用于訓(xùn)練的標(biāo)記點云數(shù)據(jù)的可用性和數(shù)量[5,21,22,29]。然而,3D point-wise標(biāo)記既耗時又費力。因此,我們的目標(biāo)是探索弱監(jiān)督學(xué)習(xí),以最大限度地提高數(shù)據(jù)效率并減少標(biāo)記3D點云的工作量。 最近,出現(xiàn)了幾種3D點云弱監(jiān)督語義分割方法,通常可分為三類:
一致性正則化,在隨機修改輸入或模型function后,利用預(yù)測分布的一致性約束。
偽標(biāo)記,也稱為自訓(xùn)練,使用模型預(yù)測作為監(jiān)督。
對比預(yù)訓(xùn)練,側(cè)重于模型預(yù)訓(xùn)練,然后使用較少的標(biāo)簽對下游任務(wù)進行微調(diào)。
雖然現(xiàn)有方法取得了令人鼓舞的成果,但仍有一些局限性有待解決。首先,他們沒有充分考慮大規(guī)模場景中相鄰類的語義屬性和3D類的全局特征,未能充分利用有限但有價值的標(biāo)記[33]。其次,許多pipelines [33,38]使用固定/人工的數(shù)據(jù)增強來獲得多視圖表示,導(dǎo)致次優(yōu)的學(xué)習(xí),因為增強的強度和類型強烈依賴于模型和數(shù)據(jù)集大小。此外,在fixed增強中忽略了樣本的形狀復(fù)雜度。第三,現(xiàn)有方法[9,37]通常涉及多個階段的預(yù)訓(xùn)練和微調(diào),與端到端訓(xùn)練方案相比,這增加了訓(xùn)練和部署的難度。 為了解決上述缺點,我們探索分別在標(biāo)記空間和特征空間中同時利用一致性和對比性。受最近3D PSD[38]和2D FixMatch[27]的啟發(fā),我們將偽標(biāo)簽和一致性正則化策略結(jié)合到大規(guī)模點云的端到端訓(xùn)練方案中。為了更好地使用對比信息,我們重新設(shè)計了錨點的正對和負(fù)對。一個關(guān)鍵的觀察結(jié)果是,高級語義場景理解不僅需要局部幾何特征,而且還需要全局幾何特征,使得點云實例的對比更加充分。此外,受分類任務(wù)中的PointAugment[15]的點云實例對比啟發(fā),我們進一步引入動態(tài)點云增強器,以提供一致性和對比正則化的轉(zhuǎn)換,并進行聯(lián)合優(yōu)化。 為了實現(xiàn)上述思想,我們提出了一種新的范式,稱為混合對比正則化(HybridCR),用于大規(guī)模點云的弱監(jiān)督語義分割,該范式包括局部和全局指導(dǎo)的對比學(xué)習(xí)以及動態(tài)點云變換。如圖1所示,局部引導(dǎo)對比正則化迫使不同視圖的數(shù)據(jù)樣本靠近其相鄰點,遠(yuǎn)離其他點。對于全局引導(dǎo)對比正則化,每個樣本都被要求靠近其類原型,遠(yuǎn)離不同類原型。從根本上講,HybridCR顯式有效地考慮了局部相鄰點之間的語義相似性和3D點云類的全局特征。此外,所提出的動態(tài)點云增強器使用多層感知機(MLP)和高斯噪聲來豐富上下文位移中的數(shù)據(jù)多樣性,其中增強器的參數(shù)可以與模型訓(xùn)練聯(lián)合優(yōu)化。大量實驗表明,HybridCR在室內(nèi)場景(即S3DIS[1]和ScanNet-V2[6])和室外場景(即Semantic3D[8]和SemanticKITTI[2])中都達到了SOTA性能,證明了提出的框架的有效性。 總之,貢獻有四個方面: ? 提出了框架HybridCR,第一個以端到端的方式利用點一致性和對比特性進行弱監(jiān)督點云語義分割。 ? 引入了局部和全局引導(dǎo)對比正則化,以促進high-level的3D語義場景理解任務(wù)。 ? 設(shè)計了一種新的動態(tài)點云增強器,用于轉(zhuǎn)換不同且穩(wěn)健的樣本視圖,并在整個訓(xùn)練過程中對其進行了聯(lián)合優(yōu)化。 ? 與最近的弱監(jiān)督方法相比,HybridCR取得了顯著的性能,在室內(nèi)和室外數(shù)據(jù)集中,AP分別提高了平均2.4%和1.0%。 圖1. 局部和全局的混合對比正則化。 1)左圖:鼓勵錨點與匹配的正點及其相鄰點(綠色圓圈)相似,而與負(fù)點及其相鄰點(紅色圓圈)不同。 2)右圖:鼓勵錨點與匹配的正點和屬于同一類別的其他點(綠色框中)相似,而與不同類別的負(fù)點(紅色框中)不同。
2、相關(guān)工作
2.1、弱監(jiān)督點云分割
弱監(jiān)督學(xué)習(xí)是降低高人工成本的有效方法。一些弱標(biāo)記方法已經(jīng)做了初步嘗試,例如標(biāo)記一小部分點[18、33、38]或語義類[31]。現(xiàn)有方法使用各種手段來提高模型的表達能力。它們可以大致分為三類: 一致性正則化 在弱監(jiān)督圖像分類中實現(xiàn)了透視性能[28、36、40]。Xu等人[33]介紹了一種點云特征的多分支監(jiān)督方法,且采用了兩種類型的點云增強和一致性正則化。Zhang等人[38]通過擾動自蒸餾為隱式信息傳播提供了額外的監(jiān)督。Shi等人[26]研究了label-efficient學(xué)習(xí),并引入了基于 super-point的主動學(xué)習(xí)策略。盡管受益于不同網(wǎng)絡(luò)分支的一致性,但它們沒有考慮特征空間中的對比特性。 偽標(biāo)記 根據(jù)由鄰域圖[11]或自訓(xùn)練[19,35]指定的訓(xùn)練模型[14,24]的預(yù)測創(chuàng)建監(jiān)督。在弱監(jiān)督環(huán)境中。Zhang等人[37]提出了一種基于轉(zhuǎn)移學(xué)習(xí)的方法,并引入稀疏偽標(biāo)簽來正則化網(wǎng)絡(luò)學(xué)習(xí)。Hu等人[18]提出了一種自訓(xùn)練策略,以利用偽標(biāo)簽來提高網(wǎng)絡(luò)性能。Cheng等人[4]利用動態(tài)標(biāo)簽傳播方案基于構(gòu)建的超點圖生成偽標(biāo)簽。然而,它們只使用偽標(biāo)簽來獲得更多的監(jiān)督信號,而忽略了標(biāo)簽空間中的一致性屬性。 對比預(yù)訓(xùn)練 首先由謝等人[32]提出,并通過提出點云場景的對比學(xué)習(xí)框架來啟動這項工作。然而,它主要關(guān)注具有100%標(biāo)簽的下游任務(wù)。Hou等人[9]利用場景的內(nèi)在屬性來擴展網(wǎng)絡(luò)可轉(zhuǎn)移性。Li等人[12]提出了引導(dǎo)點對比損失,并利用偽標(biāo)記學(xué)習(xí)區(qū)分特征。然而,它們只在特征空間中進行point-level的對比,而忽略了點云的內(nèi)在屬性,即幾何結(jié)構(gòu)和類語義。 HybridCR重新設(shè)計了大規(guī)模點云的局部和全局的正負(fù)對,并充分探索了如何以端到端的方式利用且增強一致性和對比性。
2.2、點云增強
現(xiàn)有網(wǎng)絡(luò)中的數(shù)據(jù)增強[33,38]主要包括隨機旋轉(zhuǎn)、縮放和抖動,這些都是在整個訓(xùn)練過程中手工/固定的。Li等人[15]提出了一種利用對抗學(xué)習(xí)策略的自動增強框架。Chen等人[3]通過實例之間的插值來說明這一點。Kim等人[13]利用局部加權(quán)變換產(chǎn)生非剛性變形。但是,他們只關(guān)注 object-level的點云。此外,在實際應(yīng)用中實現(xiàn)它們很復(fù)雜,這在訓(xùn)練期間給調(diào)整參數(shù)帶來了困難,并且僅關(guān)注object-level點云。我們引入了一個動態(tài)點云增強器,在訓(xùn)練期間為大規(guī)模點云生成各種變換。 圖2. 原始點云首先被輸入動態(tài)增強器以生成增強點。然后,原始點和增強點通過Siamese網(wǎng)絡(luò)生成模型對所有點的預(yù)測,以及高置信度的未標(biāo)記點的偽標(biāo)簽。Point-level的一致性損失Lcon和對比損失Lcra用于所有點的預(yù)測,而softmax交叉熵?fù)p失Lseg用于有標(biāo)記點的監(jiān)督。同時,偽標(biāo)簽用于計算每個類的原型。最后,HybridCR從局部和全局兩個角度進行,以形成局部和全局引導(dǎo)對比損失(即Llcl和Lgcl),為特征學(xué)習(xí)提供正則化。通過這種方式,HybridCR為端到端訓(xùn)練方案中的弱監(jiān)督框架服務(wù)。
3、方法
在本部分中,我們首先描述了第3.1節(jié)中的符號和預(yù)備知識。然后,我們在第3.2節(jié)中介紹了具有局部和全局引導(dǎo)對比正則化的HybridCR的一般框架。接下來,我們在3.3節(jié)中介紹動態(tài)點云增強器。最后,我們在第3.4節(jié)中介紹了training的總體目標(biāo)。
3.1、預(yù)備知識
問題設(shè)置和符號。
點級一致性和對比。點級一致性[33,38]已廣泛用于弱監(jiān)督點云語義分割,它將具有不同增強的關(guān)聯(lián)點對強制到Siamese網(wǎng)絡(luò)中,以具有相同的特征表示。形式上,點級一致性損失公式為
高級語義場景理解任務(wù)不僅需要局部信息,還需要全局信息,僅在point-level直接對比3D實例是不夠的[17,32]。因此,這促使我們探索更有效的對比策略,以充分利用點云在幾何結(jié)構(gòu)和類語義中的固有特性。
3.2、混合對比正則化
如圖2所示,我們?yōu)榇笠?guī)模點云提出了一個緊湊的弱監(jiān)督語義分割框架,該框架包含新型混合對比正則策略(HybridCR),且具有有效的動態(tài)點云增強器。原始點云首先被輸入到動態(tài)點云增強器,以生成不同的變換。然后,原始輸入點和增強點通過Siamese網(wǎng)絡(luò),使用模型對未標(biāo)記點的預(yù)測來生成偽標(biāo)簽。通過使用不同變換的匹配3D點對,鼓勵模型在訓(xùn)練期間學(xué)習(xí)相似和魯棒的特征。同時,生成的偽標(biāo)簽用于計算每個類的原型。最后,在局部和全局引導(dǎo)的角度上,進行HybridCR,以學(xué)習(xí)未標(biāo)記點和標(biāo)記點之間的特征關(guān)系,這也利用了標(biāo)記點的傳統(tǒng)分割損失,且具有點級一致性和對比損失。 3.2.1 局部引導(dǎo)對比正則化 局部鄰域信息對于點云對象的特征學(xué)習(xí)至關(guān)重要。例如,遮擋和孔洞始終存在于室內(nèi)和室外場景的對象中。如果模型從其他完整對象中學(xué)習(xí)局部結(jié)構(gòu)信息(球體、角點等),則可以在訓(xùn)練期間增強模型對不完整對象的魯棒性。而點云的局部特征主要來自于點及其鄰域,這啟迪我們通過提出的局部引導(dǎo)對比正則化,來建模點云的局域信息。為了實現(xiàn)這一點,我們首先查詢錨點的相鄰點,然后促使每個點的不同增強視圖靠近其相鄰點,遠(yuǎn)離其他點。
事實上,提出的局部引導(dǎo)對比損失更一般化為等式2。注意,如果K設(shè)置為1,等式4退化為等式2。 3.2.2 全局引導(dǎo)對比正則化
3.3、動態(tài)點云增強器
數(shù)據(jù)增強器是所提出的HybridCR中一個重要的組成部分,它生成各種錨點、正負(fù)樣本,并通過在輸入中添加特定噪聲來提取不變表示。受[15]的啟發(fā),我們使用MLP和高斯噪聲來實現(xiàn)可學(xué)習(xí)的動態(tài)點云增強器,它豐富了上下文位移中的數(shù)據(jù)多樣性,并在同一場景中生成不同的變換。
圖3. 動態(tài)點云增強器的架構(gòu)。與[33,38]中采用的傳統(tǒng)增強器相比,在訓(xùn)練期間進行了聯(lián)合優(yōu)化。
3.4、總體目標(biāo)
如上所述,在端到端地訓(xùn)練方案中,HybridCR可以作為弱監(jiān)督點云語義分割框架的有效對比正則化策略。網(wǎng)絡(luò)的總體目標(biāo)如下:
4、實驗
4.1、實驗設(shè)置
實驗數(shù)據(jù)集包含S3DIS[1]、ScanNetV2[6]、Semantic3D[8]和SemanticKITTI[2]。S3DIS是用于語義分割的常用室內(nèi)3D點云數(shù)據(jù)集。它有271個點云場景,跨越6個區(qū)域,共13個類別。ScanNet-V2也是一個室內(nèi)三維點云數(shù)據(jù)集,包含1613個三維掃描,共20個類別。整個數(shù)據(jù)集被分成訓(xùn)練集(1201個掃描)、驗證集(312個掃描)和測試集(100個掃描)。Semantic3D是一個室外數(shù)據(jù)集,它提供了一個具有超過40億個點的大規(guī)模標(biāo)記3D點云。它涵蓋了一系列不同的城市場景,原始3D點有8類,包含多種信息,如3D坐標(biāo)、RGB信息和強度。SemanticKITTI是一個大型戶外點云數(shù)據(jù)集,用于自動駕駛場景中的3D語義分割,共有19個類。數(shù)據(jù)集包含22個序列,這些序列被劃分為訓(xùn)練集(10個序列,有19k幀)、驗證集(1個序列,有4k幀)和測試集(11個序列,有20k幀)。 實現(xiàn)細(xì)節(jié)。我們使用初始學(xué)習(xí)率為0.001、動量為0.9的Adam優(yōu)化器,在NVIDIA RTX Titan GPU上為所有數(shù)據(jù)集訓(xùn)練100個epochs。相鄰點的數(shù)量K為16,batch-size為6,初始學(xué)習(xí)率為0.01,衰減率為0.98,每個epoch的迭代steps設(shè)置為500。注意,由于其有效性和效率,我們選擇基于點的backbone PSD[38]作為baseline。 評估協(xié)議。我們評估原始測試集中所有點的最終性能。為了進行定量比較,我們使用平均交并比(mIoU)作為度量標(biāo)準(zhǔn)。我們實驗研究了兩種類型的弱標(biāo)記:1pt和1%設(shè)置。此外,我們將HybridCR擴展到全監(jiān)督的方式。 表1 . S3DIS區(qū)域5的定量結(jié)果?!?”表示我們使用官方代碼訓(xùn)練的方法的結(jié)果。請注意,我們的1pt表示整個空間中每個類別僅有一個標(biāo)記點,而不是Xu等人[33]的小塊(例如1×1米)。在我們的1pt設(shè)置中,標(biāo)記點的數(shù)量占總點的0.03%,在Xu等人[33]中約為0.2%。
4.2、與SOTA方法比較
在S3DIS和ScanNet-V2上的定量結(jié)果。首先,我們將HybridCR與S3DIS Area-5上的SOTA方法進行了比較,其定量結(jié)果在表1中總結(jié)。顯然,與Zhang等人[37]、PSD[38]、Π模型[25]、MT[28]、Xu等人[33]和RandLA Net[10]相比,我們所提出的HybridCR在1pt和1%的設(shè)置下實現(xiàn)了最高的mIoU。例如,在1pt(0.03%)的設(shè)置時,我們的方法比PSD和RandLA Net分別高出3.3%和10.8%。此外,與Xu等人[33]相比,我們的方法還實現(xiàn)了7.0%的性能增益,Xu等人利用了約0.2%的更多點標(biāo)記。在1pt(0.03%)設(shè)置下的特定類方面,我們的方法顯著提高了性能,相對于PSD,“椅子”、“桌子”和“沙發(fā)”分別提高了8.7%、16.4%和8.9%。 對于1%的設(shè)置,我們的方法比PSD baseline獲得1.8%的mIoU增益,甚至超過Xu等人在設(shè)置為10%時[33]。為了解釋這一點,我們的方法通過添加所提出的hydrid對比正則化,從大規(guī)模點云數(shù)據(jù)中學(xué)習(xí)不同的幾何結(jié)構(gòu)?;诖?,我們的方法僅使用1%的點來優(yōu)于全監(jiān)督的RandLA-Net和PSD。為了進行公平的比較,我們還擴展了在 6-fold設(shè)置時、基于S3DIS數(shù)據(jù)集與其他方法的比較,其結(jié)果如表2所示。對于ScanNet-V2,與基于場景或者subcloud-level標(biāo)注的WyPR[23]和MPRM[31]相比,HybridCR在測試集上的1%設(shè)置下實現(xiàn)了56.8%的最高mIoU。同時,在相同數(shù)量的標(biāo)注下,HybridCR比Zhang等人實現(xiàn)了5.7%的mIoU增益。此外,在全監(jiān)督的情況下,我們的方法比RandLA-Net實現(xiàn)了2.1%的mIoU增益。 S3DIS和ScanNet-V2的定性結(jié)果。 我們分別在圖4和圖5中展示了S3DIS的定性結(jié)果和Scanne-V2的定量結(jié)果。在S3DIS上,與PSD相比,HybridCR在“板”和“椅子”上實現(xiàn)了更好的分割。此外,HybridCR的分割結(jié)果與真實情況非常一致。在ScanNet-V2上,我們觀察到HybridCR獲得了良好且真實的分割結(jié)果。在ScanNet-V2上,與PSD相比,HybridCR在“沙發(fā)”和“書桌”上表現(xiàn)良好。原因可能是,HybridCR可以有效地利用動態(tài)點云增強器生成的各種變換來提高表示能力并提高分割性能。 Semantic3D和SemanticKITTI的定量結(jié)果。我們進一步評估了在室外大型點云數(shù)據(jù)集Semantic3D(reduced-8)和SemanticKITTI上的HybridCR,并將結(jié)果分別顯示在表2中。對于Semantic3D,與Zhang等人[37]和PSD相比,我們的方法在1%的設(shè)置下也實現(xiàn)了更好的性能,mIoU改善了4.2%和1.0%。對于SemanticKITTI,我們的方法在1%的設(shè)置下,在驗證和測試數(shù)據(jù)集上報告的結(jié)果分別為51.9%和52.3%??梢钥闯?,我們的方法在標(biāo)注有限的情況下大大優(yōu)于其他基于點的方法。 Semantic3D和SemanticKITTI的定性結(jié)果。 我們分別在圖6和圖7中給出了Semantic3D和SemanticKITTI的定性結(jié)果。在Semantic3D上,我們的方法是對PSD的改進,特別是實現(xiàn)了對“建筑物”的精確分割。在SemanticKITTI上,可以看出,我們的方法實現(xiàn)了與ground-truth的一致性分割結(jié)果,特別是在“道路”和“汽車”中,這兩個場景在自動駕駛應(yīng)用中很難區(qū)分,但在稀疏的室外場景中很關(guān)鍵。結(jié)果證明了該方法在室外數(shù)據(jù)集上的有效性。 全監(jiān)督設(shè)置的結(jié)果。 基于室內(nèi)和室外數(shù)據(jù)集,我們進一步擴大了與當(dāng)前SOTA方法的全監(jiān)督設(shè)置上的比較,其定量結(jié)果在表2中總結(jié)??梢钥闯?,HybridCR在它們之間具有競爭力。例如,HybridCR在S3DIS和ScanNet-V2上分別以0.7%和2.1%的mIoU改進超過了RandLA Net,在SemanticKITTI上獲得0.1%mIoU改善。此外,在mIoU中,HybridCR在Semantic3D上比KPConv高1.8%。 圖4. S3DIS Area-5測試集的可視化結(jié)果。原始點云、語義標(biāo)簽、baseline結(jié)果和我們的結(jié)果,分別從左到右顯示。 圖5. ScanNetV2驗證集的可視化結(jié)果。原始點云、語義標(biāo)簽、基線結(jié)果和我們的結(jié)果,分別從左到右顯示。 表2. S3DIS 6-fold、ScanNetV2驗證集、Semantic3D(reduced-8)和SemanticKITTI驗證集的定量結(jié)果(mIoU(%)),帶有完全標(biāo)記數(shù)據(jù)和1%標(biāo)記數(shù)據(jù)。特別地是,在100%標(biāo)記數(shù)據(jù)的實驗中,我們的混合對比損失用作輔助特征學(xué)習(xí)損失?!?”表示我們使用官方代碼訓(xùn)練的方法的結(jié)果。 圖6. Semantic3D驗證集的可視化。原始點云、語義標(biāo)簽、基線結(jié)果和我們的結(jié)果,從左到右分別顯示。 圖7. SemanticKITTI驗證集的可視化結(jié)果。語義標(biāo)簽、基線結(jié)果和我們的結(jié)果,從左到右分別顯示。
4.3、消融研究
我們進一步評估消融研究的基本組件的有效性,包括動態(tài)點云增強器和局部/全局引導(dǎo)對比正則化。所有實驗均在S3DIS Area-5上進行,結(jié)果如表3所示。請注意,#1由PSD報告,而#8由HybridCR報告,我們使用平均值和標(biāo)準(zhǔn)偏差(5 runs)報告結(jié)果。 動態(tài)數(shù)據(jù)增廣器的有效性。為了驗證數(shù)據(jù)增廣帶來的改進,我們比較了Base。在帶有數(shù)據(jù)增強時,進行相比,在1pt和1%的設(shè)置下,#1和#2分別獲得了2.5%和1.0%的增益。對于#5和#8,在1pt和1%設(shè)置下,其分別比HybridCR獲得了0.4%和0.3%的增益。結(jié)果表明,通過不同的轉(zhuǎn)換,HybridCR從數(shù)據(jù)增強中獲得了許多好處。 局部引導(dǎo)對比損失的有效性。在1pt和1%設(shè)置下,從#1和#3的比較來看,它在mIoU方面分別比Base 優(yōu)于1.6%和0.4%。對于#7和#8,其分別比HybridCR提高0.5%和0.2%。這些結(jié)果表明。這進一步提高了性能,因為它在增強特征學(xué)習(xí)的同時,利用了模型訓(xùn)練期間的相鄰信息。 全局引導(dǎo)對比損失的有效性。類似地,從#1和#4的比較來看,它優(yōu)于Base。在1pt和1%的設(shè)置下分別增加2.0%和0.5%。對于#6和#8,它分別比HybridCR獲得1.3%和0.6%的增益。結(jié)果表明,全局引導(dǎo)利用類原型有效地提高了弱監(jiān)督語義分割任務(wù)的性能。 圖8. 1%設(shè)置下點embedding的可視化。(a) 是PSD的embedding,(b)是HybridCR的embedding。從S3DIS的測試集中隨機選擇場景。(c)是標(biāo)記點的數(shù)量與性能之間的關(guān)系。
4.4、分析
點embedding的可視化。如圖8(a)和(b)所示,與PSD相比,HybridCR學(xué)習(xí)的點embedding變得更加緊湊和分離。這表明,通過利用局部和全局引導(dǎo)對比損失以及動態(tài)點云增強器生成的有效變換,分割網(wǎng)絡(luò)可以生成更多的區(qū)別特征,并產(chǎn)生有前景的結(jié)果。 標(biāo)記點和性能。在圖8(c)中,我們進一步討論了性能與標(biāo)記比率{1pt,0.1%,1%,10%,50%,100%}之間的關(guān)系。隨著比率的增加,兩種方法的性能都有所提高,增長趨勢逐漸放緩。注意,當(dāng)比率小于1%時,性能略有下降,這表明保持一定量的監(jiān)督信號是必要的。此外,當(dāng)比率為10%時的性能接近100%,這表明不需要密集標(biāo)注來獲得良好的分割結(jié)果。 表3. S3DIS Area-5上不同組件的消融實驗情況。
5、結(jié)論
在本文中,我們提出了一種用于弱監(jiān)督大規(guī)模點云語義分割的混合對比正則化框架。利用我們提出的局部和全局引導(dǎo)對比正則化,網(wǎng)絡(luò)通過利用相鄰點和偽標(biāo)簽學(xué)習(xí)更多的鑒別特征。同時,我們提出了一種動態(tài)點云增強器,用于在訓(xùn)練過程中通過聯(lián)合優(yōu)化實現(xiàn)更多樣的轉(zhuǎn)換,從而有利于對比策略。室內(nèi)和室外數(shù)據(jù)集的大量實驗結(jié)果表明,和SOTA方法相比,HybridCR獲得了顯著的增益。此外,消融研究驗證了引入的關(guān)鍵部件的有效性。結(jié)果進一步證明了我們的方法利用有限標(biāo)記的大規(guī)模點云方面的有效性,并提高模型的泛化能力。
-
3D
+關(guān)注
關(guān)注
9文章
2875瀏覽量
107480 -
數(shù)據(jù)
+關(guān)注
關(guān)注
8文章
7002瀏覽量
88940 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5500瀏覽量
121111
原文標(biāo)題:HybridCR:基于混合對比正則化的弱監(jiān)督3D點云語義分割(CVPR 2022)
文章出處:【微信號:3D視覺工坊,微信公眾號:3D視覺工坊】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論