高分辨率和高級(jí)語(yǔ)義表示對(duì)于密集預(yù)測(cè)都至關(guān)重要。從經(jīng)驗(yàn)上看，低分辨率特征地圖通常實(shí)現(xiàn)更強(qiáng)的語(yǔ)義表示，而高分辨率特征地圖一般可以更好地識(shí)別邊緣等局部特征，但包含較弱的語(yǔ)義信息?，F(xiàn)有的最先進(jìn)的框架（如HRNet）保持了低分辨率和高分辨率特征地圖的并行性，并在不同分辨率之間反復(fù)交換信息。

然而，我們認(rèn)為，最低分辨率的特征地圖往往包含最強(qiáng)的語(yǔ)義信息，需要經(jīng)過更多層才能與高分辨率特征地圖合并，而對(duì)于高分辨率特征圖，每個(gè)卷積層的計(jì)算成本非常大，不需要經(jīng)過這么多層。因此，我們?cè)O(shè)計(jì)了一個(gè)U形高分辨率網(wǎng)絡(luò)（U-HRNet），它在語(yǔ)義表示最強(qiáng)的特征圖之后添加更多的階段，并放松了HRNet中的約束，即新添加的階段需要并行計(jì)算所有分辨率。

為低分辨率特征圖分配了更多計(jì)算，這大大改善了整體語(yǔ)義表示。U-HRNet是HRNet主干的替代品，可以在完全相同的訓(xùn)練和推理設(shè)置下，在多個(gè)語(yǔ)義分割和深度預(yù)測(cè)數(shù)據(jù)集上實(shí)現(xiàn)顯著改進(jìn)，而計(jì)算量幾乎沒有增加。

代碼可從PaddleSeg獲?。篽ttps://github.com/PaddlePaddle/PaddleSeg

1、簡(jiǎn)介

密集的預(yù)測(cè)任務(wù)，包括語(yǔ)義分割和深度估計(jì)等，是視覺理解系統(tǒng)的重要組成部分。密集預(yù)測(cè)任務(wù)需要預(yù)測(cè)像素級(jí)類別標(biāo)簽或回歸特定值，這比圖像級(jí)預(yù)測(cè)任務(wù)更具挑戰(zhàn)性。同時(shí)保持高分辨率和強(qiáng)語(yǔ)義信息是有效處理密集預(yù)測(cè)任務(wù)的關(guān)鍵。

高分辨率可確保最終預(yù)測(cè)粒度盡可能接近像素級(jí)別，并可獲得更精確的局部判別，例如更精確的邊緣。強(qiáng)大的語(yǔ)義信息確保了整體預(yù)測(cè)的準(zhǔn)確性，特別是對(duì)于難以區(qū)分或面積較大的實(shí)例。

深度卷積神經(jīng)網(wǎng)絡(luò)，如U-Net、DeepLab、HRNet，在FCN的設(shè)計(jì)之后，在密集預(yù)測(cè)任務(wù)中取得了令人興奮的結(jié)果。特別是高分辨率網(wǎng)絡(luò)（HRNet）在密集預(yù)測(cè)任務(wù)中取得了最先進(jìn)的結(jié)果，例如語(yǔ)義分割、人體姿勢(shì)估計(jì)等。HRNet能夠?qū)W習(xí)高分辨率表示，同時(shí)確保低分辨率特征圖和高分辨率特征圖之間的語(yǔ)義信息傳輸。

然而，作者發(fā)現(xiàn)HRNet仍有很大的改進(jìn)空間。經(jīng)?？梢钥吹酱竺娣e的區(qū)域被錯(cuò)誤地分類。例如，在圖1中，第2行顯示HRNet的結(jié)果。在圖1（a）和（b）中，整個(gè)實(shí)例被錯(cuò)誤分類，而在（c）中，一個(gè)大面積實(shí)例中的一些塊被錯(cuò)誤分類。這表明HRNet實(shí)現(xiàn)的語(yǔ)義表示仍然不夠好。作者認(rèn)為，這可能歸因于HRNet的宏觀結(jié)構(gòu)，可以概括為以下兩個(gè)方面：

HRNet最低分辨率分支的最終塊具有最強(qiáng)的語(yǔ)義表示，直接輸出，而不完全傳播到更高分辨率分支。

HRNet的低分辨率分支不夠深入，使得網(wǎng)絡(luò)的語(yǔ)義能力受到限制。然而，由于計(jì)算成本的顯著增加，在HRNet的最后兩個(gè)階段為更深的網(wǎng)絡(luò)增加模塊數(shù)顯然是不可取的。

U-Net在一定程度上緩解了上述兩個(gè)問題。然而，在U-Net中，每個(gè)階段只保留一個(gè)分辨率，不同尺度之間沒有融合，只有與殘差分支合并。作者認(rèn)為，HRNet的最大優(yōu)勢(shì)是能夠并行維護(hù)多尺度并始終執(zhí)行多尺度融合。

為了在不增加額外計(jì)算成本的情況下改進(jìn)高分辨率網(wǎng)絡(luò)的整體語(yǔ)義表示，作者提出了一種簡(jiǎn)單有效的網(wǎng)絡(luò)，稱為U形高分辨率網(wǎng)絡(luò)（U-HRNet）。它繼承了UNet的編解碼器結(jié)構(gòu)，有利于從最強(qiáng)語(yǔ)義特征映射到最高分辨率特征映射的嵌入傳播。同時(shí)，它完美地保留了HRNet的優(yōu)點(diǎn)，保持了多尺度并行，并始終執(zhí)行多尺度融合。

此外，它減少了高分辨率分支上的塊數(shù)，并將其計(jì)算重新分配給低分辨率分支，以獲得更大的語(yǔ)義容量，而無需添加更多計(jì)算。如圖1所示可以看到U-HRNet在困難對(duì)象和大面積實(shí)例的語(yǔ)義表示方面比HRNet更具優(yōu)勢(shì)。幸運(yùn)的是，U-HRNet也與OCR頭一起工作得很好，因?yàn)閁-HRNet專注于提高整個(gè)網(wǎng)絡(luò)的語(yǔ)義能力，這與OCR的優(yōu)勢(shì)沒有重疊，OCR旨在借助對(duì)象和類別之間的語(yǔ)義關(guān)系更好地標(biāo)記。

因此，本文的貢獻(xiàn)有兩點(diǎn)。

提出了一種簡(jiǎn)單有效的網(wǎng)絡(luò)U-HRNet，它在密集預(yù)測(cè)任務(wù)上的性能優(yōu)于HRNet而計(jì)算量幾乎沒有增加。

U-HRNet與OCR的結(jié)合為多個(gè)語(yǔ)義分割數(shù)據(jù)集設(shè)置了新的技術(shù)水平。

2、U型高分辨率網(wǎng)絡(luò)

2.1、Review of HRNet

HRNet是一種用于人體姿態(tài)估計(jì)的優(yōu)秀神經(jīng)網(wǎng)絡(luò)。之后，進(jìn)一步證明了HRNet可以很好地處理其他許多任務(wù)，如目標(biāo)檢測(cè)、語(yǔ)義分割。由此可見，HRNet不僅在高級(jí)語(yǔ)義表示方面很強(qiáng)，而且在低級(jí)空間細(xì)節(jié)方面也很強(qiáng)。如圖2（a）所示，1/4分辨率從網(wǎng)絡(luò)的開始到結(jié)束都是一致的，隨著網(wǎng)絡(luò)深度的增加，語(yǔ)義表示學(xué)習(xí)增加了更多的低分辨率，從而通過多分辨率融合提高了高分辨率表示。

然而，HRNet對(duì)于一些密集的預(yù)測(cè)任務(wù)可能并不完美。例如，語(yǔ)義分割是一個(gè)典型的密集分類任務(wù)，為了幫助像素預(yù)測(cè)其語(yǔ)義類別，引入高級(jí)全局信息非常重要。從這個(gè)角度來看發(fā)現(xiàn)HRNet有以下幾個(gè)缺點(diǎn)：

具有最強(qiáng)語(yǔ)義表示的1/32分辨率分支的最后一個(gè)塊直接輸出，而沒有得到充分利用。

高分辨率和低分辨率分支之間的計(jì)算分配沒有優(yōu)化，應(yīng)更多關(guān)注語(yǔ)義表示強(qiáng)的低分辨率分支。

2.2、Architecture of U-HRNet

1、主體結(jié)構(gòu)

繼HRNet之后，將圖像輸入到一個(gè)干塊中，將分辨率降低到1/4，主體輸出與1/4分辨率相同的特征圖。圖2（c）顯示了U-HRNet的主體。與U-Net一樣，其布局如圖2（b）所示，主體在宏觀范圍內(nèi)似乎是U形網(wǎng)絡(luò)，而在微觀范圍內(nèi)，它由幾個(gè)hr模塊組成。然而，每個(gè)hr模塊由不超過兩個(gè)分辨率分支組成。這種設(shè)計(jì)方式旨在解決第3.1節(jié)中提到的HRNet的缺點(diǎn)。重組的細(xì)節(jié)如下所述。

首先，刪除了HRNet最后兩個(gè)階段的高分辨率分支（階段3和階段4的1/4分辨率分支，階段4的1/8分辨率分支），這使得許多計(jì)算被釋放。

然后，為了改進(jìn)高分辨率輸出的語(yǔ)義表示，在最低分辨率階段之后添加了幾個(gè)階段。這些階段逐漸對(duì)要素圖進(jìn)行上采樣，并與之前階段特征合并。這使得最低分辨率階段輸出的語(yǔ)義表示最強(qiáng)的特征可以更早地與low-level高分辨率特征合并，從而通過充分分析最強(qiáng)的表示，后續(xù)階段能夠更精確地推斷空間細(xì)節(jié)。

最后，在不同階段重新安排表征模塊。在低分辨率階段增加了模塊，而在高分辨率階段減少了模塊，這在很大程度上改善了語(yǔ)義表示。此外，添加了一個(gè)具有1/32和1/64分辨率分支的stage，以生成更豐富的語(yǔ)義表示，而無需添加額外的更高分辨率分支。與UNet類似，在網(wǎng)絡(luò)的深度方向上設(shè)置了幾個(gè)Shortcut，分別連接第2階段和第8階段、第3階段和第7階段、第4階段和第6階段。這些Shortcut使網(wǎng)絡(luò)可以同時(shí)利用High-Level特征和Low-Level特征，同時(shí)使?jié)u變可以直接傳播到前面的階段。

2、融合模塊

對(duì)應(yīng)于主體中的Shortcut，在第8階段、第7階段和第6階段之前有三個(gè)融合模塊，分別將第2階段、第3階段和第4階段的高分辨率分支輸出的Low-Level特征與第7階段、第6階段和第5階段的高分辨分支的上采樣特征合并。

直覺上，可以簡(jiǎn)單地應(yīng)用高分辨率模塊中使用的融合方法，即添加兩個(gè)輸入特征，然后執(zhí)行ReLU函數(shù)進(jìn)行激活，如圖3中的fusion a所示。然而，假設(shè)根據(jù)U-Net的融合方法連接兩個(gè)輸入特征可以增強(qiáng)網(wǎng)絡(luò)的連通性。因此，首先將核大小為2的通道維度上的兩個(gè)輸入特性合并在一起，然后將它們作為輸出特性在通道之間連接起來，如圖3的Fusion B所示。

3、表征Head

對(duì)于表征Head，基本遵循HRNetV2。輸出的多分辨率特征來自階段5、階段6、階段7、階段8和階段9的較低分辨率分支。但是，由于增加了1/64分辨率，U-HRNet表征頭中卷積的輸入通道數(shù)是HRNetV2的兩倍。為了保持與HRNetV1表征頭類似的計(jì)算成本，通過一個(gè)核大小為2的池化操作傳遞多分辨率特性，然后將它們連接到通道維度中，作為表征頭的輸入。

2.3、Instantiation

U-HRNet的主體包含9個(gè)階段和5個(gè)分辨率流。分辨率為1/4、1/8、1/16、1/32、1/64。第一階段包含1個(gè)分支hr模塊，由4個(gè)瓶頸殘差塊組成，每個(gè)塊的寬度為64，然后是一個(gè)3×3卷積，將特征圖的寬度更改為C，表示為1/4分辨率流的寬度。第2至第8階段分別包含1、5、2、2、1、1、1hr模塊。

所有這些模塊都由兩個(gè)分支組成，每個(gè)分支由4個(gè)基本殘差塊組成。與第一階段一樣，最后一階段也包含1個(gè)分支hr模塊，而該模塊由4個(gè)基本殘差塊組成。最后，五個(gè)分辨率流的卷積寬度分別為C、2C、4C、8C和16C。

U-HRNet的布局如圖2（c）所示。此外，與U-HRNet相比，U-HRNet-slim有兩點(diǎn)不同，

第三階段由2hr模塊組成，而其他階段與U-HRNet相同

U-HRNet-small的hr模塊中的所有分支都包含2個(gè)瓶頸塊或基本塊。

2.4、分析

在U-HRNet中，除了第一級(jí)和最后一級(jí)之外，主要采用兩個(gè)分支hr模塊作為組成網(wǎng)絡(luò)的基本單元，而不是HRNet使用的多分辨率（兩個(gè)或多個(gè)）并行卷積和U-Net中的一個(gè)分支卷積序列。它帶來了一些有助于改進(jìn)語(yǔ)義表示的好處。

與HRNet相比，這兩個(gè)分支hr模塊放寬了在一定階段內(nèi)所有分辨率都需要并行計(jì)算的限制，同時(shí)又不失多分辨率推理的優(yōu)勢(shì)。這使得U-HRNet可以在低分辨率分支上附加比HRNet更多的計(jì)算，并進(jìn)一步改進(jìn)最強(qiáng)的語(yǔ)義表示。

與U-Net相比，雙分支hr模塊在多尺度表示學(xué)習(xí)上明顯優(yōu)于單分支卷積序列。此外，當(dāng)進(jìn)入下一個(gè)分辨率時(shí)，無論是下采樣還是上采樣，U-HRNet都會(huì)繼續(xù)保持之前的一個(gè)分辨率，并不斷融合兩個(gè)分辨率的特性。這使得網(wǎng)絡(luò)能夠充分利用之前學(xué)習(xí)到的信息，同時(shí)避免因分辨率變化而導(dǎo)致的空間或語(yǔ)義知識(shí)的丟失。

3、實(shí)驗(yàn)

3.1、消融實(shí)驗(yàn)

3.2、SOTA對(duì)比

審核編輯：劉清