作者：Ching (Chingis)編譯：ronghuaiyang來源：AI公園

導(dǎo)讀

對(duì)目標(biāo)檢測(cè)后處理中的NMS和WBF的解釋和對(duì)比。目前，計(jì)算機(jī)視覺在許多地方都有重要的應(yīng)用，例如自動(dòng)駕駛汽車、監(jiān)控系統(tǒng)和圖像識(shí)別。計(jì)算機(jī)視覺的主要挑戰(zhàn)之一是目標(biāo)檢測(cè)，它涉及識(shí)別和定位圖像和視頻中的目標(biāo)。為了提高目標(biāo)檢測(cè)系統(tǒng)的性能，研究人員和從業(yè)者開發(fā)了各種技術(shù)，例如模型集成和測(cè)試時(shí)增強(qiáng)（TTA）。

模型集成是組合多個(gè)模型的預(yù)測(cè)以提高系統(tǒng)整體性能的過程。這可以通過對(duì)多個(gè)模型的預(yù)測(cè)求平均值，或使用更復(fù)雜的方法（如加權(quán)框融合 （WBF））來組合預(yù)測(cè)來完成。集成方法可以通過減少過擬合的影響并提高系統(tǒng)的魯棒性來顯著提高目標(biāo)檢測(cè)系統(tǒng)的性能。

測(cè)試時(shí)增強(qiáng) （TTA） 是另一種用于提高目標(biāo)檢測(cè)系統(tǒng)性能的技術(shù)。它在測(cè)試期間將各種數(shù)據(jù)增強(qiáng)技術(shù)（例如旋轉(zhuǎn)、縮放和翻轉(zhuǎn)）應(yīng)用于輸入圖像。這可以通過使系統(tǒng)對(duì)輸入數(shù)據(jù)的微小變化更加不變來幫助提高系統(tǒng)的魯棒性。TTA還可以通過提供額外的數(shù)據(jù)供檢測(cè)器學(xué)習(xí)來幫助提高系統(tǒng)的性能。

在本文中，我們將探索和比較非最大抑制 （NMS） 和加權(quán)框融合 （WBF） 以提高目標(biāo)檢測(cè)系統(tǒng)的性能。

非最大值抑制

非極大值抑制 (NMS) 是一種后處理技術(shù)，用于去除目標(biāo)檢測(cè)器生成的重疊框。它常用于計(jì)算機(jī)視覺中的目標(biāo)檢測(cè)任務(wù)，例如人臉檢測(cè)、目標(biāo)跟蹤以及圖像和視頻中的目標(biāo)檢測(cè)。

NMS 背后的基本思想是選擇置信度得分最高的框，然后刪除與其顯著重疊的其他框。重復(fù)此過程，直到考慮了所有框。這有助于減少目標(biāo)檢測(cè)中的誤報(bào)數(shù)量，因?yàn)槟繕?biāo)檢測(cè)器通常會(huì)生成對(duì)同一目標(biāo)的多次檢測(cè)。

計(jì)算兩個(gè)邊界框之間重疊的最常見方法是使用交并比 (IoU) 指標(biāo)。

IoU(A,B) = (A ∩ B) / (A ∪ B)

其中 A 和 B 是邊界框的面積，A ∩ B 是它們相交的面積。通常，為 IoU 度量設(shè)置一個(gè)閾值，任何 IoU 大于該閾值的邊界框都被認(rèn)為是重復(fù)檢測(cè)并被刪除。

加權(quán)框融合

加權(quán)框融合（WBF）是一種提高目標(biāo)檢測(cè)系統(tǒng)性能的強(qiáng)大技術(shù)。它是一種將多個(gè)邊界框或感興趣區(qū)域 (ROI) 的結(jié)果組合成一個(gè)更準(zhǔn)確、更穩(wěn)定的結(jié)果的方法。當(dāng)使用多個(gè)模型或算法來檢測(cè)圖像或視頻中的目標(biāo)并且需要組合結(jié)果以提高整體性能時(shí)，該技術(shù)特別有用。

從本質(zhì)上講，WBF 是一種通過根據(jù)各種標(biāo)準(zhǔn)為每個(gè)邊界框分配權(quán)重來組合多個(gè)目標(biāo)檢測(cè)器結(jié)果的方法。然后使用這些權(quán)重將邊界框組合成一個(gè)更穩(wěn)健的結(jié)果。

WBF算法的工作步驟如下：

1. 每個(gè)模型的每個(gè)預(yù)測(cè)框（或通過 TTA 獲得的預(yù)測(cè)）都會(huì)添加到單個(gè)列表 B 中，然后按置信度分?jǐn)?shù) C 的降序排序。
2. 分別為框組和融合框?qū)嵗碌目樟斜?L 和 F。因此，列表L中的每個(gè)元素都是由于重疊而形成的一組框，而F中的每個(gè)位置僅包含一個(gè)框，即融合框。
3. 在一個(gè)循環(huán)中迭代 B 中的預(yù)測(cè)框，并檢查列表 F 中的匹配框（IoU > THR）。
4. 如果未找到匹配項(xiàng)，則將 B 中的框添加到列表 L 和 F 的末尾作為新條目；繼續(xù)進(jìn)行 B 中的下一個(gè)框。
5. 如果找到匹配，則將此框添加到列表L中與F中的匹配框?qū)?yīng)的位置處。
6. 使用框組 L[pos]中的所有內(nèi)容重新計(jì)算 F[pos]中的框坐標(biāo)和置信度得分。將置信度得分設(shè)置為 L[pos]中所有框的平均置信度。融合框的坐標(biāo)是形成它的框的坐標(biāo)的加權(quán)和，其中權(quán)重是對(duì)應(yīng)框的置信度分?jǐn)?shù)。最終 ROI = Σ (權(quán)重 i * ROIi) / Σ 權(quán)重 i。其中 ROIi 是第 i 個(gè)邊界框，weighti 是分配給該邊界框的權(quán)重，并且對(duì)正在考慮進(jìn)行融合的所有邊界框進(jìn)行求和。最終的 ROI 是計(jì)算得出的組合邊界框。
7. 最后，重新調(diào)整 F 列表中的置信度分?jǐn)?shù)：將其乘以組中的框數(shù)（定義為下面的 T），然后除以模型數(shù) N。如果組中的框數(shù)量較少，則可能意味著只有少數(shù)模型可以預(yù)測(cè)它。因此，我們需要降低此類情況的置信度分?jǐn)?shù)。

WBF 可以成為提高目標(biāo)檢測(cè)系統(tǒng)性能的強(qiáng)大工具，并且越來越多地被廣泛應(yīng)用于自動(dòng)駕駛汽車、監(jiān)控系統(tǒng)和計(jì)算機(jī)視覺的許多其他領(lǐng)域。通過集成WBF技術(shù)，目標(biāo)檢測(cè)系統(tǒng)可以變得更加魯棒和準(zhǔn)確，并且即使在存在噪聲和遮擋的情況下也可以表現(xiàn)得更好。

NMS vs WBF加權(quán)框融合（WBF）和非極大值抑制（NMS）都是用于提高目標(biāo)檢測(cè)系統(tǒng)性能的技術(shù)。然而，它們的使用方式不同，并且具有不同的權(quán)衡。NMS 是一種后處理技術(shù)，用于刪除目標(biāo)檢測(cè)器生成的重疊邊界框。它的工作原理是選擇置信度得分最高的邊界框，然后刪除與其顯著重疊的任何其他邊界框。重復(fù)此過程，直到考慮了所有邊界框。NMS 是一種簡(jiǎn)單、快速且有效的方法，可減少目標(biāo)檢測(cè)中的誤報(bào)數(shù)量。

另一方面，WBF 是一種用于組合多個(gè)邊界框（或感興趣區(qū)域）的技術(shù)，以產(chǎn)生更準(zhǔn)確和穩(wěn)定的結(jié)果。它通常用于使用多個(gè)模型或算法來檢測(cè)圖像或視頻中的對(duì)象，并且需要組合結(jié)果以提高整體性能的情況。WBF 的工作原理是根據(jù)檢測(cè)置信度、與其他邊界框的重疊或其他標(biāo)準(zhǔn)等因素為每個(gè)邊界框分配權(quán)重。然后使用這些權(quán)重將邊界框組合成一個(gè)更穩(wěn)健的結(jié)果。

實(shí)驗(yàn)評(píng)估2個(gè)不同模型的集成表 1 顯示了兩個(gè)模型的 MS COCO 驗(yàn)證集的結(jié)果。使用四種不同的技術(shù)組合預(yù)測(cè)：NMS、Soft NMS、NMW 和 WBF。我們看到，在不同的設(shè)置下，WBF 方法明顯優(yōu)于其他方法，帶來了更大的改進(jìn)。測(cè)試時(shí)增強(qiáng)集成

在上表中我們看到作者還提供了通過 TTA 組合預(yù)測(cè)的實(shí)驗(yàn)。他們使用在 COCO 數(shù)據(jù)集上訓(xùn)練的 EfficientNetB7 模型。對(duì)于 TTA，他們只采用水平翻轉(zhuǎn)。同樣，我們看到 WBF 的性能明顯優(yōu)于 NMS、Soft-NMS 和 NMW 等其他方法。

最后使用加權(quán)框融合 (WBF) 的動(dòng)機(jī)是通過將多個(gè)邊界框或感興趣區(qū)域 (ROI) 的結(jié)果組合成一個(gè)更準(zhǔn)確和穩(wěn)定的結(jié)果來提高目標(biāo)檢測(cè)系統(tǒng)的性能。這在使用多個(gè)模型或算法來檢測(cè)圖像或視頻中的目標(biāo)并且需要組合結(jié)果以提高整體性能的情況下特別有用。使用 WBF 有益的原因有以下幾個(gè)：

• 魯棒性：物體檢測(cè)器可能會(huì)受到雜波、遮擋和背景噪聲等因素的影響。WBF可以通過結(jié)合多個(gè)檢測(cè)器的結(jié)果來幫助提高物體檢測(cè)系統(tǒng)的魯棒性，從而可以減少這些因素的影響。
• 準(zhǔn)確性：WBF 可以通過組合同一物體的多次檢測(cè)來幫助提高物體檢測(cè)系統(tǒng)的準(zhǔn)確性。這在圖像或視頻中目標(biāo)部分被遮擋或僅部分可見的情況下特別有用。
• 穩(wěn)定性：WBF 可以通過減少誤報(bào)和漏報(bào)的影響來幫助提高目標(biāo)檢測(cè)系統(tǒng)的穩(wěn)定性。這在感興趣的物體很小或難以檢測(cè)的情況下特別有用。

靈活性：WBF可以與非極大值抑制（NMS）等其他技術(shù)結(jié)合使用，以進(jìn)一步提高目標(biāo)檢測(cè)系統(tǒng)的性能。