這篇文章中，我們描述了我們?yōu)?計(jì)算機(jī)視覺(jué)模型訓(xùn)練構(gòu)建不同視覺(jué)數(shù)據(jù)集的技術(shù)，包括合成圖像的示例。我們分解了解決方案的每個(gè)組成部分，并提供了未來(lái)研究方向的見(jiàn)解。

問(wèn)題

非線性碎片堆積、實(shí)時(shí)數(shù)據(jù)不可用以及復(fù)雜的流體動(dòng)力學(xué)表明，傳統(tǒng)的基于數(shù)值模擬的方法解決該問(wèn)題是無(wú)效的。在這種情況下，洪水后的視覺(jué)信息被用于制定阻塞政策，其中涉及幾個(gè)假設(shè)，許多人認(rèn)為這些假設(shè)不是阻塞的真實(shí)代表。

這表明需要從技術(shù)角度更好地理解和探索堵塞問(wèn)題，以幫助洪水管理官員和決策者。

StopBlock ：監(jiān)測(cè)涵洞視覺(jué)堵塞的技術(shù)倡議

為了幫助解決阻塞問(wèn)題， StopBlock 作為 SMART Stormwater 管理的一部分啟動(dòng)?？傮w而言，該項(xiàng)目涉及伊拉瓦拉（臥龍崗、 Shellharbour 和 Kiama ）和 Shoalhaven 地區(qū)的市議會(huì)、 Lendlease 以及臥龍崗大學(xué)的 SMART 基礎(chǔ)設(shè)施之間的合作。

StopBlock 旨在使用最新技術(shù)實(shí)時(shí)評(píng)估和監(jiān)測(cè)涵洞的視覺(jué)堵塞：

人工智能

計(jì)算機(jī)視覺(jué)

邊緣計(jì)算

物聯(lián)網(wǎng)（ IoT ）

智能視頻分析

此外，我們使用 NVIDIA 邊緣計(jì)算、最新的計(jì)算機(jī)視覺(jué)檢測(cè)和分類模型、 CCTV 攝像機(jī)和 4G 模塊構(gòu)建并部署了人工智能物聯(lián)網(wǎng)（ AIoT ）解決方案。該解決方案在伊拉瓦拉地區(qū)的三個(gè)涵洞現(xiàn)場(chǎng)檢測(cè)到視覺(jué)堵塞狀態(tài)（堵塞、部分堵塞或清除）。

建立計(jì)算機(jī)視覺(jué)模型訓(xùn)練的視覺(jué)數(shù)據(jù)集

訓(xùn)練計(jì)算機(jī)視覺(jué) CNN 模型需要大量與預(yù)期任務(wù)相關(guān)的圖像。以前從未從這個(gè)角度解決過(guò)涵洞堵塞檢測(cè)問(wèn)題。不存在用于此目的的圖像數(shù)據(jù)和數(shù)據(jù)集數(shù)據(jù)庫(kù)。

我們開(kāi)發(fā)了一個(gè)新的訓(xùn)練數(shù)據(jù)庫(kù)，由與涵洞堵塞有關(guān)的各種圖像數(shù)據(jù)組成。這些圖像顯示了不同的涵洞類型、碎片類型、攝像機(jī)角度、縮放比例和照明條件。

通過(guò)市議會(huì)的記錄，可以獲得真實(shí)涵洞堵塞的有限數(shù)據(jù)。我們采用了結(jié)合真實(shí)、實(shí)驗(yàn)室模擬和合成視覺(jué)數(shù)據(jù)的想法。

涵洞開(kāi)口和堵塞圖像

我們從多個(gè)來(lái)源收集了涵洞（堵塞和清理）的真實(shí)圖像：

市議會(huì)歷史記錄

在線存儲(chǔ)庫(kù)

當(dāng)?shù)睾磮?chǎng)地

收集的圖像在涵洞類型、碎片類型、照明條件、攝像機(jī)視點(diǎn)、比例、分辨率甚至背景方面表現(xiàn)出極大的多樣性。涵洞開(kāi)口和堵塞（ ICOB ）數(shù)據(jù)集的圖像總共包括 929 張圖像。

可視化液壓實(shí)驗(yàn)室堵塞數(shù)據(jù)集

我們從縮放的實(shí)驗(yàn)室實(shí)驗(yàn)中收集模擬圖像，以優(yōu)化現(xiàn)有的視覺(jué)數(shù)據(jù)集，因?yàn)闆](méi)有足夠的真實(shí)圖像可用。

進(jìn)行了徹底的水力學(xué)實(shí)驗(yàn)室調(diào)查，其中一系列實(shí)驗(yàn)使用了涵洞的縮放物理模型。在各種洪水條件下，阻塞場(chǎng)景使用了規(guī)?；槠ǔ鞘泻椭脖唬?/p>

圖像在涵洞類型（單圓形、雙圓形、單箱或雙箱）、堵塞類型（城市、植被或混合）、模擬照明條件、攝像機(jī)視點(diǎn)（兩臺(tái)攝像機(jī)）和洪水條件（入口流量水平）方面表現(xiàn)出多樣性。然而，數(shù)據(jù)集在反射、清澈的海水、相同的背景和相同的縮放方面受到限制。

總共，我們從這些實(shí)驗(yàn)中收集了 1630 張圖像，以建立 VHD dataset 。

涵洞合成圖像

我們使用基于 Unity 游戲引擎的三維計(jì)算機(jī)應(yīng)用程序生成了涵洞（ SIC ）的合成圖像，目的是增強(qiáng)訓(xùn)練數(shù)據(jù)集。

該應(yīng)用程序?qū)槟M涵洞堵塞情況而設(shè)計(jì)，可以生成幾乎無(wú)數(shù)的堵塞涵洞實(shí)例，以及您可以想到的任何可能的堵塞情況。您還可以更改涵洞類型、水位、碎片類型、相機(jī)視點(diǎn)、一天中的時(shí)間和縮放比例。

應(yīng)用程序設(shè)計(jì)使您能夠從下拉菜單中選擇場(chǎng)景特征，并從庫(kù)中拖動(dòng)碎片對(duì)象以任何可能的方向放置在場(chǎng)景中的任何位置。您可以使用參數(shù)編寫代碼來(lái)重新創(chuàng)建多個(gè)場(chǎng)景，并批量捕獲帶有相應(yīng)標(biāo)簽的圖像，以幫助訓(xùn)練過(guò)程。

一些突出的限制包括不切實(shí)際的效果和動(dòng)畫(huà)以及單一的自然背景。

AIoT 系統(tǒng)開(kāi)發(fā)

我們使用邊緣計(jì)算硬件、計(jì)算機(jī)視覺(jué)模型和傳感器開(kāi)發(fā)了 AIoT 解決方案，用于涵洞的實(shí)時(shí)可視堵塞監(jiān)測(cè)：

CCTV 攝像機(jī)捕捉涵洞。

NVIDIA Jetson TX2 –支持邊緣計(jì)算，使用經(jīng)過(guò)訓(xùn)練的計(jì)算機(jī)視覺(jué)模型處理和推斷堵塞圖像。

4G 連接將阻塞相關(guān)數(shù)據(jù)傳輸?shù)交?web 的儀表板。

計(jì)算機(jī)視覺(jué)模型用于檢測(cè)和分類涵洞處的視覺(jué)障礙。

更具體地說(shuō)，在軟件方面，采用了兩階段檢測(cè)分類流水線（圖 4 ）。

檢測(cè)階段

在第一階段，使用計(jì)算機(jī)視覺(jué)對(duì)象檢測(cè)模型（ YOLOv4 ）檢測(cè)涵洞開(kāi)口。從原始圖像中裁剪檢測(cè)到的開(kāi)口，并在分類階段進(jìn)行處理。如果未檢測(cè)到涵洞開(kāi)口，則會(huì)發(fā)出警報(bào)，提示涵洞可能被淹沒(méi)。

分類階段

在第二階段，使用 CNN 分類模型（如 ResNet-50 ）將修剪后的涵洞開(kāi)口分類為三種堵塞類別（堵塞、部分堵塞或清除）之一。阻塞相關(guān)信息隨后被傳輸?shù)胶樗芾砉賳T的網(wǎng)絡(luò)儀表板，以促進(jìn)決策過(guò)程。

我們使用 Python 、 TensorFlow 和 Keras 支持的 NVIDIA TAO 平臺(tái)分別訓(xùn)練了用于檢測(cè)和分類的 YOLOv4 和 ResNet-50 模型。我們使用配備 NVIDIA A100 GPU 的 Linux 機(jī)器，使用 ICOB 、 VHD 和 SIC 數(shù)據(jù)集中的圖像訓(xùn)練模型。

以下是開(kāi)發(fā)采用的四階段方法：

Stage I:我們從真實(shí)和模擬圖像中準(zhǔn)備了數(shù)據(jù)集。

Stage II:我們從 NVIDIA TAO 模型動(dòng)物園中選擇檢測(cè)和分類模型，并使用 TAO 平臺(tái)對(duì)其進(jìn)行訓(xùn)練。

Stage III:我們導(dǎo)出了經(jīng)過(guò)訓(xùn)練的模型，以部署在 Jetson TX2 邊緣計(jì)算機(jī)上。

Stage IV:在現(xiàn)場(chǎng)，我們部署了一個(gè)完整的硬件系統(tǒng)，并收集了用于微調(diào)計(jì)算機(jī)視覺(jué)算法的真實(shí)數(shù)據(jù)。

關(guān)于軟件性能，涵洞開(kāi)口檢測(cè)模型的驗(yàn)證 mAP 為 0.90 ，而堵塞分類模型的驗(yàn)證精度為 0.88 。

我們?cè)?NVIDIA DeepStream 6 SDK 上開(kāi)發(fā)了端到端視頻分析管道，使用經(jīng)過(guò)訓(xùn)練的計(jì)算機(jī)視覺(jué)模型在 Jetson TX2 驅(qū)動(dòng)的邊緣計(jì)算機(jī)上進(jìn)行推斷。使用這些檢測(cè)和分類模型， DeepStream 流水線為 Jetson TX2 硬件實(shí)現(xiàn)了 24.8 的 FPS 。

我們使用 CCTV 攝像機(jī)、 Jetson TX2 邊緣計(jì)算機(jī)和 4G 加密狗構(gòu)建了涵洞堵塞監(jiān)測(cè)智能設(shè)備（圖 5 ）。我們優(yōu)化了開(kāi)發(fā)的硬件的功耗和實(shí)時(shí)實(shí)用程序的計(jì)算時(shí)間。該硬件由太陽(yáng)能電池板供電，平均功耗僅為 9.1W 。 AIoT 解決方案還配置為每小時(shí)將阻塞元數(shù)據(jù)傳輸?shù)?web 儀表板。

該解決方案被配置為考慮隱私問(wèn)題，避免將任何圖像存儲(chǔ)在板上或云中。相反，它只處理圖像并傳輸阻塞元數(shù)據(jù)。圖 5 顯示了在一個(gè)遠(yuǎn)程站點(diǎn)安裝 AIoT 硬件，以監(jiān)控涵洞視覺(jué)堵塞。

未來(lái)研究方向

可以進(jìn)一步探索計(jì)算機(jī)視覺(jué)的潛力，通過(guò)提取障礙相關(guān)信息來(lái)更好地理解視覺(jué)障礙：

視覺(jué)阻塞估計(jì)百分比

洪水傳播碎片類型識(shí)別

部分自動(dòng)化可視堵塞分類

視覺(jué)阻塞估計(jì)百分比

在洪水管理決策的背景下，了解給定涵洞的堵塞狀態(tài)并不總是足以做出與維護(hù)相關(guān)的決策。更進(jìn)一步，估計(jì)給定涵洞的視覺(jué)堵塞百分比有助于洪水管理官員確定視覺(jué)堵塞程度高的涵洞的優(yōu)先順序。

從圖像中分割可見(jiàn)開(kāi)口并將分割的掩模分類為四個(gè)百分比視覺(jué)阻塞類之一的分割分類管道可以是潛在的解決方案之一。

洪水傳播碎片類型識(shí)別

碎片類型的自動(dòng)檢測(cè)是有待探索的另一個(gè)關(guān)鍵方面。

部分自動(dòng)化可視堵塞分類

CNN 分類模型可用于促進(jìn)人工涵洞檢查，這是一種簡(jiǎn)單的解決方案，同時(shí)讓洪水管理官員了解情況。鑒于問(wèn)題的復(fù)雜性和初步分析，不可能僅使用 CNN 分類模型來(lái)自動(dòng)化該過(guò)程。然而，可以開(kāi)發(fā)一個(gè)部分自動(dòng)化的框架來(lái)促進(jìn)該過(guò)程。

總結(jié)

我們?yōu)楹吹囊曈X(jué)堵塞檢測(cè)提供了邊緣計(jì)算解決方案，以幫助及時(shí)維護(hù)并避免堵塞相關(guān)的洪水事件。

使用 NVIDIA 邊緣計(jì)算硬件開(kāi)發(fā)和部署了一個(gè)分類檢測(cè)計(jì)算機(jī)視覺(jué)模型，以檢索涵洞的堵塞狀態(tài)，即“暢通”、“堵塞”或“部分堵塞”。為了便于針對(duì)這個(gè)獨(dú)特的問(wèn)題域訓(xùn)練計(jì)算機(jī)視覺(jué)模型。我們使用了與涵洞視覺(jué)堵塞相關(guān)的模擬和人工生成的圖像。

以多種方式擴(kuò)展所提供的解決方案以實(shí)現(xiàn)進(jìn)一步改進(jìn)和附加的視覺(jué)阻塞信息的范圍很大。視覺(jué)堵塞百分比的估計(jì)、洪水傳播碎片的檢測(cè)以及部分自動(dòng)化視覺(jué)堵塞分類框架的開(kāi)發(fā)是現(xiàn)有解決方案中可以進(jìn)行的一些潛在增強(qiáng)。