描述

在今天的教程中，我將向您展示如何使用對象檢測創(chuàng)建智能庫存跟蹤器，由深度學(xué)習(xí)提供支持，僅使用 Raspberry Pi 4 和相機。我們將在 YOLOv4 微型模型上應(yīng)用遷移學(xué)習(xí)來識別自定義對象，然后使用簡單的 Python 腳本解析模型的輸出以生成每個對象的計數(shù)。最后，我們還將將該應(yīng)用程序與 Azure IoT Central 集成，以便我們可以遠(yuǎn)程方便地監(jiān)控我們的庫存。

項目概況

您是否曾經(jīng)路過雜貨店，但不確定是否需要多買一盒牛奶？好吧，如果有某種方法可以讓我們看到冰箱內(nèi)部的信息來更新我們的信息呢？今天，借助機器學(xué)習(xí)和物聯(lián)網(wǎng)基礎(chǔ)設(shè)施，我們將把這種便利變成現(xiàn)實。

機器學(xué)習(xí)：圖像分類與目標(biāo)檢測

圖像分類和對象檢測等對象識別任務(wù)都是使用深度神經(jīng)網(wǎng)絡(luò)執(zhí)行的，但區(qū)分兩者是有意義的。在圖像分類中，我們的輸入是包含單個類的圖像。例如，我們可能有一張貓或狗的照片，我們希望模型將其分類為單個輸出。

然而，在對象檢測中，我們希望模型不僅能識別多個對象，還能定位照片中每個類的所有實例。事實上，與分類相反，我們現(xiàn)在可以計算幀中存在的每種類型對象的數(shù)量——這正是我們這個項目所需要的！

有關(guān)更多信息，Jason Brownlee 的文章對不同類型的計算機視覺任務(wù)進行了很好的介紹。

什么是遷移學(xué)習(xí)？

由于計算機視覺任務(wù)通常被認(rèn)為是復(fù)雜的任務(wù)，因此即使在強大的 GPU 上訓(xùn)練功能模型也可能需要數(shù)天時間。幸運的是，只要我們同時擁有架構(gòu)和權(quán)重，任何人都可以輕松實現(xiàn)已經(jīng)訓(xùn)練過的現(xiàn)有模型。

但是，如果我們想訓(xùn)練模型識別其他事物怎么辦？畢竟，期望這些模型自然而然地能夠很好地識別我們家庭對雜貨產(chǎn)品的特定選擇，這將是一個遙不可及的想法。在這種情況下，我們不必從頭開始訓(xùn)練新模型。相反，我們可以應(yīng)用遷移學(xué)習(xí)。

遷移學(xué)習(xí)是一種技術(shù)，我們利用預(yù)訓(xùn)練模型，并使用新數(shù)據(jù)集對其進行訓(xùn)練，以完成類似任務(wù)。它使我們能夠用更少的數(shù)據(jù)在模型中實現(xiàn)更高的性能，同時仍然大大減少了訓(xùn)練所需的時間和資源。今天，我們將使用 YOLOv4 Tiny 進行遷移學(xué)習(xí)。

什么是YOLO？

YOLO 代表 You Only Look Once，是用于對象檢測的最先進的神經(jīng)網(wǎng)絡(luò)機器學(xué)習(xí)框架。當(dāng)它的第一篇論文于 2015 年發(fā)布時，它在推理速度上擊敗了其他模型，允許以犧牲準(zhǔn)確性為代價進行實時對象檢測。今天，YOLO 的工作在不同方面繼續(xù)進行，以在保持低延遲的同時提高準(zhǔn)確性。

對于今天的項目，我們使用的是第四版，YOLOv4。更具體地說，我們將使用 YOLOv4 的微型版本，它具有更小的網(wǎng)絡(luò)規(guī)模。雖然我們確實用較小的模型犧牲了一些準(zhǔn)確性，但這會降低計算能力的要求，使模型能夠在像我們的 Raspberry Pi 這樣的邊緣設(shè)備上以良好的性能運行。

準(zhǔn)備您的自定義數(shù)據(jù)集

作為我們訓(xùn)練自定義模型的第一步，我們必須通過收集我們想要檢測的項目的照片來構(gòu)建我們的數(shù)據(jù)集。每個班級至少需要 50 張圖片。在我的項目中，我決定計算牛奶盒、雞蛋和酸奶包的數(shù)量，所以我的數(shù)據(jù)集最終應(yīng)該總共有至少 150 張圖像。

以下是收集數(shù)據(jù)集時的一些提示。

• 通常，捕獲具有各種照明條件和攝像機角度的圖像，以及不同方向的對象的圖像，以創(chuàng)建更強大的數(shù)據(jù)集。
• 對于通常以多個形式存在的對象，例如雞蛋，請確保包括單個圖像以及組中的其他圖像。
• 如果你經(jīng)常堆疊一些物體，比如牛奶盒，你會想要在它們堆疊的地方包含幾張圖像，以便我們的模型可以相應(yīng)地學(xué)習(xí)。

使用 labelImg 標(biāo)記數(shù)據(jù)集

有許多開源工具可用于標(biāo)記計算機視覺項目的圖像。我決定使用labelImg。它是免費的、開源的，可以使用以下兩個命令輕松安裝和運行。

pip3 install labelImg
labelImg

GUI（圖形用戶界面）應(yīng)該打開，您可以開始為圖像添加標(biāo)簽！使用左側(cè)窗格中的Open Dir選擇圖像所在的文件夾。加載圖像后，使用 W 并單擊并拖動以開始在對象周圍繪制邊界框。

在保存每個文件之前，請確保導(dǎo)出格式為Pascal VOC ，它應(yīng)該寫入與圖像同名的 xml 文件。完成后，您應(yīng)該會得到一個包含一堆圖像和 xml 文件的文件夾，如下所示。

使用 RoboFlow 處理標(biāo)記數(shù)據(jù)

我們將首先使用 Roboflow 的平臺來增強我們的圖像。雖然我們可以自己以編程方式完成此操作，但 Roboflow 為以后提供了一些便利。增強是計算機視覺數(shù)據(jù)處理中的一種技術(shù)，我們通過翻轉(zhuǎn)、旋轉(zhuǎn)、傾斜、重新著色等對圖像進行轉(zhuǎn)換。

這是非常強大的，因為每次轉(zhuǎn)換都會產(chǎn)生一張新照片。如果我們?yōu)槊總€訓(xùn)練樣本創(chuàng)建三個增強版本，我們將擁有總樣本數(shù)的 4 倍！再說了，誰有耐心手工標(biāo)注每班200張照片？

要開始使用，請先在此處注冊一個 Roboflow 帳戶。免費帳戶有一些限制，但對于我們今天的項目來說已經(jīng)足夠了。登錄后，為對象檢測（邊界框）創(chuàng)建一個新數(shù)據(jù)集。你可以隨意命名它。我將我的命名為“Groceries”，因為將來推廣這個數(shù)據(jù)集可能會很有用。

然后，拖放您的圖像和 xml 文件以上傳它們。完成后選擇“完成上傳”，讓 Roboflow 為您拆分?jǐn)?shù)據(jù)。在增強選項下，添加水平和垂直翻轉(zhuǎn)以及旋轉(zhuǎn) -15、+15。在預(yù)處理下，Auto-Orient 和 Resize 應(yīng)該已經(jīng)自動完成。如果沒有，您可以參考我在下面的屏幕截圖。

在右上角，單擊生成。完成后，選擇“YOLO Darknet”格式和“顯示下載代碼”。然后，你會看到一個 !curl 命令。保存它以在我們教程的后面部分使用。

Google Colab 上的遷移學(xué)習(xí)

現(xiàn)在是時候進行遷移學(xué)習(xí)了！本部分基于Roboflow 的教程及其隨附的 Colab 筆記本，該筆記本使用血細(xì)胞數(shù)據(jù)集執(zhí)行遷移學(xué)習(xí)。

對于這個項目，我對 Roboflow 的 notebook 進行了一些小改動，以便代碼將使用默認(rèn)情況下提供給免費 Colab 用戶的 GPU 運行。首先將我的筆記本副本保存到您的 Google 云端硬盤，以便您進行編輯。

在您的副本中，導(dǎo)航到編輯 > 筆記本設(shè)置，并確保為硬件加速器選擇 GPU。除非您的 GPU 架構(gòu)因某種原因有所不同，否則您唯一需要進行的其他更改將是“為 YOLOv4 設(shè)置自定義數(shù)據(jù)集”部分中的第一個單元格。用上一節(jié)中的 curl 命令替換最后一行。

# Paste your link here
%cd /content/darknet
!curl -L  > roboflow.zip; unzip roboflow.zip; rm roboflow.zip

對于那些好奇的人來說，這個筆記本基本上可以根據(jù)我們的數(shù)據(jù)集自動執(zhí)行我們需要對 YOLOv4 Tiny 架構(gòu)進行的更改。可以在此處找到原始的分步說明，但它們很長并且可能會讓初學(xué)者感到困惑。

現(xiàn)在，繼續(xù)逐個運行單元格。培訓(xùn)需要一段時間，但在您休息之前，請注意，重置 Google Colab 運行時將刪除從會話中創(chuàng)建的所有文件。是的 - 這包括模型的重量！

重要的！訓(xùn)練塊完成后，請務(wù)必在運行時超時之前獲取以下內(nèi)容。

• 從 content/darknet/backup/custom-yolov4-tiny-detector_best.weights 保存最佳權(quán)重
• 從 content/darknet/cfg 中提取 custom-yolov4-tiny-detector.cfg

其余三個單元可用于在我們的測試數(shù)據(jù)上測試我們的模型。您可以重復(fù)運行最后一個單元格以拉出不同的隨機照片供模型推斷。

使用 Raspberry Pi 在邊緣進行 ML 推理

現(xiàn)在我們有了自定義的 YOLOv4 微型模型，我們可以繼續(xù)在我們的 Raspberry Pi 上對其進行測試。為此，我們首先必須設(shè)置我們的環(huán)境。注意：本教程使用 Raspberry Pi OS。

第 1 步：在您的 Raspberry Pi 上克隆 AlexeyAB 的暗網(wǎng)存儲庫并使用 make 編譯。

git clone https://github.com/AlexeyAB/darknet
cd darknet
make

第二步：編輯./darknet/data/coco.names下的coco.names文件。使用任何文本編輯器，將此文件中的類替換為您的自定義類。在我的情況下，它是以下內(nèi)容。

Egg
Milk
Yoghurt

第 3 步：將 Colab 筆記本中保存的權(quán)重放在 darknet/backup 文件夾中，將 custom-yolov4-tiny-detector.cfg 放在 darknet/cfg 文件夾中。

第 4 步：將您選擇的名為“test.jpg”的測試圖像放在 darknet 文件夾中，然后運行以下命令來測試模型。

./darknet detect cfg/custom-yolov4-tiny-detector.cfg backup/custom-yolov4-tiny-detector_best.weights test.jpg -dont-show

結(jié)果應(yīng)顯示在命令行界面中。偉大的！您會注意到運行推理所需的時間相當(dāng)長 - 超過 7 秒。幸運的是，由于不需要如此頻繁地更新冰箱的庫存，這不會成為問題。

還應(yīng)該在 darknet 文件夾中生成一個 predictions.png 文件，這樣您就可以看到每個已識別項目周圍生成的邊界框。

在 Microsoft Azure IoT Central 上部署

當(dāng)然，如果我們不能遠(yuǎn)程訪問這些數(shù)據(jù)，那么到目前為止我們所做的就不會很有用。我們項目的下一步是創(chuàng)建一個 Azure IoT Central 應(yīng)用程序，我們將在其中定期發(fā)送我們的庫存狀態(tài)，以便我們可以遠(yuǎn)程監(jiān)控它。在繼續(xù)之前，請在此處創(chuàng)建一個免費的 Microsoft Azure 帳戶。

步驟 1：創(chuàng)建 Azure IoT Central 應(yīng)用程序

前往Azure IoT Central。向下滾動并選擇創(chuàng)建自定義應(yīng)用程序。在顯示以下屏幕之前，系統(tǒng)將提示您登錄。選擇應(yīng)用程序名稱和 URL，并將應(yīng)用程序模板保留為自定義應(yīng)用程序。在定價計劃下，現(xiàn)在選擇免費。然后，繼續(xù)創(chuàng)建您的應(yīng)用程序。

步驟 2：添加設(shè)備模板

使用側(cè)邊欄，導(dǎo)航到Device template ，然后點擊+New 。從那里，選擇IoT 設(shè)備，然后選擇Next: Customize 。從這里，選擇一個設(shè)備模板名稱——我選擇了“RaspberryPi”。然后，繼續(xù)創(chuàng)建模板。

第 3 步：將接口和功能添加到設(shè)備模板

在上一步之后，您應(yīng)該會自動轉(zhuǎn)到新設(shè)備模板。選擇自定義模型，然后添加繼承接口。再次選擇自定義。

之后，您將需要根據(jù)您正在跟蹤的項目向界面添加功能。確保這些是您想要設(shè)置的正確參數(shù)，因為在我們發(fā)布設(shè)備模板后它們無法更改。點擊保存，但暫時不要發(fā)布。

第 4 步：設(shè)置設(shè)備視圖

為了在我們的 Azure IoT Central 應(yīng)用程序上很好地可視化我們的數(shù)據(jù)，我們必須設(shè)置我們的設(shè)備視圖。導(dǎo)航到設(shè)備面板上的視圖并選擇可視化設(shè)備。

在此之后，在 Edit view 窗格下，單擊Select a Telemetry 。選擇您的第一個項目，然后單擊Add tile 。該圖塊應(yīng)顯示在右側(cè)的儀表板預(yù)覽中。對于每個圖塊，將其顯示值更改為“最后一個已知值”。

我為總共三個項目添加了三個圖塊，最終得到如下所示的儀表板。對設(shè)置感到滿意后，單擊頁面頂部的發(fā)布。

第 5 步：創(chuàng)建設(shè)備

現(xiàn)在，我們必須創(chuàng)建一個設(shè)備。導(dǎo)航到設(shè)備并單擊 + 新建。輸入您選擇的設(shè)備名稱，并記住選擇您之前創(chuàng)建的設(shè)備模板。我選擇了“Rpi”。

點擊進入您剛剛創(chuàng)建的設(shè)備。您應(yīng)該會看到您之前設(shè)置的儀表板，但沒有顯示任何數(shù)據(jù)。我們將通過讓我們的 Raspberry Pi 將一些數(shù)據(jù)發(fā)送到我們的 Azure IoT Central 應(yīng)用程序來解決這個問題。點擊屏幕右上角的“連接”，會彈出一個窗口。

第 6 步：生成連接密鑰

在新的瀏覽器窗口中打開此Azure IoT Central 連接字符串生成器。用上面窗口中的相應(yīng)數(shù)據(jù)填空。請注意，“設(shè)備密鑰”是指主密鑰。最后，記錄下生成的連接字符串以備后用。

第 7 步：為 Azure IoT 設(shè)置 Raspberry Pi

作為最后一步，在 Raspberry Pi CLI 上運行以下命令以安裝 Azure IoT 的相關(guān)包。

sudo pip3 install azure-iot-device azure-iot-hub azure-iothub-service-client azure-iothub-device-client

運行完整的工作流程

到目前為止，我們一直在使用零碎的東西，但現(xiàn)在是時候?qū)⑺鼈兎旁谝黄饋韯?chuàng)建我們的機器學(xué)習(xí)驅(qū)動的智能冰箱庫存跟蹤器了。在執(zhí)行這些步驟之前，首先在此處訪問我的 Github 存儲庫并將文件下載為 ZIP。將img.txt和parseSendData.py放入你的暗網(wǎng)文件夾。

1. 拍照

首先，我們使用連接到 Raspberry Pi 的相機拍照，使用命令…。該文件以 img.jpg 格式保存到暗網(wǎng)文件夾。

對于 Raspberry Pi 相機模塊，請使用以下內(nèi)容。確保首先通過 raspi-config > Interface 啟用相機。

raspistill -o /darknet/img.jpg

如果你和我一樣使用 USB 網(wǎng)絡(luò)攝像頭，先安裝 fswebcam 包，然后我們可以用類似的方式拍照。第二個命令拍攝一張照片并將其作為 img.jpg 寫入暗網(wǎng)文件夾，并具有特定的延遲、跳幀和分辨率。您可以根據(jù)自己的喜好調(diào)整它們。

sudo apt-get install fswebcam
fswebcam -D 2 -S 20 -r 1920x1080 --no-banner darknet/img.jpg

2. 運行并記錄推理結(jié)果

要解析數(shù)據(jù)并將其發(fā)送到 Azure IoT Central，我們需要在文本文件中獲取模型的輸出。我們使用下面的命令讀入img.txt（僅img.jpg）中列出的文件，進行物體檢測，并將輸出寫入result.txt。

./darknet detector test cfg/coco.data cfg/custom-yolov4-tiny-detector.cfg backup/custom-yolov4-tiny-detector_best.weights -dont_show -ext_output < img.txt > result.txt

3. 解析并發(fā)送數(shù)據(jù)到 Azure IoT Central

現(xiàn)在，打開 parseSendData.py。這是一個簡單的 Python 腳本，它將解析 result.txt 文件，計算每個類的實例，然后將其發(fā)送到 Azure IoT Central。首先，將 CONNECTION_STRING 替換為您在上一節(jié)第 12 步中獲得的那個。

CONNECTION_STRING = <Replace with your own string>

然后，通過將鍵替換為您的項目類來更新字典。請注意，您必須根據(jù)您之前在 coco.data 文件中編寫的內(nèi)容來匹配每個類的字符串。否則，您將遇到關(guān)鍵錯誤。

現(xiàn)在，使用以下命令通過命令行運行 python 腳本：

python3 /parseSendData.py

如果一切順利，您應(yīng)該會看到類似于以下輸出的內(nèi)容，并且腳本將完成且沒有錯誤。

Attempting to Send Messages to Azure IoT
Sending message: {'Egg': 6, 'Milk': 1, 'Yoghurt': 2}
Message Sent

返回 Azure IoT Central 上的設(shè)備視圖。數(shù)字應(yīng)該會在幾分鐘后出現(xiàn)！

自動化工作流程

我們需要做的最后一步是使用 bash 腳本自動化上一節(jié)的整個過程。幸運的是，我們可以使用cron安排整個過程在我們的 Raspberry Pi 上每隔半小時自動運行一次。

首先，我們在我們的暗網(wǎng)文件夾中創(chuàng)建一個名為“workflow.sh”的 bash 腳本，如下所示。bash 腳本本質(zhì)上是一個控制臺命令列表，可以在一個組中一起運行，因此它們不必單獨運行。稍后，我們將使用 cron 自動執(zhí)行此腳本。

fswebcam -D 2 -S 20 -r 1920x1080 --no-banner img.jpg

./darknet detector test cfg/coco.data cfg/custom-yolov4-tiny-detector.cfg backup/custom-yolov4-tiny-detector_best.weights -dont_show -ext_output < img.txt > result.txt

python3 parseSendData.py

然后，我們通過運行以下命令使腳本可執(zhí)行。確保您當(dāng)前的工作目錄是腳本所在的暗網(wǎng)文件夾。

chmod +x workflow.sh

現(xiàn)在，如果您運行腳本，您應(yīng)該會在終端輸出中看到整個工作流程自動連續(xù)發(fā)生。我們的程序只需執(zhí)行一次即可拍攝照片、運行模型、解析數(shù)據(jù)并將其上傳到 Azure IoT Central。整潔的！

要使用 cron 安排此腳本的執(zhí)行，首先通過運行以下命令打開 crontab 編輯器。Cron 預(yù)裝了 Raspberry Pi OS。

crontab -e

系統(tǒng)將提示您選擇編輯器。如果您不知道該選擇哪個，請選擇簡單的 nano 編輯器（第一個選項）。然后，將在您的命令行中打開一個文件。我們必須將我們的預(yù)定命令添加到這個文件中才能自動運行。在文件的底部，添加以下內(nèi)容。

*/30 * * * * /home/pi/darknet/workflow.sh

就是這樣！讓您的 Raspberry Pi 和攝像頭就位，您應(yīng)該會在接下來的半小時內(nèi)看到數(shù)據(jù)流入您的 Azure IoT Central 應(yīng)用程序。

結(jié)論

謝謝閱讀！我希望本文對您創(chuàng)建智能庫存跟蹤項目有所幫助。構(gòu)建一個供個人使用的機器學(xué)習(xí)應(yīng)用程序變得如此容易令人驚訝。通過物聯(lián)網(wǎng)和云集成，這些應(yīng)用程序在滿足實際需求方面更加有用。

有關(guān)邊緣機器學(xué)習(xí)的更多項目，請隨時查看以下內(nèi)容：

• 使用 Wio 終端和 Arduino IDE 學(xué)習(xí) TinyML #1 簡介
• 使用 Wio 終端和 Arduino IDE #2 音頻場景識別和移動通知學(xué)習(xí) TinyML
• TinyML 與 Wio Terminal #3 人數(shù)統(tǒng)計和 Azure IoT Central 集成
• 使用 Wio 終端和 Arduino IDE 學(xué)習(xí) TinyML #4 使用 Tensorflow Lite 進行微控制器天氣預(yù)報，也就是我喜歡數(shù)據(jù)
• 使用 Wio 終端構(gòu)建 TinyML 智能氣象站
• 使用 Wio 終端和 Edge Impulse 構(gòu)建手寫識別