描述

邊緣機(jī)器學(xué)習(xí)應(yīng)用

功能強(qiáng)大但低功耗的單板計(jì)算機(jī)的出現(xiàn)意味著每個(gè)步驟都可以在設(shè)備本身上完成，而不是像在典型的機(jī)器學(xué)習(xí)工作流程中那樣在本地收集數(shù)據(jù)并將其發(fā)送到云端進(jìn)行處理和推理。這意味著工業(yè)監(jiān)控、健康跟蹤和自動(dòng)化農(nóng)業(yè)等應(yīng)用都可以變得更加高效和準(zhǔn)確。

SK-TDA4VM 和 Jetson Nano

NVIDIA 的 Jetson Nano 開(kāi)發(fā)套件于 2019 年發(fā)布，配備 128 核 Maxwell GPU 以及主頻為 1.43GHz 的四核 ARM A57 CPU。此外，該套件還具有 4GB LPDDR4 內(nèi)存、HDMI/顯示端口連接器、千兆以太網(wǎng)和四個(gè) USB 3.0 端口以及一個(gè) 40 針 GPIO 接頭和雙 CSI 攝像頭連接器。

?

相反，德州儀器 (TI) 的 SK-TDA4VM 套件包含雙核 Arm Cortex-A72 CPU、DSP、深度學(xué)習(xí)、視覺(jué)和多媒體加速器、4GB LPDDR4 內(nèi)存、四個(gè) USB 端口、千兆以太網(wǎng)和 HDMI/Display Port 顯示輸出. 要添加更多攝像頭，沿邊緣有兩個(gè) CSI 攝像頭連接器，在板的底部還有一個(gè) 40 針 Semtec 連接器。與 Jetson Nano 不同，SK-TDA4VM 包含一個(gè)用于 WiFi/藍(lán)牙卡的 M.2 E-key 插槽和一個(gè)用于 SSD 或其他 PCIe x 4 設(shè)備的 M.2 M-key 插槽。查看之前的入門(mén)指南，了解有關(guān)如何設(shè)置套件和運(yùn)行簡(jiǎn)單演示的更多信息。

?

現(xiàn)有項(xiàng)目

該項(xiàng)目的起點(diǎn)是使用 JetPack4.5 用 Python 3.6編寫(xiě)的一個(gè)簡(jiǎn)單示例，它從 COCO17 數(shù)據(jù)集中獲取 20 張調(diào)整大小的圖像，并將它們傳遞到從 TensorFlow 網(wǎng)站獲取的SSD MobileNet V1 TensorFlow Lite 模型。一旦設(shè)置了輸入數(shù)據(jù)，Jetson Nano 就會(huì)在 CPU 上運(yùn)行 TFLite 解釋器，并計(jì)算輸出結(jié)果所需的時(shí)間。在以 5W 的最大功耗運(yùn)行總共 20 次迭代后，平均運(yùn)行時(shí)間為223milliseconds每次推理。應(yīng)該注意的是，由于 Jetson Nano 上的 TFLite 模型的功耗有限且缺乏 GPU 計(jì)算，這個(gè)數(shù)字高于優(yōu)化運(yùn)行時(shí)的數(shù)字。

?

編譯優(yōu)化的 TensorFlow 模型

TDA4VM 的架構(gòu)要求現(xiàn)有的預(yù)訓(xùn)練機(jī)器學(xué)習(xí)模型（例如.tflite文件）必須先經(jīng)過(guò)編譯才能在硬件上運(yùn)行，以利用硬件加速器。正如我在入門(mén)指南中看到的那樣，TI 提供了一個(gè)模型動(dòng)物園，可以從中以正確的格式下載預(yù)訓(xùn)練模型。它們不僅包括.tflite文件，還param.yaml包括包含有關(guān)模型和各種其他工件的信息的文件。

為了導(dǎo)入自定義的 TensorFlow Lite 模型，必須首先設(shè)置編譯環(huán)境。該工具集已針對(duì)在 x86 或 aarch64 架構(gòu)上運(yùn)行的 Ubuntu 18.04 進(jìn)行了驗(yàn)證。我能夠在 Windows 10 上的WSL 2下安裝 Linux 環(huán)境，以簡(jiǎn)化設(shè)置過(guò)程。從這里，我運(yùn)行了以下命令來(lái)克隆存儲(chǔ)庫(kù)并配置文件夾：

$ git clone https://github.com/TexasInstruments/edgeai-tidl-tools.git
$ cd edgeai-tidl-tools

在執(zhí)行下面的腳本之前，我編輯了 requirements_pc.txt 文件以將行更改onnx為onnx==1.4.1，因?yàn)榘惭b最新版本時(shí)出現(xiàn)問(wèn)題。

$ source ./setup.sh --skip_cpp_deps

如果出現(xiàn)提示，請(qǐng)選擇J721E作為目標(biāo)設(shè)備。跑步

$ ./scripts/run_python_examples.sh

以確保編譯成功。此外，查看./model-artifacts和./models目錄以查看生成的工件。

為了編譯模型，首先導(dǎo)航到examples/osrt_python目錄并打開(kāi)model_configs.py文件。要添加新條目，只需在字典中附加模型參數(shù)，同時(shí)更改model_path以反映模型的存儲(chǔ)位置。例如，這是我的 SSD_MobileNet_V1 TensorFlow Lite 模型的條目：

'od-tfl-ssd_mobilenet_v1_1' : {
    'model_path' : os.path.join(models_base_path,'ssd_mobilenet_v1_1_metadata_1.tflite'),
    'mean': [127.5, 127.5, 127.5],
    'scale' : [1/127.5, 1/127.5, 1/127.5],
    'num_images' : numImages,
    'num_classes': 91,
    'model_type': 'od',
    'session_name' : 'tflitert',
    'od_type' : 'HasDetectionPostProcLayer'
}

如果您的模型屬于不同類型，還可以檢查列出的許多其他條目。編輯第 231 行tfl/tflrt_delegate.py以用新添加的條目替換現(xiàn)有的條目數(shù)組，然后運(yùn)行

$ cd tfl
$ python3 tflrt_delegate.py -c

在不運(yùn)行推理的情況下編譯模型。需要注意的是，TIDL 提供了多種部署選項(xiàng)，涵蓋 TFLite、ONNX 和 TVM/Neo-AI 運(yùn)行時(shí)。有關(guān)詳細(xì)信息，請(qǐng)參閱此處存儲(chǔ)庫(kù)中的 README 文件。

整合模型

現(xiàn)在模型已經(jīng)編譯，來(lái)自相應(yīng)文件夾/文件的工件model-artifacts可以models通過(guò) SFTP 復(fù)制到 TDA4VM 套件。就像 Jetson Nano 程序一樣，為 SK-TDA4VM 編寫(xiě)的 Python 代碼會(huì)創(chuàng)建多個(gè)隨機(jī)圖像，并將它們作為輸入傳遞給 tflite 模型，同時(shí)計(jì)算推理所需的時(shí)間。對(duì)于其他項(xiàng)目，/opt/edge_ai_apps/apps_python默認(rèn) SK-TDA4VM 操作系統(tǒng)映像附帶的 Python 演示應(yīng)用程序是一個(gè)很好的起點(diǎn)。

性能比較

平均而言，TDA4VM 能夠使用相同的 320x320 UINT8 圖像執(zhí)行推理9 milliseconds，由于其板載加速器硬件，與 Jetson Nano 相比，速度提高了 24 倍。如需更詳細(xì)的推理數(shù)據(jù)，包括結(jié)果和性能指標(biāo)，您可以將以下目錄復(fù)制到 TDA4VM 初學(xué)者工具包的本地安裝的 repo中：

./model-artifacts
./models
./dockers/J721E/PSDKRA/setup.sh

然后運(yùn)行腳本：

$ cd examples/osrt_python/tfl
$ python3 tflrt_delegate.py

可以按照 edgeai-benchmark 存儲(chǔ)庫(kù)中的說(shuō)明對(duì)準(zhǔn)確性進(jìn)行基準(zhǔn)測(cè)試。有關(guān) TIDL 工具和 SDK 的更多信息，請(qǐng)務(wù)必查看存儲(chǔ)庫(kù)和SK-TDA4VM 套件的文檔。

更進(jìn)一步

Edge Impulse不是獲取預(yù)訓(xùn)練的 TensorFlow 模型，將其轉(zhuǎn)換為 TensorFlow Lite，然后使用 TIDL 實(shí)用程序生成工件，而是使其變得極其簡(jiǎn)單，因?yàn)轫?xiàng)目只需單擊一個(gè)按鈕即可部署模型。此存儲(chǔ)庫(kù)包含有關(guān)創(chuàng)建新項(xiàng)目、下載訓(xùn)練數(shù)據(jù)、構(gòu)建自定義學(xué)習(xí)塊以及運(yùn)行 Docker 容器以輸出訓(xùn)練tflite和onnx模型的說(shuō)明。edge -impulse-linux-runner 命令會(huì)將優(yōu)化模型下載到設(shè)備并開(kāi)始分類，并在網(wǎng)絡(luò)瀏覽器中提供輸出。