導(dǎo)讀

2023年以ChatGPT為代表的大語言模型橫空出世，它的出現(xiàn)標(biāo)志著自然語言處理領(lǐng)域取得了重大突破。它在文本生成、對(duì)話系統(tǒng)和語言理解等方面展現(xiàn)出了強(qiáng)大的能力，為人工智能技術(shù)的發(fā)展開辟了新的可能性。同時(shí)，人工智能技術(shù)正在進(jìn)入各種應(yīng)用領(lǐng)域，在智慧城市、智能制造、智慧醫(yī)療、智慧農(nóng)業(yè)等領(lǐng)域發(fā)揮著重要作用。

柴火創(chuàng)客2024年將依托母公司Seeed矽遞科技在人工智能領(lǐng)域的創(chuàng)新硬件，與全球創(chuàng)客愛好者共建“模型倉(cāng)”，通過“SenseCraft AI”平臺(tái)可以讓使用者快速部署應(yīng)用體驗(yàn)人工智能技術(shù)！

本期介紹：模型案例：|汽車目標(biāo)識(shí)別！

NVIDIA TAO工具包

NVIDIA TAO（Train, Adapt, Optimize）工具包是一個(gè)全面的企業(yè)級(jí)框架，旨在簡(jiǎn)化AI模型的開發(fā)和部署。特別適用于計(jì)算機(jī)視覺和對(duì)話式AI應(yīng)用，TAO工具包利用遷移學(xué)習(xí)的便利性，定制NVIDIA的預(yù)訓(xùn)練模型并將其適用于各種行業(yè)特定任務(wù)。

NVIDIA TAO的主要功能

1. 預(yù)訓(xùn)練模型:

- TAO 提供了涵蓋不同領(lǐng)域的大量預(yù)訓(xùn)練模型，包括目標(biāo)檢測(cè)、圖像分類、分割、自然語言處理等。

- 這些模型在大量數(shù)據(jù)集上進(jìn)行訓(xùn)練，并進(jìn)行了性能優(yōu)化，提供了強(qiáng)大的模型開發(fā)起點(diǎn)。

2. 遷移學(xué)習(xí):

- 通過使用遷移學(xué)習(xí)，TAO 允許開發(fā)人員利用自己的數(shù)據(jù)微調(diào)預(yù)訓(xùn)練模型，大大減少了從零開始訓(xùn)練所需的時(shí)間、成本和復(fù)雜性。

- 遷移學(xué)習(xí)還幫助在較少標(biāo)注數(shù)據(jù)的情況下達(dá)到更高的準(zhǔn)確度。

3. 簡(jiǎn)單的工作流程:

- TAO Toolkit 提供了簡(jiǎn)化的工作流程，抽象了深度學(xué)習(xí)模型開發(fā)的復(fù)雜性。

- 用戶可以通過最少的編碼訓(xùn)練、評(píng)估和優(yōu)化高性能模型。

4. 部署就緒:

- 使用TAO Toolkit優(yōu)化的模型可以部署在各種NVIDIA平臺(tái)上，如Jetson邊緣設(shè)備、NVIDIA Triton Inference Server和NVIDIA AI Enterprise。

- 這確保優(yōu)化后的模型是生產(chǎn)就緒的、可擴(kuò)展的和高性能的。

5. 性能優(yōu)化:

- TAO包括模型剪枝、量化等優(yōu)化技術(shù)，以提高模型效率而不影響準(zhǔn)確性。

- 這些優(yōu)化使模型適合在資源受限的環(huán)境中（如邊緣設(shè)備）部署。

6. 端到端的流程:

- TAO工具包支持從數(shù)據(jù)增強(qiáng)、訓(xùn)練、剪枝、量化到部署的端到端流程，使從開發(fā)到生產(chǎn)的過渡無縫。

- 與其他NVIDIA工具和平臺(tái)很好地集成，提供了一個(gè)連貫的開發(fā)生態(tài)系統(tǒng)。

7. 企業(yè)支持:

- TAO工具包面向企業(yè)用戶，提供強(qiáng)大的支持、文檔和資源，以協(xié)助開發(fā)過程。

- 組織可以利用TAO加速其AI項(xiàng)目，將創(chuàng)新解決方案更快推向市場(chǎng)。

如何使用NVIDIA TAO

- 安裝: TAO工具包可以通過NVIDIA NGC訪問，NGC提供了工具包的容器化版本，便于在任何兼容的基礎(chǔ)設(shè)施上設(shè)置。

- 模型選擇: 從TAO模型庫(kù)中選擇預(yù)訓(xùn)練模型，如用于圖像分類的ResNet、用于目標(biāo)檢測(cè)的YOLO或用于NLP任務(wù)的BERT。

- 數(shù)據(jù)準(zhǔn)備: 準(zhǔn)備你的自定義數(shù)據(jù)集，確保其格式符合TAO的要求。

- 訓(xùn)練: 使用簡(jiǎn)單的配置文件和命令，利用你的數(shù)據(jù)集微調(diào)所選的預(yù)訓(xùn)練模型。

- 優(yōu)化: 使用TAO提供的自動(dòng)優(yōu)化技術(shù)，根據(jù)特定的部署環(huán)境優(yōu)化模型性能。

- 部署: 導(dǎo)出優(yōu)化后的模型，并使用NVIDIA的部署解決方案將其集成到你的生產(chǎn)環(huán)境中。

汽車目標(biāo)識(shí)別

此模型由NVIDIA TAO工具包進(jìn)行模型的訓(xùn)練，用以識(shí)別馬路上的汽車目標(biāo)，模型數(shù)據(jù)類型為TFLite。

可應(yīng)用的領(lǐng)域

交通管理和監(jiān)控：目標(biāo)識(shí)別算法可用于監(jiān)控交通流量、檢測(cè)違法行為（如闖紅燈、超速）、識(shí)別車牌和管理停車等。

智能停車系統(tǒng)：通過識(shí)別車輛和車牌，智能停車系統(tǒng)可以實(shí)現(xiàn)自動(dòng)停車收費(fèi)、優(yōu)化停車資源分配和引導(dǎo)司機(jī)找到空余車位等功能。

車輛檢測(cè)與識(shí)別：用于分析視頻監(jiān)控?cái)?shù)據(jù)，以實(shí)現(xiàn)對(duì)特定車輛的跟蹤和識(shí)別，應(yīng)用于安全和防盜系統(tǒng)。

在Grove Vision AI(V2)上部署模型

1、打開SenseCraft AI，如下圖所示。

2、連接到 CSI 接口攝像頭，給Grove Vision AI V2 連接CSI接口攝像頭，注意方向不能插反，如下圖所示。然后用數(shù)據(jù)線將Grove Vision AI V2連接到電腦的USB接口上即可。

3、打開SenseCraft模型助手網(wǎng)站，在設(shè)備中選擇“Grove Vision AI V2”再單擊右上角的“連接”按鈕，彈出串口連接窗口后點(diǎn)擊“連接”按鈕，如下圖所示。

當(dāng)“連接”變成紅色的“斷開連接”按鈕時(shí)，表示連接成功了，如下圖所示。

4、在“可用的AI模型”列表中往下拉動(dòng)找到“Trafficcamnet Detection”，并單擊此模型然后再點(diǎn)擊右上角的“發(fā)送”按鈕，如下圖所示。

5、等待一段時(shí)間的下載和燒錄固件的過程，完成后將打開右側(cè)的預(yù)覽窗口，現(xiàn)在就可以將Grove Vision AI V2的攝像頭對(duì)準(zhǔn)汽車目標(biāo)進(jìn)行測(cè)試了，如下圖所示。

推理結(jié)果演示

Grove Al視覺模塊 V2套裝介紹

Grove Al視覺模塊 V2

OV5647-62攝像頭

Grove - Vision Al Module V2是一款拇指大小的人工智能視覺模塊, 配備Himax WiseEye2 HX6538處理器, 該處理器采用 ArmCortex-M55雙核架構(gòu)。

它具有標(biāo)準(zhǔn)的CSI接口, 并與樹莓派相機(jī)兼容。它有一個(gè)內(nèi)置的數(shù)字麥克風(fēng)和SD卡插槽。它非常適用于各種嵌入式視覺項(xiàng)目。

有了SenseCraft Al算法平臺(tái), 經(jīng)過訓(xùn)練的ML模型可以部署到傳感器, 而不需要編碼。它兼容XIAO系列和Arduino生態(tài)系統(tǒng), 是各種物體檢測(cè)應(yīng)用的理想選擇。

主要硬件配置

- 板卡基于WiseEye2 HX6538處理器, 采用雙核ARM Cortex-M55架構(gòu)

- 配備集成Arm Ethos-U55微神經(jīng)網(wǎng)絡(luò)加速單元, 兼容的樹莓派相機(jī)

- 板載PDM麥克風(fēng), SD卡插槽, Type-C, Grove接口, 豐富的外設(shè)支持樣機(jī)開發(fā)

- Seeed Studio XIAO的可擴(kuò)展性, SenseCraft Al的現(xiàn)成AI模型用于無代碼部署。

- 支持各種有效的模型, 包括MobilenetV1、MobilenetV2、 Eficientnet-Lite、Yolov5和Yolov8.

寫在最后

SenseCraft-AI平臺(tái)的模型倉(cāng)數(shù)量還很少，但是好消息是它支持自定義模型上傳并輸出推理結(jié)果，平臺(tái)會(huì)逐漸增加模型倉(cāng)的數(shù)量和分享有愛好者設(shè)計(jì)的模型倉(cāng)原型，敬請(qǐng)關(guān)注！