導(dǎo)讀

2023年以ChatGPT為代表的大語(yǔ)言模型橫空出世，它的出現(xiàn)標(biāo)志著自然語(yǔ)言處理領(lǐng)域取得了重大突破。它在文本生成、對(duì)話系統(tǒng)和語(yǔ)言理解等方面展現(xiàn)出了強(qiáng)大的能力，為人工智能技術(shù)的發(fā)展開(kāi)辟了新的可能性。同時(shí)，人工智能技術(shù)正在進(jìn)入各種應(yīng)用領(lǐng)域，在智慧城市、智能制造、智慧醫(yī)療、智慧農(nóng)業(yè)等領(lǐng)域發(fā)揮著重要作用。

柴火創(chuàng)客2024年將依托母公司Seeed矽遞科技在人工智能領(lǐng)域的創(chuàng)新硬件，與全球創(chuàng)客愛(ài)好者共建“模型倉(cāng)”，通過(guò)“SenseCraft AI”平臺(tái)可以讓使用者快速部署應(yīng)用體驗(yàn)人工智能技術(shù)！

RT-DETR

目標(biāo)檢測(cè)一直面臨著一個(gè)重大挑戰(zhàn)-平衡速度和準(zhǔn)確性。像YOLO這樣的傳統(tǒng)模型速度很快，但需要一個(gè)名為非極大值抑制（NMS）的后處理步驟，這會(huì)減慢檢測(cè)速度。NMS過(guò)濾重疊的邊界框，但這會(huì)引入額外的計(jì)算時(shí)間，影響整體速度。

RT-DETR 實(shí)時(shí)端到端目標(biāo)檢測(cè)器，旨在解決現(xiàn)有目標(biāo)檢測(cè)方法在速度和精度上的問(wèn)題。該方法在保持較高檢測(cè)精度的同時(shí)，顯著提升了推理速度，為實(shí)時(shí)目標(biāo)檢測(cè)提供了新的解決方案。

RT-DETR是基于DETR架構(gòu)的端到端對(duì)象檢測(cè)器，完全消除了對(duì)NMS的需求。通過(guò)這樣做，RT-DETR顯著減少了之前基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的對(duì)象檢測(cè)器（如YOLO系列）的延遲。它結(jié)合了強(qiáng)大的主干、混合編碼器和獨(dú)特的查詢選擇器，可以快速準(zhǔn)確地處理特征。

RT-DETR 架構(gòu)的關(guān)鍵組成

骨干網(wǎng)絡(luò)：提取特征，文中實(shí)驗(yàn)了 ResNet 和可縮放的 HgNetV2 兩種骨干網(wǎng)絡(luò)，選擇其最后三個(gè)階段的特征輸入到編碼器。

高效混合編碼器：通過(guò)解耦尺度內(nèi)交互和跨尺度融合來(lái)高效處理多尺度特征，它由兩部分組成：

·AIFI（Attention-based Intra-scale Feature Interaction）：僅在上使用單尺度 Transformer 編碼器進(jìn)行層內(nèi)特征交互，以捕獲更豐富的語(yǔ)義概念，降低復(fù)雜度并提高整體精度。

·CCFF（CNN-based Cross-scale Feature Fusion）：基于跨尺度融合模塊進(jìn)行優(yōu)化，在融合路徑中插入多個(gè)由卷積層組成的融合塊，用于融合相鄰尺度的特征。融合塊包含兩個(gè) 1×1 卷積調(diào)整通道數(shù)，使用 RepConv 組成的 N 個(gè) RepBlocks 進(jìn)行特征融合，通過(guò)元素相加融合兩條路徑的輸出。

Transformer 解碼器：解碼器通過(guò)不確定性最小查詢選擇模塊，從編碼器輸出的特征序列中選擇固定數(shù)量的特征作為初始對(duì)象查詢，然后利用輔助預(yù)測(cè)頭迭代優(yōu)化對(duì)象查詢，生成類別和邊界框。

此外，RT-DETR 支持靈活調(diào)整推理速度，通過(guò)調(diào)整解碼器層數(shù)實(shí)現(xiàn)，而無(wú)需重新訓(xùn)練。同時(shí)，它還支持通過(guò)控制編碼器和解碼器的參數(shù)來(lái)實(shí)現(xiàn)模型的縮放。

RT-DETR特點(diǎn)

高效混合編碼器：采用高效混合編碼器，通過(guò)解耦尺度內(nèi)交互和跨尺度融合來(lái)處理多尺度特征。這種基于 Vision Transformers 的獨(dú)特設(shè)計(jì)降低了計(jì)算成本，允許實(shí)時(shí)物體檢測(cè)。

IoU 感知查詢選擇：利用 IoU 感知查詢選擇改進(jìn)了對(duì)象查詢初始化，使模型能夠?qū)Ｗ⒂趫?chǎng)景中最相關(guān)的對(duì)象，從而提高檢測(cè)準(zhǔn)確性。

推理速度可調(diào)：支持通過(guò)使用不同的解碼器層靈活調(diào)整推理速度，無(wú)需重新訓(xùn)練。這種適應(yīng)性有助于在各種實(shí)時(shí)目標(biāo)檢測(cè)場(chǎng)景中的實(shí)際應(yīng)用。

實(shí)時(shí)性能：實(shí)現(xiàn)了實(shí)時(shí)目標(biāo)檢測(cè)速度，相比許多基于 Transformer 的模型，其推理速度更快。

無(wú)錨框設(shè)計(jì)：不依賴于錨框，直接預(yù)測(cè)物體的邊界框和類別，提高了模型的靈活性和檢測(cè)效率，減少了超參數(shù)調(diào)優(yōu)的工作量，提升了小目標(biāo)檢測(cè)的性能。

端到端訓(xùn)練：采用端到端的訓(xùn)練方式，不需要像傳統(tǒng)的檢測(cè)方法那樣經(jīng)過(guò)復(fù)雜的后處理步驟，如非極大值抑制（NMS），提高了訓(xùn)練效率并減少了推理的復(fù)雜度。

高精度：在速度和精度方面均超過(guò)了 YOLO 系列等其他實(shí)時(shí)檢測(cè)器，例如 RT-DETR-R50 在 COCO val2017 上達(dá)到 53.1% 的 AP 和 108 FPS，RT-DETR-R101 達(dá)到 54.3% 的 AP 和 74 FPS。

可擴(kuò)展性：支持模型的縮放，通過(guò)控制編碼器和解碼器的參數(shù)，如調(diào)整寬度（嵌入尺寸和通道數(shù)）和深度（Transformer 層數(shù)和 RepBlocks），以適應(yīng)不同場(chǎng)景的需求。

高效處理多尺度特征：集成了多尺度特征融合模塊，能夠同時(shí)處理大中小不同尺寸的目標(biāo)，在檢測(cè)小目標(biāo)時(shí)表現(xiàn)優(yōu)異。

帳篷檢測(cè)模型

該 AI 模型利用先進(jìn)的 Swift yolo 算法，專注于帳篷識(shí)別，可以在實(shí)時(shí)視頻流中準(zhǔn)確檢測(cè)和標(biāo)記帳篷。它特別適用于 Seeed Studio Grove Vision AI （V2） 設(shè)備，提供高兼容性和穩(wěn)定性。

露營(yíng)場(chǎng)景應(yīng)用

營(yíng)地管理與布局優(yōu)化：

- 幫助營(yíng)地主動(dòng)監(jiān)控帳篷的分布情況，可以分析不同區(qū)域的帳篷數(shù)量，優(yōu)化露營(yíng)地的布局，確保合理利用空間，避免擁堵。

安全與防災(zāi)：

- 在天氣突變或出現(xiàn)自然災(zāi)害時(shí)（如暴風(fēng)雨、洪水等），可以實(shí)時(shí)檢測(cè)帳篷所在地的環(huán)境變化，警告營(yíng)地管理者采取相應(yīng)措施，保障露營(yíng)者的安全。

資源分配與監(jiān)控：

- 管理者可以根據(jù)檢測(cè)到的帳篷數(shù)量和分布，合理分配營(yíng)地的水、電及其他資源，更高效地滿足露營(yíng)者的需求。

數(shù)據(jù)收集與分析：

- 通過(guò)持續(xù)監(jiān)測(cè)帳篷的數(shù)量和動(dòng)態(tài)變化，營(yíng)地管理者可以收集露營(yíng)高峰期的數(shù)據(jù)，從而為未來(lái)的活動(dòng)策劃和資源配置提供參考。

客戶體驗(yàn)提升：

- 通過(guò)分析帳篷的分布及活動(dòng)情況，管理者可以為露營(yíng)者提供個(gè)性化的建議，如推薦適合的露營(yíng)區(qū)域、活動(dòng)和服務(wù)，提升整體體驗(yàn)。

野生動(dòng)物監(jiān)測(cè)與管理：

- 利用帳篷檢測(cè)技術(shù)，營(yíng)地管理人員可以監(jiān)控露營(yíng)區(qū)域?qū)Ξ?dāng)?shù)厣鷳B(tài)環(huán)境的影響，合理安排活動(dòng)，以保護(hù)野生動(dòng)物棲息環(huán)境。

應(yīng)急響應(yīng)：

- 在緊急情況下，例如露營(yíng)者的失蹤或事故發(fā)生時(shí)，模型可以幫助定位帳篷位置，快速調(diào)派救援力量。

智能化露營(yíng)服務(wù)：

- 在自動(dòng)化和智能化露營(yíng)平臺(tái)中，帳篷檢測(cè)模型可以與其他智能設(shè)備和系統(tǒng)集成，為露營(yíng)者提供實(shí)時(shí)信息和服務(wù)，如天氣預(yù)報(bào)、急救指引等。

在Grove-VisionAIV2上部署模型

1、打開(kāi)SenseCraft AI平臺(tái)，如果第一次使用請(qǐng)先注冊(cè)一個(gè)會(huì)員賬號(hào)，還可以設(shè)置語(yǔ)言為中文。

平臺(tái)地址：https://sensecraft.seeed.cc/ai/#/model

2、在頂部單擊【預(yù)訓(xùn)練模型】菜單，在公共AI模型列表9中找到【帳篷檢測(cè)】模型，單擊此模型圖片，如下圖所示。

3、進(jìn)入【帳篷檢測(cè)】模型介紹頁(yè)面，單擊右側(cè)的“部署模型”按鈕，如下圖所示。

4、進(jìn)入部署帳篷檢測(cè)模型頁(yè)面，按提示步驟先連接攝像頭，再連接設(shè)備到電腦USB接口上，最后單擊【連接設(shè)備】按鈕，如下圖所示。

5、彈出部署模型窗口，單擊“確定”按鈕，如下圖所示。

6、彈出連接到串行端口窗口，選擇端口號(hào)后單擊“連接”按鈕，如下圖所示。

7、開(kāi)始進(jìn)行模型部署、固件下載、設(shè)備重啟等過(guò)程，完成后在預(yù)覽中即可看到當(dāng)前攝像頭視頻內(nèi)容，將攝像頭對(duì)準(zhǔn)露營(yíng)中的帳篷圖片查看預(yù)測(cè)效果，如下圖所示。

預(yù)測(cè)效果視頻演示

Grove Al視覺(jué)模塊 V2套裝介紹

Grove Al視覺(jué)模塊 V2

OV5647-62攝像頭

Grove - Vision Al Module V2是一款拇指大小的人工智能視覺(jué)模塊, 配備Himax WiseEye2 HX6538處理器, 該處理器采用 ArmCortex-M55雙核架構(gòu)。

它具有標(biāo)準(zhǔn)的CSI接口, 并與樹(shù)莓派相機(jī)兼容。它有一個(gè)內(nèi)置的數(shù)字麥克風(fēng)和SD卡插槽。它非常適用于各種嵌入式視覺(jué)項(xiàng)目。

有了SenseCraft Al算法平臺(tái), 經(jīng)過(guò)訓(xùn)練的ML模型可以部署到傳感器, 而不需要編碼。它兼容XIAO系列和Arduino生態(tài)系統(tǒng), 是各種物體檢測(cè)應(yīng)用的理想選擇。

Arm Ethos-U55 嵌入式神經(jīng)網(wǎng)絡(luò)處理器（NPU）

嵌入式神經(jīng)網(wǎng)絡(luò)處理器（NPU）是一種特別設(shè)計(jì)用于執(zhí)行神經(jīng)網(wǎng)絡(luò)計(jì)算的高效率處理器。它主要基于數(shù)據(jù)驅(qū)動(dòng)并行計(jì)算架構(gòu)，特別擅長(zhǎng)處理視頻、圖像等大量的多媒體數(shù)據(jù)。NPU模仿了生物神經(jīng)網(wǎng)絡(luò)的架構(gòu)，與CPU、GPU相比，它能夠通過(guò)更少的指令（一條或幾條）完成神經(jīng)元的處理，因此在深度學(xué)習(xí)的處理效率方面具有明顯優(yōu)勢(shì)。

它具有標(biāo)準(zhǔn)的CSI接口, 并與樹(shù)莓派相機(jī)兼容。它有一個(gè)內(nèi)置的數(shù)字麥克風(fēng)和SD卡插槽。它非常適用于各種嵌入式視覺(jué)項(xiàng)目。

有了SenseCraft Al算法平臺(tái), 經(jīng)過(guò)訓(xùn)練的ML模型可以部署到傳感器, 而不需要編碼。它兼容XIAO系列和Arduino生態(tài)系統(tǒng), 是各種物體檢測(cè)應(yīng)用的理想選擇。

主要硬件配置

- 板卡基于WiseEye2 HX6538處理器, 采用雙核ARM Cortex-M55架構(gòu) 。

- 配備集成Arm Ethos-U55微神經(jīng)網(wǎng)絡(luò)加速單元, 兼容的樹(shù)莓派相機(jī)

- 板載PDM麥克風(fēng), SD卡插槽, Type-C, Grove接口, 豐富的外設(shè)支持樣機(jī)開(kāi)發(fā) 。

- Seeed Studio XIAO的可擴(kuò)展性, SenseCraft Al的現(xiàn)成AI模型用于無(wú)代碼部署。

- 支持各種有效的模型, 包括MobilenetV1、MobilenetV2、 Eficientnet-Lite、Yolov5和Yolov8。

寫在最后

SenseCraft-AI平臺(tái)的模型倉(cāng)數(shù)量還很少，但是好消息是它支持自定義模型上傳并輸出推理結(jié)果，平臺(tái)會(huì)逐漸增加模型倉(cāng)的數(shù)量和分享有愛(ài)好者設(shè)計(jì)的模型倉(cāng)原型，敬請(qǐng)關(guān)注！