算豐TDL SDK 是一款集成算法開發(fā)包,提供了便捷的編程接口,使開發(fā)者們能夠更快、高效地將各種智能技術(shù)應(yīng)用于自己的產(chǎn)品和服務(wù)中。無(wú)論開發(fā)者是否是智算領(lǐng)域的專家,有了這個(gè)SDK作為助手,都能輕松構(gòu)建智能應(yīng)用。
開發(fā)者們可以利用這一簡(jiǎn)單易用的工具,把更多精力放在算法模型、應(yīng)用創(chuàng)新和優(yōu)化上,而不必耗費(fèi)大量時(shí)間去處理模型部署相關(guān)的問(wèn)題。今天,就讓我們來(lái)領(lǐng)略它是如何助力開發(fā)者來(lái)構(gòu)建指南應(yīng)用。
一、TDL SDK:智能開發(fā)的得力助手
算豐推出的TDL SDK,支持眾多常用算法,提供了統(tǒng)一友好的編程接口及詳盡的配套開發(fā)文檔。這意味著開發(fā)者們即便是初次嘗試,也能迅速掌握并開始高效的開發(fā)工作,大大縮減了開發(fā)者在應(yīng)用程序開發(fā)上所需的時(shí)間。
下圖是TDL SDK的系統(tǒng)架構(gòu)圖,基于算豐自研的Middleware和TPU SDK,包括內(nèi)部?jī)纱竽K(Core和Service)、算法C接口、算法應(yīng)用(Application)。
圖1 TDL SDK系統(tǒng)框架
Core提供了算法相關(guān)接口,封裝復(fù)雜的底層操作及算法細(xì)節(jié),在內(nèi)部會(huì)對(duì)模型進(jìn)行相應(yīng)的前后處理,并完成推理。Service提供算法相關(guān)輔助API,例如:繪圖, 特征比對(duì), 區(qū)域入侵判定等功能。C接口實(shí)現(xiàn)對(duì)現(xiàn)有現(xiàn)有算法模塊的功能封裝,除了支持TDL SDK內(nèi)部模型外,還支持開發(fā)者自有模型(需按文檔進(jìn)行模型轉(zhuǎn)換)。Application封裝應(yīng)用邏輯,如包含人臉抓拍的應(yīng)用邏輯。
二、如何使用TDL SDK?
使用TDL SDK非常簡(jiǎn)單,首先我們需要在算豐的開發(fā)者論壇https://developer.sophgo.com/thread/556.html下載我們的TDL SDK。
接下來(lái)我們以YOLO V8模型為例,演示如何借助TDLSDK,快速將模型部署到算豐開發(fā)板上。
準(zhǔn)備YOLO V8 的pt/onnx模型。首先我們可以從yolov8的官方倉(cāng)庫(kù)(https://github.com/ultralytics/ultralytics)中獲取到pt模型文件,并進(jìn)行下載。
將pt模型轉(zhuǎn)換為onnx,再由onnx轉(zhuǎn)換為部署模型所需的cvimodel文件。
這里大家可以參考這份文檔來(lái)進(jìn)行模型轉(zhuǎn)換,里面有非常詳細(xì)的指令說(shuō)明:https://doc.sophgo.com/cvitek-develop-docs/master/docs_latest_release/CV180x_CV181x/zh/01.software/TPU/YOLO_Development_Guide/build/html/index.html
配置交叉編譯環(huán)境
wget
https://sophon-file.sophon.cn/sophon-prod-s3/drive/23/03/07/16/host-tools.tar.gz
tarxvfhost-tools.tar.gz
cdhost-tools
exportPATH=$PATH:$(pwd)/gcc/riscv64-linux-musl-x86_64/bin
編譯cvitek_tdl_sdk
/*進(jìn)入到cvitek_tdl_sdk的sample目錄下并執(zhí)行一鍵編譯*/
chmod777compile_sample.sh
./compile_sample.sh
配置開發(fā)板的環(huán)境變量將編譯好的程序放到算能開發(fā)板上后,我們還需要引入依賴庫(kù)路徑,才能完成實(shí)際的部署。
exportLD_LIBRARY_PATH=/tmp/lfh/cvitek_tdl_sdk/lib:\
/tmp/lfh/cvitek_tdl_sdk/sample/3rd/opencv/lib:\
/tmp/lfh/cvitek_tdl_sdk/sample/3rd/tpu/lib:\
/tmp/lfh/cvitek_tdl_sdk/sample/3rd/ive/lib:\
/tmp/lfh/cvitek_tdl_sdk/sample/3rd/middleware/v2/lib:\
/tmp/lfh/cvitek_tdl_sdk/sample/3rd/lib:\
/tmp/lfh/cvitek_tdl_sdk/sample/3rd/middleware/v2/lib/3rd:
注: /tmp/lfh為示例中開發(fā)板的掛載文件夾,請(qǐng)以你的實(shí)際路徑為準(zhǔn)。
部署完成,運(yùn)行模型
chmod777sample_yolov8
./sample_yolov8/tmp/lfh/yolov8n_headperson.cvimodel
/tmp/lfh/pic1.jpg
指令運(yùn)行成功,即可說(shuō)明我們的模型已經(jīng)順利移植部署到了板子上啦。以下為可視化展示(mAP(0.5): 86.4%):
除了單獨(dú)的人形檢測(cè),我們也提供了基于yolo v8推理的人形與交通工具的檢測(cè)(mAP(0.5): 81.8%),客流統(tǒng)計(jì)(平均準(zhǔn)確率: 96.3%)等等;
圖3 客流統(tǒng)計(jì)
三、TDL SDK支持哪些算法?
TDL SDK作為一個(gè)便捷的開發(fā)工具包,就像是一個(gè)種類豐富的算法超市,涵蓋了各種智能應(yīng)用場(chǎng)景。以下我們列出了當(dāng)前已經(jīng)支持的算法:
功能描述 | 模型接口 |
---|---|
使用ScrFD Face模型偵測(cè)人臉 | CVI_TDL_ScrFDFace |
抽取人臉識(shí)別特征 | CVI_TDL_FaceRecognition |
人臉質(zhì)量評(píng)估與人臉角度偵測(cè) | CVI_TDL_FaceQuality |
判斷人臉是否戴口罩 | CVI_TDL_MaskClassification |
人臉屬性 | CVI_TDL_FaceAttribute |
安全帽檢測(cè) | CVI_TDL_YOLOV8_Hardhat |
手勢(shì)分類 | CVI_TDL_HandClassification |
手部檢測(cè) | CVI_TDL_Hand_Detection |
手部關(guān)鍵點(diǎn)偵測(cè) | CVI_TDL_HandKeypoint |
關(guān)鍵點(diǎn)手勢(shì)分類 | CVI_TDL_HandKeypointClassification |
行人檢測(cè) | CVI_TDL_MobileDetV2_Pedestrian |
貓狗及人形檢測(cè) | CVI_TDL_MobileDetV2_Person_Pets |
手部、臉及人形檢測(cè) | CVI_TDL_HandFacePerson_Detection |
人形及交通工具檢測(cè) | CVI_TDL_PersonVehicle_Detection |
人體關(guān)鍵點(diǎn)檢測(cè) | CVI_TDL_Yolov8_Pose |
車牌檢測(cè) | CVI_TDL_LicensePlateDetection |
車牌識(shí)別 | CVI_TDL_LicensePlateRecognition_CN |
語(yǔ)義分割 | CVI_TDL_Topformer |
交通工具檢測(cè) | CVI_TDL_MobileDetV2_Vehicle |
客流統(tǒng)計(jì) | CVI_TDL_APP_ConsumerCounting_Run |
人臉抓拍 | CVI_TDL_APP_FaceCapture_Run |
聲音識(shí)別(嬰兒哭聲、語(yǔ)音指令) | CVI_TDL_SoundClassification_V2 |
上述的常用算法,大部分都已經(jīng)在實(shí)際項(xiàng)目中落地,并且也在不斷優(yōu)化迭代,開發(fā)者可以自行體驗(yàn)。除了支持已有的模型,TDL SDK還開放同類模型的推理接口,開發(fā)者只要參考文檔導(dǎo)出模型,可以直接用現(xiàn)有接口推理其自有模型。不僅如此,除了列表里提到的部分,TDL SDK還在不斷維護(hù)升級(jí),以支持更多的主流算法。
四、結(jié)語(yǔ)
TDL SDK就像是打開智能世界大門的鑰匙,可以幫助開發(fā)者快速上手智能開發(fā)。如果你正在尋找一款高效、易用的智能開發(fā)工具包,那么TDL SDK絕對(duì)是你的不二之選!期待與你一起開拓智能化的新時(shí)代!
-
編程接口
+關(guān)注
關(guān)注
1文章
38瀏覽量
7988 -
SDK
+關(guān)注
關(guān)注
3文章
1035瀏覽量
45900 -
開發(fā)包
+關(guān)注
關(guān)注
0文章
24瀏覽量
7205
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論