RM新时代网站-首页

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

算豐TDL SDK:打造高效智能應(yīng)用的神秘武器

算能開發(fā)者社區(qū) ? 2024-06-08 08:34 ? 次閱讀

算豐TDL SDK 是一款集成算法開發(fā)包,提供了便捷的編程接口,使開發(fā)者們能夠更快、高效地將各種智能技術(shù)應(yīng)用于自己的產(chǎn)品和服務(wù)中。無(wú)論開發(fā)者是否是智算領(lǐng)域的專家,有了這個(gè)SDK作為助手,都能輕松構(gòu)建智能應(yīng)用。

開發(fā)者們可以利用這一簡(jiǎn)單易用的工具,把更多精力放在算法模型、應(yīng)用創(chuàng)新和優(yōu)化上,而不必耗費(fèi)大量時(shí)間去處理模型部署相關(guān)的問(wèn)題。今天,就讓我們來(lái)領(lǐng)略它是如何助力開發(fā)者來(lái)構(gòu)建指南應(yīng)用。

一、TDL SDK:智能開發(fā)的得力助手

算豐推出的TDL SDK,支持眾多常用算法,提供了統(tǒng)一友好的編程接口及詳盡的配套開發(fā)文檔。這意味著開發(fā)者們即便是初次嘗試,也能迅速掌握并開始高效的開發(fā)工作,大大縮減了開發(fā)者在應(yīng)用程序開發(fā)上所需的時(shí)間。

下圖是TDL SDK的系統(tǒng)架構(gòu)圖,基于算豐自研的Middleware和TPU SDK,包括內(nèi)部?jī)纱竽K(Core和Service)、算法C接口、算法應(yīng)用(Application)。cc6db648-252e-11ef-bd4a-92fbcf53809c.png

圖1 TDL SDK系統(tǒng)框架

Core提供了算法相關(guān)接口,封裝復(fù)雜的底層操作及算法細(xì)節(jié),在內(nèi)部會(huì)對(duì)模型進(jìn)行相應(yīng)的前后處理,并完成推理。Service提供算法相關(guān)輔助API,例如:繪圖, 特征比對(duì), 區(qū)域入侵判定等功能。C接口實(shí)現(xiàn)對(duì)現(xiàn)有現(xiàn)有算法模塊的功能封裝,除了支持TDL SDK內(nèi)部模型外,還支持開發(fā)者自有模型(需按文檔進(jìn)行模型轉(zhuǎn)換)。Application封裝應(yīng)用邏輯,如包含人臉抓拍的應(yīng)用邏輯。

二、如何使用TDL SDK?

使用TDL SDK非常簡(jiǎn)單,首先我們需要在算豐的開發(fā)者論壇https://developer.sophgo.com/thread/556.html下載我們的TDL SDK。

接下來(lái)我們以YOLO V8模型為例,演示如何借助TDLSDK,快速將模型部署到算豐開發(fā)板上。

準(zhǔn)備YOLO V8 的pt/onnx模型。首先我們可以從yolov8的官方倉(cāng)庫(kù)(https://github.com/ultralytics/ultralytics)中獲取到pt模型文件,并進(jìn)行下載。

將pt模型轉(zhuǎn)換為onnx,再由onnx轉(zhuǎn)換為部署模型所需的cvimodel文件。

這里大家可以參考這份文檔來(lái)進(jìn)行模型轉(zhuǎn)換,里面有非常詳細(xì)的指令說(shuō)明:https://doc.sophgo.com/cvitek-develop-docs/master/docs_latest_release/CV180x_CV181x/zh/01.software/TPU/YOLO_Development_Guide/build/html/index.html

配置交叉編譯環(huán)境

wget
https://sophon-file.sophon.cn/sophon-prod-s3/drive/23/03/07/16/host-tools.tar.gz
tarxvfhost-tools.tar.gz
cdhost-tools
exportPATH=$PATH:$(pwd)/gcc/riscv64-linux-musl-x86_64/bin

編譯cvitek_tdl_sdk

/*進(jìn)入到cvitek_tdl_sdk的sample目錄下并執(zhí)行一鍵編譯*/
chmod777compile_sample.sh
./compile_sample.sh

配置開發(fā)板的環(huán)境變量將編譯好的程序放到算能開發(fā)板上后,我們還需要引入依賴庫(kù)路徑,才能完成實(shí)際的部署。

exportLD_LIBRARY_PATH=/tmp/lfh/cvitek_tdl_sdk/lib:\
/tmp/lfh/cvitek_tdl_sdk/sample/3rd/opencv/lib:\
/tmp/lfh/cvitek_tdl_sdk/sample/3rd/tpu/lib:\
/tmp/lfh/cvitek_tdl_sdk/sample/3rd/ive/lib:\
/tmp/lfh/cvitek_tdl_sdk/sample/3rd/middleware/v2/lib:\
/tmp/lfh/cvitek_tdl_sdk/sample/3rd/lib:\
/tmp/lfh/cvitek_tdl_sdk/sample/3rd/middleware/v2/lib/3rd:

注: /tmp/lfh為示例中開發(fā)板的掛載文件夾,請(qǐng)以你的實(shí)際路徑為準(zhǔn)。

部署完成,運(yùn)行模型

chmod777sample_yolov8
./sample_yolov8/tmp/lfh/yolov8n_headperson.cvimodel
/tmp/lfh/pic1.jpg

指令運(yùn)行成功,即可說(shuō)明我們的模型已經(jīng)順利移植部署到了板子上啦。以下為可視化展示(mAP(0.5): 86.4%):

除了單獨(dú)的人形檢測(cè),我們也提供了基于yolo v8推理的人形與交通工具的檢測(cè)(mAP(0.5): 81.8%),客流統(tǒng)計(jì)(平均準(zhǔn)確率: 96.3%)等等;

ccb12554-252e-11ef-bd4a-92fbcf53809c.png

圖3 客流統(tǒng)計(jì)

三、TDL SDK支持哪些算法?

TDL SDK作為一個(gè)便捷的開發(fā)工具包,就像是一個(gè)種類豐富的算法超市,涵蓋了各種智能應(yīng)用場(chǎng)景。以下我們列出了當(dāng)前已經(jīng)支持的算法:

功能描述模型接口
使用ScrFD Face模型偵測(cè)人臉CVI_TDL_ScrFDFace
抽取人臉識(shí)別特征CVI_TDL_FaceRecognition
人臉質(zhì)量評(píng)估與人臉角度偵測(cè)CVI_TDL_FaceQuality
判斷人臉是否戴口罩CVI_TDL_MaskClassification
人臉屬性CVI_TDL_FaceAttribute
安全帽檢測(cè)CVI_TDL_YOLOV8_Hardhat
手勢(shì)分類CVI_TDL_HandClassification
手部檢測(cè)CVI_TDL_Hand_Detection
手部關(guān)鍵點(diǎn)偵測(cè)CVI_TDL_HandKeypoint
關(guān)鍵點(diǎn)手勢(shì)分類CVI_TDL_HandKeypointClassification
行人檢測(cè)CVI_TDL_MobileDetV2_Pedestrian
貓狗及人形檢測(cè)CVI_TDL_MobileDetV2_Person_Pets
手部、臉及人形檢測(cè)CVI_TDL_HandFacePerson_Detection
人形及交通工具檢測(cè)CVI_TDL_PersonVehicle_Detection
人體關(guān)鍵點(diǎn)檢測(cè)CVI_TDL_Yolov8_Pose
車牌檢測(cè)CVI_TDL_LicensePlateDetection
車牌識(shí)別CVI_TDL_LicensePlateRecognition_CN
語(yǔ)義分割CVI_TDL_Topformer
交通工具檢測(cè)CVI_TDL_MobileDetV2_Vehicle
客流統(tǒng)計(jì)CVI_TDL_APP_ConsumerCounting_Run
人臉抓拍CVI_TDL_APP_FaceCapture_Run
聲音識(shí)別(嬰兒哭聲、語(yǔ)音指令)CVI_TDL_SoundClassification_V2

上述的常用算法,大部分都已經(jīng)在實(shí)際項(xiàng)目中落地,并且也在不斷優(yōu)化迭代,開發(fā)者可以自行體驗(yàn)。除了支持已有的模型,TDL SDK還開放同類模型的推理接口,開發(fā)者只要參考文檔導(dǎo)出模型,可以直接用現(xiàn)有接口推理其自有模型。不僅如此,除了列表里提到的部分,TDL SDK還在不斷維護(hù)升級(jí),以支持更多的主流算法。

四、結(jié)語(yǔ)

TDL SDK就像是打開智能世界大門的鑰匙,可以幫助開發(fā)者快速上手智能開發(fā)。如果你正在尋找一款高效、易用的智能開發(fā)工具包,那么TDL SDK絕對(duì)是你的不二之選!期待與你一起開拓智能化的新時(shí)代!

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 編程接口
    +關(guān)注

    關(guān)注

    1

    文章

    38

    瀏覽量

    7988
  • SDK
    SDK
    +關(guān)注

    關(guān)注

    3

    文章

    1035

    瀏覽量

    45900
  • 開發(fā)包
    +關(guān)注

    關(guān)注

    0

    文章

    24

    瀏覽量

    7205
收藏 人收藏

    評(píng)論

    相關(guān)推薦

    開源芯片系列講座第24期:基于SRAM存高效計(jì)算架構(gòu)

    鷺島論壇開源芯片系列講座第24期「基于SRAM存高效計(jì)算架構(gòu)」明晚(27日)20:00精彩開播期待與您云相聚,共襄學(xué)術(shù)盛宴!|直播信息報(bào)告題目基于SRAM存高效計(jì)算架構(gòu)報(bào)告簡(jiǎn)介
    的頭像 發(fā)表于 11-27 01:05 ?208次閱讀
    開源芯片系列講座第24期:基于SRAM存<b class='flag-5'>算</b>的<b class='flag-5'>高效</b>計(jì)算架構(gòu)

    通過(guò)Google Play SDK管理中心打造更安全、更優(yōu)質(zhì)的SDK

    ? 雖然 SDK 可以為應(yīng)用開發(fā)者帶來(lái)許多好處,但也可能會(huì)以不易識(shí)別或難以控制的方式影響應(yīng)用。因此,我們?cè)?2021 年推出了 Google Play SDK 管理中心,并在其中納入了一些被廣泛采用
    的頭像 發(fā)表于 11-14 10:36 ?249次閱讀
    通過(guò)Google Play <b class='flag-5'>SDK</b>管理中心<b class='flag-5'>打造</b>更安全、更優(yōu)質(zhì)的<b class='flag-5'>SDK</b>

    智能DAC揭開醫(yī)療報(bào)警設(shè)計(jì)的神秘面紗

    電子發(fā)燒友網(wǎng)站提供《用智能DAC揭開醫(yī)療報(bào)警設(shè)計(jì)的神秘面紗.pdf》資料免費(fèi)下載
    發(fā)表于 09-14 10:50 ?0次下載
    用<b class='flag-5'>智能</b>DAC揭開醫(yī)療報(bào)警設(shè)計(jì)的<b class='flag-5'>神秘</b>面紗

    智能照明控制模塊:打造舒適、高效的光環(huán)境

    智能照明控制模塊:打造舒適、高效的光環(huán)境 在追求高效與舒適的現(xiàn)代辦公與居住空間中,光環(huán)境扮演著至關(guān)重要的角色。它不僅能夠影響我們的情緒、工作效率,還能為空間賦予獨(dú)特的氛圍與個(gè)性。而
    的頭像 發(fā)表于 08-16 09:20 ?310次閱讀

    力系列基礎(chǔ)篇——力與計(jì)算機(jī)性能:解鎖超能力的神秘力量!

    在《力系列基礎(chǔ)篇——力101:從零開始了解力》中,相信各位粉絲初步了解到人工智能的“發(fā)動(dòng)機(jī)”和核心驅(qū)動(dòng)力:力!
    的頭像 發(fā)表于 07-11 08:04 ?104次閱讀
    <b class='flag-5'>算</b>力系列基礎(chǔ)篇——<b class='flag-5'>算</b>力與計(jì)算機(jī)性能:解鎖超能力的<b class='flag-5'>神秘</b>力量!

    在 Duo S 上使用 TDL SDK 高效部署人臉檢測(cè)模型

    VTDLSDK是一款集成算法開發(fā)包,提供了便捷的編程接口,使開發(fā)者們能夠更快、高效地將各種深度學(xué)習(xí)技術(shù)應(yīng)用于自己的產(chǎn)品和服務(wù)中。無(wú)論開發(fā)者是否是深度學(xué)習(xí)領(lǐng)域的專家,有了TDLSDK作為助手,都能輕松
    的頭像 發(fā)表于 06-22 08:33 ?529次閱讀
    在 Duo S 上使用 <b class='flag-5'>TDL</b> <b class='flag-5'>SDK</b> <b class='flag-5'>高效</b>部署人臉檢測(cè)模型

    曙光ParaStor全閃存儲(chǔ)構(gòu)建最強(qiáng)數(shù)據(jù)底座打造高效的存協(xié)同

    ? ?近日,?“立體計(jì)算,釋放發(fā)展力—異構(gòu)智能力技術(shù)閉門研討會(huì)”在揚(yáng)州圓滿舉行。來(lái)自上海各大高校、研究機(jī)構(gòu)的二十余位專家齊聚一堂,共同探討了異構(gòu)智能力在推動(dòng)科技創(chuàng)新和教育發(fā)展中的重
    的頭像 發(fā)表于 06-04 10:48 ?1068次閱讀

    海南陵水海底智中心:2000PFlops優(yōu)質(zhì)力集,打造綠色力基礎(chǔ)

    海蘭信表示,人工智能正成為新的生產(chǎn)要素,而智中心則是這一領(lǐng)域的關(guān)鍵基礎(chǔ)設(shè)施。作為一種高效的新型數(shù)據(jù)中心,海底數(shù)據(jù)中心有望成為沿海地區(qū)發(fā)展人工智能的重要支撐。
    的頭像 發(fā)表于 04-18 14:10 ?2736次閱讀

    AI定義汽車:NVIDIA引領(lǐng)自動(dòng)駕駛與智新紀(jì)元

    相較于智能汽車上能直觀體驗(yàn)到的應(yīng)用和體驗(yàn),處在后臺(tái)的 AI 智中心更為神秘,且工作量更為龐大。
    發(fā)表于 03-21 09:57 ?217次閱讀

    iBeLink KS MAX 10.5T大力領(lǐng)跑KAS新領(lǐng)域

    有8G的顯存,可以處理復(fù)雜的算法,提高挖掘穩(wěn)定性。iBeLink ks max10.5T的超大特點(diǎn)是它的高效節(jié)能,它采用了先進(jìn)的“存一體”高通量力芯片,專為“大型復(fù)雜”的區(qū)的塊的鏈加密局域網(wǎng)運(yùn)算而
    發(fā)表于 02-20 16:11

    HarmonyOS SDK 助力新浪新聞打造精致易用的新聞應(yīng)用

    。 越來(lái)越多像新浪新聞這樣的先鋒應(yīng)用的踴躍加入,為鴻蒙生態(tài)發(fā)展注入了新活力。HarmonyOS SDK 將持續(xù)為鴻蒙原生應(yīng)用的開發(fā)與體驗(yàn)提供底層技術(shù)源動(dòng)力,賦能開發(fā)者高效打造更純凈、更精致、更
    發(fā)表于 02-07 15:51

    智能力規(guī)模超通用力,大模型對(duì)智能力提出高要求

    的縮寫,即每秒所能夠進(jìn)行的浮點(diǎn)運(yùn)算數(shù)目(每秒浮點(diǎn)運(yùn)算量)。 ? 力可以分為通用力、智能力和超算算力。早前通用力占整體
    的頭像 發(fā)表于 02-06 00:08 ?6309次閱讀

    HarmonyOS SDK,助力開發(fā)者打造煥然一新的鴻蒙原生應(yīng)用

    場(chǎng)景推出場(chǎng)景化控件,幫助開發(fā)者快速地打造更純凈、更智能、更精致、更易用的鴻蒙原生應(yīng)用。 提供六大領(lǐng)域,能力豐富完備 HarmonyOS SDK 擁有近 30000 個(gè) API,覆蓋了鴻蒙原生應(yīng)用開發(fā)
    發(fā)表于 01-19 10:31

    持續(xù)構(gòu)建行業(yè)影響力|HarmonyOS SDK榮膺年度“技術(shù)卓越”獎(jiǎng)項(xiàng)

    自 2023 年 9 月華為宣布鴻蒙原生應(yīng)用全面啟動(dòng)以來(lái),HarmonyOS SDK 通過(guò)將 HarmonyOS 系統(tǒng)級(jí)能力對(duì)外開放,支撐開發(fā)者高效打造更純凈、更智能、更精致、更易用的
    發(fā)表于 01-12 09:33

    后摩智能與優(yōu)控智行共同打造智能汽車硬件平臺(tái)及綜合解決方案

    12月28日,后摩智能與優(yōu)控智行正式簽署戰(zhàn)略合作,雙方將基于后摩智能的存一體智駕芯片,共同打造智能汽車硬件平臺(tái)及綜合解決方案,以及合作開發(fā)
    的頭像 發(fā)表于 12-29 14:36 ?928次閱讀
    RM新时代网站-首页