Vitis 視頻分析 SDK構(gòu)建自己的智能視頻分析解決方案

Vitis 視頻分析 SDK 旨在 Xilinx 目標(biāo)平臺或您自己的平臺上構(gòu)建和部署支持人工智能功能的智能視頻分析解決方案的完整軟件堆棧。它從 USB/MIPI 攝像頭輸入，通過 RTSP 從文件或數(shù)據(jù)流獲取視頻，并使用 Vitis AI 從像素點(diǎn)為各種使用案例生成深度洞察，比如了解智慧城市的交通和行人、醫(yī)院的健康與安全監(jiān)控、自助結(jié)賬以及零售分析等，從而可檢查生產(chǎn)設(shè)施等的組件缺陷。

核心 SDK 包含多個(gè)硬件加速器插件，該插件使用各種加速器，如視頻編碼器、解碼器、多尺度器（用于調(diào)整大小和色彩空間轉(zhuǎn)換）以及用于人工智能推斷的深度學(xué)習(xí)處理單元 （DPU） 等。通過在專用加速器中執(zhí)行所有計(jì)算量大的操作，它可實(shí)現(xiàn)視頻分析應(yīng)用的最高性能。

對于開發(fā)者社區(qū)，Vitis 視頻還提供一個(gè)通用基礎(chǔ)架構(gòu)插件形式的框架、軟件加速庫和一個(gè)簡化的接口，可供用戶開發(fā)自己的加速庫，控制自定義的硬件加速器。使用這個(gè)框架，用戶可輕松將其自定義加速器/內(nèi)核集成在 Vitis 視頻分析 SDK 中。它建立在 Xilinx 運(yùn)行時(shí) （XRT）、Vitis 和 Vitis AI 基礎(chǔ)之上，并抽象了這些復(fù)雜的接口，有助于開發(fā)人員更輕松地構(gòu)建視頻分析應(yīng)用。

采用 Vitis 視頻分析 SDK，應(yīng)用可部署在基于 Zynq UltraScale+ MPSoC 的嵌入式平臺上，如 kira SoM 和 ZCU104 或 PCIe 加速平臺，其中包括 Alveo U30、U50 和 VCK 5000 等。

Vitis 視頻分析 SDK 圖形架構(gòu)

Vitis 視頻分析 SDK 是一種使用開源 GStreamer 框架構(gòu)建的優(yōu)化圖形架構(gòu)，下圖是一個(gè)從輸入視頻到輸出元數(shù)據(jù)的典型視頻分析應(yīng)用，所有單獨(dú)的模塊都是所用的各種插件，所有單獨(dú)的模塊都是所用的各種插件，底部是在整個(gè)應(yīng)用中使用的不同硬件引擎，插件之間無內(nèi)存拷貝的最佳內(nèi)存管理和各種加速器的使用，可確保最高性能。

Vitis 視頻分析 SDK 核心組件

定制插件

高度優(yōu)化的 GStreamer 插件旨在使用 Xilinx 平臺上的優(yōu)化內(nèi)核和 IP 提供非常具體的功能。

基礎(chǔ)架構(gòu)插件

這些是正在開發(fā)的通用基礎(chǔ)架構(gòu) GStreamer 插件，可幫助用戶將其內(nèi)核集成在 GStreamer 框架中。

加速軟件庫

這些是為管理加速內(nèi)核 /IP 的狀態(tài)機(jī)而開發(fā)的優(yōu)化加速軟件庫，可公開界面，以便將這些加速軟件庫連接到 VVAS 通用基礎(chǔ)架構(gòu)插件中。這些可用作開發(fā)基于 VVAS 框架的加速庫的參考。

加速硬件（內(nèi)核/ IP）

這些都是 Xilinx 開發(fā)的高度優(yōu)化的內(nèi)核。

參考平臺與應(yīng)用

VVAS 提供多種參考平臺，以滿足不同應(yīng)用/解決方案的需求。

完整的軟件堆棧

性能與可擴(kuò)展性

在邊緣、本地和云端間提供業(yè)界一流的端到端性能

靈活應(yīng)變性與靈活性

不僅提供高度靈活的分析工作流程，而且還提供廣泛的 AI 模型，可充分滿足您的需求

生產(chǎn)力 & TCO

從快速原型設(shè)計(jì)到全面投產(chǎn)，開發(fā)工作更少，部署成本更低

最佳性能展示

來源：WP529，通過 Vitis VAS 和 Deepstream 5.0 使用 Uncanny Vision 的 ANPR 應(yīng)用進(jìn)行了基準(zhǔn)測試

AI 模型：Yolov3（416x416） + 3 * Resnet18（224x224），使用 Vitis VAS 和 Deepstream 5.0 進(jìn)行了基準(zhǔn)測試

責(zé)任編輯：haq