NVIDIA 系列 AIBOX

AIBOX-OrinNano 和 AIBOX-OrinNX 均搭載 NVIDIA 原裝 Jetson Orin 核心板模組，標(biāo)配工業(yè)級(jí)全金屬外殼，鋁合金結(jié)構(gòu)導(dǎo)熱，頂蓋外殼側(cè)面采用條幅格柵設(shè)計(jì)，高效散熱，保障在高溫運(yùn)行狀態(tài)下的運(yùn)算性能和穩(wěn)定性，滿足各種工業(yè)級(jí)的應(yīng)用需求。

NVIDIA TensorRT

NVIDIA系列 AIBOX 支持深度學(xué)習(xí)框架TensorRT，TensorRT是用于高性能深度學(xué)習(xí)推理的 API 生態(tài)系統(tǒng)，其包括推理運(yùn)行時(shí)和模型優(yōu)化，可為生產(chǎn)應(yīng)用提供低延遲和高吞吐量。

TensorRT 生態(tài)系統(tǒng)包括 TensorRT、TensorRT-LLM、TensorRT 模型優(yōu)化器和 TensorRT Cloud。

NVIDIA TensorRT 的優(yōu)勢(shì)

推理速度提升 36 倍

優(yōu)化推理性能

加速各種工作負(fù)載

使用 Triton 進(jìn)行部署、運(yùn)行和擴(kuò)展

應(yīng)用案例—語(yǔ)義分割

語(yǔ)義分割基于圖像識(shí)別，但分類是在像素級(jí)別進(jìn)行的，而不是在整個(gè)圖像上進(jìn)行。這是通過將預(yù)訓(xùn)練的圖像識(shí)別骨干網(wǎng)絡(luò)進(jìn)行卷積化來實(shí)現(xiàn)的，將模型轉(zhuǎn)換為能夠進(jìn)行逐像素標(biāo)注的全卷積網(wǎng)絡(luò)（FCN）。語(yǔ)義分割對(duì)于環(huán)境感知特別有用，它能夠?qū)γ總€(gè)場(chǎng)景中的許多不同潛在對(duì)象（包括前景和背景）進(jìn)行密集的逐像素分類。

SegNet 模型

SegNet 的新穎之處在于解碼器對(duì)其較低分辨率的輸入特征圖進(jìn)行上采樣的方式。具體地說，解碼器使用了在相應(yīng)編碼器的最大池化步驟中計(jì)算的池化索引來執(zhí)行非線性上采樣。經(jīng)上采樣后的特征圖是稀疏的，因此隨后使用可訓(xùn)練的卷積核進(jìn)行卷積操作，生成密集的特征圖。SegNet 的架構(gòu)與廣泛采用的 FCN 以及眾所周知的 DeepLab-LargeFOV，DeconvNet 架構(gòu)進(jìn)行比較。比較的結(jié)果揭示了在實(shí)現(xiàn)良好的分割性能時(shí)所涉及的內(nèi)存與精度之間的權(quán)衡。

下載源碼

$ git clone --recursive --depth=1 https://github.com/dusty-nv/jetson-inference

編譯 / 安裝

參考：https://github.com/dusty-nv/jetson-inference/blob/master/docs/building-repo-2.md

運(yùn)行示例

$ ./segnet.py --network=fcn-resnet18-cityscapes city_0.jpg output_city_0.jpg