在每周的預(yù)告中,你可以:
了解一周的在線研討會(huì)時(shí)間及詳細(xì)內(nèi)容,選擇感興趣的研討會(huì)并提前安排收聽時(shí)間;
找到每場研討會(huì)的參會(huì)方式,保存并轉(zhuǎn)發(fā)到朋友圈及微信群,與朋友分享精彩內(nèi)容。
基于 NVIDIA Triton 的 AI 模型高效部署實(shí)踐
內(nèi)容
NVIDIA Triton 推理服務(wù)器(以前稱為 TensorRT 推理服務(wù)器)是一款開源軟件,可簡化深度學(xué)習(xí)模型在生產(chǎn)環(huán)境中的部署。借助 Triton 推理服務(wù)器,Devops 和 MLops 團(tuán)隊(duì)可以將各類框架(TensorFlowPyTorch、TensorRT、ONNX Runtime、MXNet、XGBoost 等或自定義框架后端)訓(xùn)練的 AI 模型,在基于 GPU 或 CPU 的本地、數(shù)據(jù)中心、云、邊緣云等平臺(tái),快速可靠地部署在諸如 Kubernetes、KFServing、Prometheus、Grafana 等大規(guī)模生產(chǎn)環(huán)境中,并輕松擴(kuò)展。
借助 NVIDIA Ampere 架構(gòu) Tensor Core 和多實(shí)例并行運(yùn)行多個(gè)工作負(fù)載( MIG ),Triton 推理服務(wù)器可以最大化 A100 GPU 和 A30 GPU 的利用率。它不僅可在單個(gè) NVIDIA GPU 上同時(shí)運(yùn)行多個(gè)模型,以更大限度地提高利用率,與 Kubernetes 集成以用于編排、指標(biāo)和自動(dòng)擴(kuò)展,還可以讓多個(gè)用戶共享一個(gè) GPU ,通過將單個(gè) GPU 劃分為多個(gè) GPU 實(shí)例,讓每個(gè)實(shí)例都有專用的內(nèi)存和計(jì)算資源,在確保執(zhí)行工作負(fù)載的同時(shí),保證服務(wù)質(zhì)量和故障隔離。
本次研討會(huì) NVIDIA 解決方案架構(gòu)師張萌將參與主講環(huán)節(jié), NVIDIA 解決方案架構(gòu)師申意則將主要參與問答環(huán)節(jié)。
通過本次在線研討會(huì)您將了解以下內(nèi)容:
應(yīng)用 Triton 的收益
基于 Ampere 架構(gòu)多實(shí)例 GPU 特性和 K8s 實(shí)現(xiàn) Triton 大規(guī)模部署
如何使用 Triton 部署端到端的 CV 模型
Triton 在行業(yè)內(nèi)的一些應(yīng)用案例
日程
6 月 28 日,周二,19:00 – 20:00
演講嘉賓
張萌
NVIDIA 解決方案架構(gòu)師
申意
NVIDIA 解決方案架構(gòu)師
內(nèi)容
隨著人工智能、數(shù)據(jù)科學(xué)、虛擬仿真等數(shù)據(jù)流量負(fù)載呈現(xiàn)指數(shù)增長,企業(yè)需要在任何位置都有足夠的處理能力,這對(duì)傳統(tǒng)的數(shù)據(jù)中心基礎(chǔ)設(shè)施帶來全新挑戰(zhàn)與巨大沖擊,需要構(gòu)建現(xiàn)代數(shù)據(jù)中心來支撐企業(yè)業(yè)務(wù)應(yīng)用。
NVIDIA BlueField DPU 是一款非常強(qiáng)大的片上數(shù)據(jù)中心基礎(chǔ)設(shè)施,可用于卸載、加速和隔離在主機(jī) CPU 上運(yùn)行的各種軟件定義基礎(chǔ)設(shè)施服務(wù),將數(shù)據(jù)中心基礎(chǔ)設(shè)施與業(yè)務(wù)應(yīng)用解耦,提升在云計(jì)算、數(shù)據(jù)中心或邊緣計(jì)算的性能、安全性和效率,突破性能和可擴(kuò)展性的瓶頸,并消除現(xiàn)代數(shù)據(jù)中心的安全威脅,簡化運(yùn)營并降低總擁有成本( TCO)。
為了充分發(fā)揮 BlueField DPU 這一強(qiáng)大的片上數(shù)據(jù)中心基礎(chǔ)設(shè)施硬件能力,簡單、高效的 NVIDIA DOCA 軟件框架應(yīng)運(yùn)而生,為開發(fā)者打造一個(gè)全面、開放的開發(fā)平臺(tái),支持廣大的開發(fā)者在 BlueField DPU 上進(jìn)行簡單、靈活的軟件開發(fā),讓開發(fā)者可以快速創(chuàng)建 BlueField DPU 加速的、高性能應(yīng)用程序和服務(wù)。
本次課程將幫助開發(fā)者深入了解如下內(nèi)容:
什么是 DPU?
NVIDIA BlueField DPU 簡介
NVIDA DOCA 軟件框架
NVIDIA BlueField DPU 加速功能
日程
6 月 30 日,星期四,20:00 – 21:00
演講嘉賓
崔巖
NVIDIA 網(wǎng)絡(luò)技術(shù)專家
負(fù)責(zé)以技術(shù)角度推進(jìn) DPU 和 DOCA 產(chǎn)品及聯(lián)合解決方案在中國的市場營銷,驅(qū)動(dòng) DOCA 開發(fā)者社區(qū)在中國的增長與發(fā)展,促進(jìn)客戶與合作伙伴在未來數(shù)據(jù)中心基礎(chǔ)設(shè)施上取得成功。
原文標(biāo)題:一周預(yù)告丨本周 NVIDIA 在線研討會(huì)精彩亮點(diǎn)搶先看
文章出處:【微信公眾號(hào):NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
審核編輯:湯梓紅
-
NVIDIA
+關(guān)注
關(guān)注
14文章
4978瀏覽量
102984 -
gpu
+關(guān)注
關(guān)注
28文章
4729瀏覽量
128890 -
服務(wù)器
+關(guān)注
關(guān)注
12文章
9123瀏覽量
85322 -
AI
+關(guān)注
關(guān)注
87文章
30728瀏覽量
268882
原文標(biāo)題:一周預(yù)告丨本周 NVIDIA 在線研討會(huì)精彩亮點(diǎn)搶先看
文章出處:【微信號(hào):NVIDIA-Enterprise,微信公眾號(hào):NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評(píng)論請先 登錄
相關(guān)推薦
評(píng)論