RM新时代网站-首页

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

基于NVIDIA Triton的AI模型高效部署實(shí)踐

NVIDIA英偉達(dá)企業(yè)解決方案 ? 來源:NVIDIA英偉達(dá)企業(yè)解決方案 ? 作者:NVIDIA英偉達(dá)企業(yè)解 ? 2022-06-28 15:49 ? 次閱讀

在每周的預(yù)告中,你可以:

了解一周的在線研討會(huì)時(shí)間及詳細(xì)內(nèi)容,選擇感興趣的研討會(huì)并提前安排收聽時(shí)間;

找到每場研討會(huì)的參會(huì)方式,保存并轉(zhuǎn)發(fā)到朋友圈及微信群,與朋友分享精彩內(nèi)容。

基于 NVIDIA Triton 的 AI 模型高效部署實(shí)踐

內(nèi)容

NVIDIA Triton 推理服務(wù)器(以前稱為 TensorRT 推理服務(wù)器)是一款開源軟件,可簡化深度學(xué)習(xí)模型在生產(chǎn)環(huán)境中的部署。借助 Triton 推理服務(wù)器,Devops 和 MLops 團(tuán)隊(duì)可以將各類框架(TensorFlowPyTorch、TensorRT、ONNX Runtime、MXNet、XGBoost 等或自定義框架后端)訓(xùn)練的 AI 模型,在基于 GPUCPU 的本地、數(shù)據(jù)中心、云、邊緣云等平臺(tái),快速可靠地部署在諸如 Kubernetes、KFServing、Prometheus、Grafana 等大規(guī)模生產(chǎn)環(huán)境中,并輕松擴(kuò)展。

借助 NVIDIA Ampere 架構(gòu) Tensor Core 和多實(shí)例并行運(yùn)行多個(gè)工作負(fù)載( MIG ),Triton 推理服務(wù)器可以最大化 A100 GPU 和 A30 GPU 的利用率。它不僅可在單個(gè) NVIDIA GPU 上同時(shí)運(yùn)行多個(gè)模型,以更大限度地提高利用率,與 Kubernetes 集成以用于編排、指標(biāo)和自動(dòng)擴(kuò)展,還可以讓多個(gè)用戶共享一個(gè) GPU ,通過將單個(gè) GPU 劃分為多個(gè) GPU 實(shí)例,讓每個(gè)實(shí)例都有專用的內(nèi)存和計(jì)算資源,在確保執(zhí)行工作負(fù)載的同時(shí),保證服務(wù)質(zhì)量和故障隔離。

本次研討會(huì) NVIDIA 解決方案架構(gòu)師張萌將參與主講環(huán)節(jié), NVIDIA 解決方案架構(gòu)師申意則將主要參與問答環(huán)節(jié)。

通過本次在線研討會(huì)您將了解以下內(nèi)容:

應(yīng)用 Triton 的收益

基于 Ampere 架構(gòu)多實(shí)例 GPU 特性和 K8s 實(shí)現(xiàn) Triton 大規(guī)模部署

如何使用 Triton 部署端到端的 CV 模型

Triton 在行業(yè)內(nèi)的一些應(yīng)用案例

日程

6 月 28 日,周二,19:00 – 20:00

演講嘉賓

張萌

NVIDIA 解決方案架構(gòu)師

申意

NVIDIA 解決方案架構(gòu)師

內(nèi)容

隨著人工智能、數(shù)據(jù)科學(xué)、虛擬仿真等數(shù)據(jù)流量負(fù)載呈現(xiàn)指數(shù)增長,企業(yè)需要在任何位置都有足夠的處理能力,這對(duì)傳統(tǒng)的數(shù)據(jù)中心基礎(chǔ)設(shè)施帶來全新挑戰(zhàn)與巨大沖擊,需要構(gòu)建現(xiàn)代數(shù)據(jù)中心來支撐企業(yè)業(yè)務(wù)應(yīng)用。

NVIDIA BlueField DPU 是一款非常強(qiáng)大的片上數(shù)據(jù)中心基礎(chǔ)設(shè)施,可用于卸載、加速和隔離在主機(jī) CPU 上運(yùn)行的各種軟件定義基礎(chǔ)設(shè)施服務(wù),將數(shù)據(jù)中心基礎(chǔ)設(shè)施與業(yè)務(wù)應(yīng)用解耦,提升在云計(jì)算、數(shù)據(jù)中心或邊緣計(jì)算的性能、安全性和效率,突破性能和可擴(kuò)展性的瓶頸,并消除現(xiàn)代數(shù)據(jù)中心的安全威脅,簡化運(yùn)營并降低總擁有成本( TCO)。

為了充分發(fā)揮 BlueField DPU 這一強(qiáng)大的片上數(shù)據(jù)中心基礎(chǔ)設(shè)施硬件能力,簡單、高效的 NVIDIA DOCA 軟件框架應(yīng)運(yùn)而生,為開發(fā)者打造一個(gè)全面、開放的開發(fā)平臺(tái),支持廣大的開發(fā)者在 BlueField DPU 上進(jìn)行簡單、靈活的軟件開發(fā),讓開發(fā)者可以快速創(chuàng)建 BlueField DPU 加速的、高性能應(yīng)用程序和服務(wù)。

本次課程將幫助開發(fā)者深入了解如下內(nèi)容:

什么是 DPU?

NVIDIA BlueField DPU 簡介

NVIDA DOCA 軟件框架

NVIDIA BlueField DPU 加速功能

日程

6 月 30 日,星期四,20:00 – 21:00

演講嘉賓

崔巖

NVIDIA 網(wǎng)絡(luò)技術(shù)專家

負(fù)責(zé)以技術(shù)角度推進(jìn) DPU 和 DOCA 產(chǎn)品及聯(lián)合解決方案在中國的市場營銷,驅(qū)動(dòng) DOCA 開發(fā)者社區(qū)在中國的增長與發(fā)展,促進(jìn)客戶與合作伙伴在未來數(shù)據(jù)中心基礎(chǔ)設(shè)施上取得成功。

原文標(biāo)題:一周預(yù)告丨本周 NVIDIA 在線研討會(huì)精彩亮點(diǎn)搶先看

文章出處:【微信公眾號(hào):NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

審核編輯:湯梓紅

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • NVIDIA
    +關(guān)注

    關(guān)注

    14

    文章

    4978

    瀏覽量

    102984
  • gpu
    gpu
    +關(guān)注

    關(guān)注

    28

    文章

    4729

    瀏覽量

    128890
  • 服務(wù)器
    +關(guān)注

    關(guān)注

    12

    文章

    9123

    瀏覽量

    85322
  • AI
    AI
    +關(guān)注

    關(guān)注

    87

    文章

    30728

    瀏覽量

    268882

原文標(biāo)題:一周預(yù)告丨本周 NVIDIA 在線研討會(huì)精彩亮點(diǎn)搶先看

文章出處:【微信號(hào):NVIDIA-Enterprise,微信公眾號(hào):NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦

    AI模型部署邊緣設(shè)備的奇妙之旅:目標(biāo)檢測模型

    以及邊緣計(jì)算能力的增強(qiáng),越來越多的目標(biāo)檢測應(yīng)用開始直接在靠近數(shù)據(jù)源的邊緣設(shè)備上運(yùn)行。這不僅減少了數(shù)據(jù)傳輸延遲,保護(hù)了用戶隱私,同時(shí)也減輕了云端服務(wù)器的壓力。然而,在邊緣端部署高效且準(zhǔn)確的目標(biāo)檢測模型
    發(fā)表于 12-19 14:33

    NVIDIA推出全新生成式AI模型Fugatto

    NVIDIA 開發(fā)了一個(gè)全新的生成式 AI 模型。利用輸入的文本和音頻,該模型可以創(chuàng)作出包含任意的音樂、人聲和聲音組合的作品。
    的頭像 發(fā)表于 11-27 11:29 ?326次閱讀

    AI模型部署和管理的關(guān)系

    AI模型部署與管理是AI項(xiàng)目成功的兩大支柱,它們之間既相互獨(dú)立又緊密相連,共同推動(dòng)著AI技術(shù)從實(shí)驗(yàn)室走向?qū)嶋H應(yīng)用。
    的頭像 發(fā)表于 11-21 10:02 ?142次閱讀

    企業(yè)AI模型部署怎么做

    AI模型部署作為這一轉(zhuǎn)型過程中的關(guān)鍵環(huán)節(jié),其成功實(shí)施對(duì)于企業(yè)的長遠(yuǎn)發(fā)展至關(guān)重要。在此,AI部落小編為您介紹企業(yè)AI
    的頭像 發(fā)表于 11-04 10:15 ?149次閱讀

    NVIDIA NIM助力企業(yè)高效部署生成式AI模型

    Canonical、Nutanix 和 Red Hat 等廠商的開源 Kubernetes 平臺(tái)集成了 NVIDIA NIM,將允許用戶通過 API 調(diào)用來大規(guī)模地部署大語言模型。
    的頭像 發(fā)表于 10-10 09:49 ?382次閱讀

    NVIDIA助力提供多樣、靈活的模型選擇

    在本案例中,Dify 以模型中立以及開源生態(tài)的優(yōu)勢,為廣大 AI 創(chuàng)新者提供豐富的模型選擇。其集成的 NVIDIAAPI Catalog、NVIDIA NIM和
    的頭像 發(fā)表于 09-09 09:19 ?459次閱讀

    NVIDIA RTX AI套件簡化AI驅(qū)動(dòng)的應(yīng)用開發(fā)

    NVIDIA 于近日發(fā)布 NVIDIA RTX AI套件,這一工具和 SDK 集合能夠幫助 Windows 應(yīng)用開發(fā)者定制、優(yōu)化和部署適用于 Windows 應(yīng)用的
    的頭像 發(fā)表于 09-06 14:45 ?436次閱讀

    借助NVIDIA NIM加速AI應(yīng)用部署

    大語言模型(LLM)在企業(yè)組織中的應(yīng)用日益廣泛,許多企業(yè)都將其整合到 AI 應(yīng)用中。雖然從基礎(chǔ)模型著手十分高效,但需要花費(fèi)一定的精力才能將它們整合到生產(chǎn)就緒型環(huán)境中。
    的頭像 發(fā)表于 08-23 16:38 ?384次閱讀
    借助<b class='flag-5'>NVIDIA</b> NIM加速<b class='flag-5'>AI</b>應(yīng)用<b class='flag-5'>部署</b>

    NVIDIA AI Foundry 為全球企業(yè)打造自定義 Llama 3.1 生成式 AI 模型

    Foundry 提供從數(shù)據(jù)策管、合成數(shù)據(jù)生成、微調(diào)、檢索、防護(hù)到評(píng)估的全方位生成式 AI 模型服務(wù),以便部署自定義 Llama 3.1 NVIDIA NIM 微服務(wù)和新的
    發(fā)表于 07-24 09:39 ?706次閱讀
    <b class='flag-5'>NVIDIA</b> <b class='flag-5'>AI</b> Foundry 為全球企業(yè)打造自定義 Llama 3.1 生成式 <b class='flag-5'>AI</b> <b class='flag-5'>模型</b>

    英偉達(dá)推出Flextron AI框架:賦能靈活高效AI模型部署

    在人工智能與機(jī)器學(xué)習(xí)領(lǐng)域,隨著技術(shù)的不斷演進(jìn),模型高效部署與適應(yīng)性成為研究的新熱點(diǎn)。近日,英偉達(dá)與德克薩斯大學(xué)奧斯汀分校攜手宣布了一項(xiàng)重大突破——推出了一種名為FLEXTRON的新型靈活模型
    的頭像 發(fā)表于 07-18 15:22 ?2741次閱讀

    英偉達(dá)推出AI模型推理服務(wù)NVIDIA NIM

    英偉達(dá)近日宣布推出一項(xiàng)革命性的AI模型推理服務(wù)——NVIDIA NIM。這項(xiàng)服務(wù)將極大地簡化AI模型部署
    的頭像 發(fā)表于 06-04 09:15 ?674次閱讀

    NVIDIA與微軟擴(kuò)展合作,幫助開發(fā)者更快構(gòu)建和部署AI應(yīng)用

    NVIDIA 在 Microsoft Build 開發(fā)者大會(huì)上展示了與 Microsoft Azure 和 Windows PC 的集成解決方案,簡化了 AI 模型部署并優(yōu)化了路徑規(guī)劃
    的頭像 發(fā)表于 05-23 10:14 ?405次閱讀

    使用CUBEAI部署tflite模型到STM32F0中,模型創(chuàng)建失敗怎么解決?

    看到CUBE_AI已經(jīng)支持到STM32F0系列芯片,就想拿來入門嵌入式AI。 生成的模型很小,是可以部署到F0上的,但是一直無法創(chuàng)建成功。 查閱CUBE
    發(fā)表于 03-15 08:10

    使用NVIDIA Triton推理服務(wù)器來加速AI預(yù)測

    這家云計(jì)算巨頭的計(jì)算機(jī)視覺和數(shù)據(jù)科學(xué)服務(wù)使用 NVIDIA Triton 推理服務(wù)器來加速 AI 預(yù)測。
    的頭像 發(fā)表于 02-29 14:04 ?575次閱讀

    利用NVIDIA產(chǎn)品技術(shù)組合提升用戶體驗(yàn)

    本案例通過利用NVIDIA TensorRT-LLM加速指令識(shí)別深度學(xué)習(xí)模型,并借助NVIDIA Triton推理服務(wù)器在NVIDIA V1
    的頭像 發(fā)表于 01-17 09:30 ?684次閱讀
    RM新时代网站-首页