RM新时代有限公司,RM新时代成立多久了

生成式 AI 和大語言模型（LLM）不斷推動突破性創(chuàng)新，訓練和推理對算力的需求也隨之急劇上升。

這些現(xiàn)代生成式 AI 應用需要全棧加速計算，首先要有能夠快速、準確處理大量工作負載的先進基礎設施。為了幫助滿足這一需求，Or acle 云基礎設施（OCI）于近日宣布，在 OCI Compute 上全面提供 NVIDIA H100 Tensor Core GPU，同時 NVIDIA L40S GPU 也即將在 OCI Compute 上推出。

OCI 上的 NVIDIA

H100 Tensor Core GPU 實例

OCI Compute 裸機實例配備了具有NVIDIA Hopper架構的 NVIDIA H100 GPU，不僅大幅提升了大規(guī)模 AI 和高性能計算的性能，也為各種工作負載提供了前所未有的性能、可擴展性和通用性。

相比于NVIDIA A100 Tensor Core GPU，使用 NVIDIA H100 GPU 的企業(yè)可提升 30 倍的 AI 推理性能和 4 倍的 AI 訓練性能。H100 GPU 專為資源密集型計算任務構建，包括訓練 LLM 和在運行 LLM 的同時進行推理等。

BM.GPU.H100.8 OCI Compute 機型配置（Shape）包含 8 顆 NVIDIA H100 GPU，每顆都具有 80GB 的 HBM2 GPU 內(nèi)存。8 顆 GPU 之間的 3.2TB/s 雙向帶寬使每顆 GPU 都能通過 NVIDIA NVSwitch 和 NVLink 4.0 技術與其他 7 顆 GPU 直接通信。該配置還包含 16 塊容量為 3.84TB 的本地 NVMe 硬盤、112 個內(nèi)核的第四代英特爾至強 CPU 處理器以及 2TB 系統(tǒng)內(nèi)存。

簡而言之，該機型配置針對企業(yè)最具挑戰(zhàn)性的工作負載進行了優(yōu)化。

根據(jù)工作負載的時間線和規(guī)模，OCI Supercluster 使企業(yè)能夠通過高性能、超低延遲的網(wǎng)絡，將所使用的 NVIDIA H100 GPU 從單個節(jié)點擴展到多達數(shù)萬顆 H100 GPU。

OCI 上的 NVIDIA L40S GPU 實例

NVIDIA L40S GPU 基于 NVIDIA Ada Lovelace 架構構建而成，是一款數(shù)據(jù)中心的通用 GPU，可以為 LLM 推理和訓練、視覺計算以及視頻應用提供驚人的多負載加速。搭載 NVIDIA L40S GPU 的 OCI Compute 裸機實例將于今年晚些時候推出搶先體驗版本，并于 2024 年初全面上市。這些實例將作為 NVIDIA H100 和 A100 GPU 實例的替代方案，用于處理中小型 AI 工作負載以及圖形和視頻計算任務。相比于 NVIDIA A100，NVIDIA L40S GPU 可將生成式 AI 工作負載的性能提升 20%，將微調(diào) AI 模型方面的性能提升 70%。 BM.GPU.L40S.4 OCI Compute 機型配置包含 4 顆 NVIDIA L40S GPU，以及多達 112 個核的最新一代英特爾至強 CPU、1TB 系統(tǒng)內(nèi)存、15.36TB 用于緩存數(shù)據(jù)的低延遲 NVMe 本地存儲和 400GB/s 集群網(wǎng)絡帶寬。創(chuàng)建該實例的目的是應對從 LLM 訓練、微調(diào)和推理一直到 NVIDIA Omniverse 工作負載以及工業(yè)數(shù)字化、3D 圖形和渲染、視頻轉碼和 FP32 HPC 等各種用例。

NVIDIA 與 OCI：企業(yè)級 AI

OCI 與 NVIDIA 的協(xié)作，將為各種規(guī)模的企業(yè)帶來最先進的 NVIDIA H100 和 L40S GPU 加速基礎設施，助力企業(yè)加入到這場生成式 AI 革命。僅訪問 NVIDIA GPU 加速實例可能還不夠。若要在 OCI Compute 上釋放 NVIDIA GPU 的最大潛能，就必須擁有一個最好的軟件層。NVIDIA AI Enterprise 通過專為底層 NVIDIA GPU 基礎設施優(yōu)化的開源容器和框架，簡化了企業(yè)級加速 AI 軟件的開發(fā)和部署，所有這一切都離不開支持服務的幫助。

如要了解更多信息，歡迎訪問有關 Oracle 云基礎設施（OCI）、OCI Compute、Oracle 如何邁向 AI 以及 NVIDIA AI Platform 網(wǎng)頁。

Oracle 云基礎設施（OCI）：https://www.oracle.com/cloud/

OCI Compute：https://www.oracle.com/cloud/compute/

Oracle 如何邁向 AI：https://www.oracle.com/artificial-intelligence/

NVIDIA AI Platform：https://www.nvidia.cn/ai-data-science/

GTC 2024 將于 2024 年 3 月 18 至 21 日在美國加州圣何塞會議中心舉行，線上大會也將同期開放。點擊“閱讀原文”或掃描下方海報二維碼，關注更多會議及活動信息。

原文標題：Oracle 云基礎設施提供新的 NVIDIA GPU 加速計算實例

文章出處：【微信公眾號：NVIDIA英偉達】歡迎添加關注！文章轉載請注明出處。

聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用，如有內(nèi)容侵權或者其他違規(guī)問題，請聯(lián)系本站處理。舉報投訴

英偉達

英偉達

+關注

關注
22

文章
3770

瀏覽量
90985

原文標題：Oracle 云基礎設施提供新的 NVIDIA GPU 加速計算實例

文章出處：【微信號：NVIDIA_China，微信公眾號：NVIDIA英偉達】歡迎添加關注！文章轉載請注明出處。

《CST Studio Suite 2024 GPU加速計算指南》

的各個方面，包括硬件支持、操作系統(tǒng)支持、許可證、GPU計算的啟用、NVIDIA和AMD GPU的詳細信息以及相關的使用指南和故障排除等內(nèi)容。 1. 硬件支持 -

發(fā)表于 12-16 14:25

NVIDIA加速計算如何推動醫(yī)療健康

近日，NVIDIA 企業(yè)平臺副總裁 Bob Pette 在 AI Summit 一場演講中重點談論了 NVIDIA 加速計算如何推動醫(yī)療健康、網(wǎng)絡安全和制造等行業(yè)實現(xiàn)轉型。他表示，

發(fā)表于 11-20 09:10 ?289次閱讀

英偉達攜手日本云企，打造國家級AI基礎設施網(wǎng)絡

Internet在日本云計算市場的豐富經(jīng)驗和資源，共同構建一個高效、穩(wěn)定、可擴展的AI基礎設施網(wǎng)絡。該網(wǎng)絡將致力于提供強大

發(fā)表于 11-14 13:53 ?220次閱讀

NVIDIA SuperNIC推進現(xiàn)代AI基礎設施發(fā)展

在生成式 AI 時代，加速網(wǎng)絡對于為大規(guī)模分布式 AI 工作負載構建高性能計算平臺至關重要。NVIDIA 在加速網(wǎng)絡領域繼續(xù)保持領先地位，提供

發(fā)表于 11-06 13:59 ?230次閱讀

NVIDIA助力印度打造AI基礎設施

在孟買舉辦的 NVIDIA AI Summit 上，黃仁勛和穆克什·安巴尼（Mukesh Ambani）探討了關于 AI 基礎設施的投資，這些投資有望為各行各業(yè)帶來變革。

發(fā)表于 10-27 09:44 ?269次閱讀

GPU加速計算平臺是什么

GPU加速計算平臺，簡而言之，是利用圖形處理器（GPU）的強大并行計算能力來加速科學

發(fā)表于 10-25 09:23 ?245次閱讀

NVIDIA與思科合作打造企業(yè)級生成式AI基礎設施

由 NVIDIA 加速計算平臺、NVIDIA AI Enterprise 軟件和 NVIDIA NIM 推理微服務加持的思科 Nexus H

發(fā)表于 10-10 09:35 ?340次閱讀

Oracle與亞馬遜云科技宣布建立戰(zhàn)略合作伙伴關系

科技中訪問基于專屬基礎設施的Oracle Autonomous Database和Oracle Exadata Database Service。Oracle Database@Ama

發(fā)表于 10-08 17:25 ?615次閱讀

如何理解云計算？

和硬件資源。在數(shù)字化時代，互聯(lián)網(wǎng)已經(jīng)成為基礎設施。云計算使得數(shù)據(jù)中心能夠像一臺計算機一樣去工作。通過互聯(lián)網(wǎng)將算力以按需使用、按量付費的形式提供

發(fā)表于 08-16 17:02

應用NVIDIA Spectrum-X網(wǎng)絡構建新型主權AI云

、Hugging Face、Golem.ai 等。Scaleway 提供一站式的云服務，以開發(fā)創(chuàng)新解決方案并幫助用戶從零開始構建和擴展 AI 項目，目前 Scaleway 正在構建區(qū)域 AI 云，

發(fā)表于 07-26 18:58 ?1169次閱讀

加速企業(yè)上云數(shù)智化創(chuàng)新，云耀 X 實例有妙招

簡稱：云耀 X 實例）。這不僅是云計算領域的一次重大突破，更是為各行業(yè)帶來了前所未有的云基礎設施

發(fā)表于 05-27 10:46 ?577次閱讀

NVIDIA宣布與GPU編排軟件提供商Run:ai達成最終收購協(xié)議

這家初創(chuàng)公司通過共享加速計算基礎設施促進 AI 工作負載高效集群的資源利用。

發(fā)表于 04-28 11:49 ?427次閱讀

華為云耀云服務器 X 實例：柔性算力新物種，更強更省更智能的云基礎設施

行業(yè)的創(chuàng)新產(chǎn)品——云耀云服務器 X 實例，旨在提供更靈活、品質(zhì)躍級的云基礎設施助力用戶實現(xiàn)業(yè)務高

發(fā)表于 04-10 09:41 ?1087次閱讀

垂直起降機場：飛行基礎設施的未來是綠色的

電動垂直起降（eVTOL）飛機的日益發(fā)展為建立一個新的網(wǎng)絡來支持它們提供了理由，這將推動開發(fā)綠色基礎設施新模式的機會。這些電氣化的“短途”客運和貨運飛機通常被描述為飛行汽車，是區(qū)域飛行和城市出租車

發(fā)表于 03-25 06:59

NVIDIA 發(fā)布全新交換機，全面優(yōu)化萬億參數(shù)級 GPU 計算和 AI 基礎設施

NVIDIA 軟件實現(xiàn)了跨 ?Blackwell GPU、新交換機和 BlueField-3 SuperNIC 的分布式計算，大幅提升了 AI、數(shù)據(jù)處理、高性能計算和

發(fā)表于 03-19 10:05 ?332次閱讀