眾所周知，在大型模型訓練中，通常采用每臺服務器配備多個GPU的集群架構(gòu)。在上一篇文章《高性能GPU服務器AI網(wǎng)絡架構(gòu)（上篇）》中，我們對GPU網(wǎng)絡中的核心術語與概念進行了詳盡介紹。本文將進一步深入探討常見的GPU系統(tǒng)架構(gòu)。

8臺配備NVIDIA A100 GPU的節(jié)點/8臺配備NVIDIA A800 GPU的節(jié)點

如上圖所示的A100 GPU拓撲結(jié)構(gòu)中，8塊A100 GPU所組成的拓撲包含以下組件：

兩顆CPU芯片（及其兩側(cè)相關的內(nèi)存，NUMA架構(gòu)）：中央處理器負責執(zhí)行通用計算任務。

兩塊存儲網(wǎng)絡適配卡（用于訪問分布式存儲，具備帶內(nèi)管理等功能）：這些網(wǎng)卡用于訪問分布式存儲資源。

四顆PCIe Gen4交換芯片：PCIe Gen4是PCIe接口的第四代，提供了更高的數(shù)據(jù)傳輸速率。

六顆NVSwitch芯片：NVSwitch使得GPU與GPU之間能夠以極高的速度直接通信，這對于大規(guī)模深度學習節(jié)點和并行計算任務的有效運行至關重要。

八塊GPU：A100 GPU作為主要處理單元，負責執(zhí)行并行計算，尤其適合人工智能和深度學習工作負載。

八塊GPU專用網(wǎng)絡適配卡：每塊GPU配備一塊專用的網(wǎng)絡適配卡，旨在優(yōu)化GPU之間的通信，并提升并行處理任務的整體性能。

接下來的部分我們將對這些組件進行詳細解讀。下一張圖片將提供更詳盡的拓撲結(jié)構(gòu)信息供參考。

存儲網(wǎng)絡卡

在GPU架構(gòu)中，存儲網(wǎng)絡卡的定位主要涉及其通過PCIe總線與中央處理器（CPU）的連接，以及負責促進與分布式存儲系統(tǒng)的通信。以下是存儲網(wǎng)絡卡在GPU架構(gòu)中的主要作用：

讀寫分布式存儲數(shù)據(jù)：存儲網(wǎng)絡卡的主要功能之一是高效地從分布式存儲系統(tǒng)讀取和寫入數(shù)據(jù)。這對于深度學習模型訓練過程至關重要，在此過程中頻繁訪問分布在各處的訓練數(shù)據(jù)以及將訓練結(jié)果寫入檢查點文件極為重要。

節(jié)點管理任務：存儲網(wǎng)絡卡的功能不僅限于數(shù)據(jù)傳輸，還包括節(jié)點管理任務。這包括但不限于通過SSH（安全外殼協(xié)議）進行遠程登錄、監(jiān)控系統(tǒng)性能以及收集相關數(shù)據(jù)等任務。這些任務有助于對GPU集群的運行狀態(tài)進行監(jiān)控和維護。

雖然官方推薦使用BF3 DPU，但在實踐中，只要滿足帶寬需求，可以選用其他替代解決方案。例如，為了成本效益考慮，可以考慮使用RoCE；而為了最大限度提升性能，則優(yōu)先選擇InfiniBand。

NVSwitch 網(wǎng)絡結(jié)構(gòu)

在完全互聯(lián)網(wǎng)絡拓撲中，每個節(jié)點都直接與所有其他節(jié)點相連。通常情況下，8塊GPU通過六個NVSwitch芯片以全互聯(lián)配置相連接，這一整體也被稱為NVSwitch架構(gòu)。

在全互聯(lián)結(jié)構(gòu)中，每條線路的帶寬取決于單個NVLink通道的帶寬，表示為n * bw-per-nvlink-lane。對于采用NVLink3技術、每條通道帶寬為50GB/s的A100 GPU，在全互聯(lián)結(jié)構(gòu)中，每條線路的總帶寬為12 * 50GB/s = 600GB/s。需要注意的是，此帶寬是雙向的，既支持數(shù)據(jù)發(fā)送也支持接收，因此單向帶寬為300GB/s。

相比之下，A800 GPU將NVLink通道的數(shù)量從12減少到了8。因此，在全互聯(lián)結(jié)構(gòu)中，每條線路的總帶寬變?yōu)? * 50GB/s = 400GB/s，單向帶寬為200GB/s。

以下是一個由8*A800組成的設備的nvidia-smi拓撲結(jié)構(gòu)圖示。

GPU與GPU之間的連接（左上區(qū)域）：所有連接均標記為NV8，表示有8條NVLink連接。

網(wǎng)絡接口卡（NIC）連接：在同一CPU芯片內(nèi)：標記為NODE，表示無需跨越NUMA結(jié)構(gòu)，但需要穿越PCIe交換芯片。在不同CPU芯片之間：標記為SYS，表示必須跨越NUMA結(jié)構(gòu)。

GPU至NIC的連接：在同一CPU芯片內(nèi)且處于同一PCIe交換芯片下：標識為NODE，表示僅需穿越PCIe交換芯片。

在同一CPU芯片內(nèi)但不在同一PCIe交換芯片下：指定為NNODE，表示需要同時穿越PCIe交換芯片和PCIe主機橋接芯片。

在不同CPU芯片之間：標記為SYS，表示需要跨越NUMA結(jié)構(gòu)、PCIe交換芯片，并覆蓋最長距離。

GPU節(jié)點互聯(lián)架構(gòu)

以下圖表展示了GPU節(jié)點間的互聯(lián)架構(gòu)：

計算網(wǎng)絡

計算網(wǎng)絡主要用于連接GPU節(jié)點，支持并行計算任務之間的協(xié)同工作。這包括在多塊GPU之間傳輸數(shù)據(jù)、共享計算結(jié)果以及協(xié)調(diào)大規(guī)模并行計算任務的執(zhí)行。

存儲網(wǎng)絡

存儲網(wǎng)絡用于連接GPU節(jié)點和存儲系統(tǒng)，支持大規(guī)模數(shù)據(jù)的讀寫操作。這包括將數(shù)據(jù)從存儲系統(tǒng)加載到GPU內(nèi)存中，以及將計算結(jié)果寫回存儲系統(tǒng)。

為了滿足AI應用對高性能的需求，在計算網(wǎng)絡和存儲網(wǎng)絡上，RDMA（遠程直接內(nèi)存訪問）技術至關重要。在兩種RDMA技術——RoCEv2和InfiniBand之間進行選擇時，需要權(quán)衡成本效益與卓越性能，每種選項都針對特定應用場景和預算考慮進行了優(yōu)化。

公共云服務提供商通常在其配置中采用RoCEv2網(wǎng)絡，例如CX配置，其中包含8個GPU實例，每個實例配備8 * 100Gbps。與其他選項相比，只要能滿足性能要求，RoCEv2相對較為經(jīng)濟實惠。

數(shù)據(jù)鏈路連接中的帶寬瓶頸

該圖表突出了關鍵連接的帶寬規(guī)格：

同一主機內(nèi)GPU之間的通信：通過NVLink技術，雙向帶寬達到600GB/s，單向帶寬達到300GB/s。

同一主機內(nèi)GPU與其各自網(wǎng)絡接口卡（NIC）之間的通信：采用PCIe Gen4交換芯片，雙向帶寬為64GB/s，單向帶寬為32GB/s。

不同主機間GPU之間的通信：數(shù)據(jù)傳輸依賴于NIC，帶寬取決于所使用的具體NIC。當前在中國，對于A100/A800型號常用的NIC提供主流的單向帶寬為100Gbps（12.5GB/s）。因此，相較于同一主機內(nèi)的通信，不同主機間的GPU通信性能顯著下降。

200Gbps（25GB/s）接近PCIe Gen4的單向帶寬。400Gbps（50GB/s）超越了PCIe Gen4的單向帶寬。

因此，在此類配置中使用400Gbps的網(wǎng)卡并不能帶來顯著優(yōu)勢，因為要充分利用400Gbps帶寬需要PCIe Gen5級別的性能支持。

8x NVIDIA H100/8x NVIDIA H800 主機

H100主機內(nèi)部的硬件拓撲結(jié)構(gòu)

H100主機的整體硬件架構(gòu)與A100八卡系統(tǒng)的架構(gòu)非常相似，但也存在一些差異，主要體現(xiàn)在NVSwitch芯片的數(shù)量和帶寬升級上。

在每個H100主機內(nèi)部，配置了4顆芯片，比A100配置減少了兩顆。

H100芯片采用4納米工藝制造，底部一行配備了18條Gen4 NVLink連接，從而提供了900GB/s的雙向總帶寬。

H100 GPU 芯片

該芯片采用尖端的4納米工藝制造，表明其采用了先進的制造技術。

芯片底部一排包含18個Gen4 NVLink連接，提供雙向總帶寬為18條通道 * 每通道25GB/s = 900GB/s。

芯片中央藍色區(qū)域代表L2高速緩存，用于存儲臨時數(shù)據(jù)的高速緩沖區(qū)。

芯片左右兩側(cè)則集成了HBM（高帶寬內(nèi)存）芯片，這些芯片作為圖形內(nèi)存使用，存儲圖形處理所需的數(shù)據(jù)。