ChatGPT算力芯片如何做算力輸出

我們談到算力芯片和內(nèi)存，這一期我們來(lái)聊聊算力芯片如何做算力輸出，進(jìn)而形成ChatGPT等生成式AI背后的算力基座。

現(xiàn)在的算力服務(wù)器中，里面并不是一顆顆芯片堆疊在一起，而是一張張算力卡并排插在卡槽里。目前大部分算力服務(wù)器單臺(tái)放置8張或者16張算力卡。

算力卡的核心當(dāng)然還是計(jì)算芯片，會(huì)搭配大容量高帶寬的內(nèi)存、緩存，以及搭載CPU用于調(diào)度，為了幫助數(shù)據(jù)傳輸，便會(huì)使用高速通道，這便是PCIe（高速串行計(jì)算機(jī)擴(kuò)展總線標(biāo)準(zhǔn)）在系統(tǒng)中的作用：提供總線通道。

圖：算力卡示意圖

PCIe在數(shù)據(jù)運(yùn)算中的應(yīng)用非常廣泛，比如CPU控制和調(diào)度芯片組進(jìn)行工作會(huì)采用PCIe總線，算力卡和算力卡之間的互聯(lián)也可能用到Serdes總線，計(jì)算好的數(shù)據(jù)存入到SSD硬盤中也是使用PCIe總線，算力中心里的交換機(jī)內(nèi)部CPU與Switch芯片之間，采用PCIe總線。

圖：PCIe總線在AI異構(gòu)計(jì)算系統(tǒng)中的應(yīng)用

因此，PCIe相當(dāng)于是一種通用的總線標(biāo)準(zhǔn)，串聯(lián)起整個(gè)AI背后的異構(gòu)計(jì)算系統(tǒng)。通過(guò)采用PCIe接口，研發(fā)人員完全不必?fù)?dān)心計(jì)算芯片、加速芯片、內(nèi)存芯片、存儲(chǔ)芯片、網(wǎng)關(guān)芯片和交換機(jī)等人工智能系統(tǒng)不同組件之間的互聯(lián)問題。

PCIe從多個(gè)方面賦能當(dāng)前人工智能系統(tǒng)的高速發(fā)展，包括以下幾個(gè)特性：

1.?高效傳輸

2.?高可擴(kuò)展性

3.?實(shí)時(shí)處理能力

4.?持續(xù)優(yōu)化的低功耗性能

由于PCIe連接了系統(tǒng)中核心的芯片，又承擔(dān)著數(shù)據(jù)傳輸?shù)呢?zé)任，因此其性能可靠性非常重要。在實(shí)際測(cè)試過(guò)程中，首先要測(cè)試PCIe接口的上傳和下載峰值速度，以及穩(wěn)定傳輸?shù)乃俣?，這是保證高效計(jì)算的關(guān)鍵。然后是測(cè)試PCIe接口的電氣特性，包括傳輸功耗，以及高速邏輯喚醒等低功耗功能的具體表現(xiàn)，如下圖：

圖：是德科技PCIe測(cè)試拓?fù)鋱D

此外，在PCIe接口穩(wěn)定性方面，還要測(cè)試熱插拔特性、隔離度和EMC性能等。當(dāng)然，目前有一些廠商已經(jīng)不滿足于PCIe的傳輸速度，于是他們自己研發(fā)了一套連接標(biāo)準(zhǔn)。比如，英特爾提供Xe Link用于算力卡的互聯(lián)，這是一種基于PCle 5.0擴(kuò)展的新協(xié)議；英偉達(dá)則是開發(fā)了NVLink作為PCle的替代方案，帶寬和能效能夠達(dá)到PCle 5.0的數(shù)倍。這些自研方案會(huì)帶來(lái)更高的測(cè)試挑戰(zhàn)，對(duì)于是德科技而言，無(wú)論采取的是PCle協(xié)議，還是自研的高速互聯(lián)協(xié)議，我們的方案都能夠滿足相關(guān)測(cè)試需求，如下圖：