寫在開頭，本文主要介紹智能網(wǎng)卡在AI網(wǎng)絡(luò)的作用并在一定場(chǎng)景下說明DPU和智能網(wǎng)卡在功能上的一些區(qū)別以理解兩者的相似點(diǎn)和不同點(diǎn)。

智算中心又稱人工智能計(jì)算中心，通常配置有大量的圖形處理單元(GPU)和張量處理單元(TPU)，以及針對(duì)人工智能工作負(fù)載優(yōu)化的高帶寬內(nèi)存和存儲(chǔ)系統(tǒng)。它們?yōu)?a target="_blank">機(jī)器學(xué)習(xí)和深度學(xué)習(xí)提供專門支持，包括數(shù)據(jù)預(yù)處理、模型訓(xùn)練以及推理服務(wù)。

人工智能計(jì)算中心的設(shè)計(jì)非常重視并行處理能力，并且能夠處理大量的數(shù)據(jù)集。它們通常包括深度學(xué)習(xí)框架和庫(kù)的支持，為開發(fā)者提供方便的開發(fā)環(huán)境。此外，它們可能會(huì)提供針對(duì)人工智能應(yīng)用的優(yōu)化工具與API，從而最大化硬件性能。

以GPU為核心的分布式計(jì)算

GPU擁有高度并行的處理架構(gòu)，能夠同時(shí)處理大量的計(jì)算任務(wù)，特別適合于人工智能領(lǐng)域中大規(guī)模的矩陣運(yùn)算和向量計(jì)算。在智算中心，GPU是主要的計(jì)算節(jié)點(diǎn)，而CPU則更多承擔(dān)任務(wù)調(diào)度、系統(tǒng)管理和其他非并行計(jì)算任務(wù)。智算中心是以GPU為中心的架構(gòu)設(shè)計(jì)，是為了滿足人工智能領(lǐng)域?qū)Ω咝阅苡?jì)算資源的需求，且要求網(wǎng)絡(luò)高可靠、超低延時(shí)及超高的帶寬。

AI智能網(wǎng)卡在AI網(wǎng)絡(luò)中的作用

我們所說的Scale-out架構(gòu)的流量特性究竟是什么呢?它要求具備高吞吐量，通常約為100 Gbps，同時(shí)包長(zhǎng)較短，典型的往返時(shí)間僅為10微秒。Scale-out架構(gòu)的關(guān)鍵在于必須有效利用所有可用帶寬，并確保流量的均勻分布。GPU流量通常較大，與典型的服務(wù)器間流量存在差異，因此應(yīng)高效采用負(fù)載均衡方案，如路徑感知(Path-aware)、自適應(yīng)(Adaptive)或無損(Lossless)負(fù)載均衡方式。此外，還需具備快速的丟包恢復(fù)和重傳機(jī)制，以避免產(chǎn)生高延遲，并結(jié)合適用于該架構(gòu)需求的擁塞控制算法以實(shí)現(xiàn)最佳性能。

AI智能網(wǎng)卡Smart NIC主要解決的問題就是通過與交換機(jī)、GPU等硬件互聯(lián)實(shí)現(xiàn)盡可能的無損通信。由于AI集群的規(guī)模從萬卡到十萬卡演進(jìn)，北向網(wǎng)絡(luò)的擴(kuò)展即Scale-out網(wǎng)絡(luò)互聯(lián)(又可以理解為后端網(wǎng)絡(luò))通常需要配備高性能、高帶寬的智能網(wǎng)卡，配合其他硬件設(shè)備共同解決大規(guī)模網(wǎng)絡(luò)擁塞、死鎖、丟包及亂序等一系列網(wǎng)絡(luò)傳輸?shù)膯栴}。智能網(wǎng)卡的功能是重在網(wǎng)絡(luò)加速傳輸，而DPU則更適合需要降低CPU工作負(fù)載以及需要加密存儲(chǔ)的多類功能的場(chǎng)景。

以下以AMD不久前發(fā)布的AI網(wǎng)絡(luò)互聯(lián)結(jié)構(gòu)為例可以幫助我們理解原生智能網(wǎng)卡和DPU的應(yīng)用區(qū)別：

傳統(tǒng)以太網(wǎng)Frontend：連接非AI服務(wù)器的其他數(shù)據(jù)中心基礎(chǔ)設(shè)施和外部網(wǎng)絡(luò)，需確保安全和存儲(chǔ)加速能力并降低CPU開銷，AMD通過最新的Saline 400 DPU與ZEN 5 EPYC CPU連接并降低其工作負(fù)載。

后端網(wǎng)絡(luò)Backend：Scale-out網(wǎng)絡(luò)直接連接GPU，以便共享查詢和激活結(jié)果，支持大規(guī)模訓(xùn)練和推理。當(dāng)前面臨的挑戰(zhàn)主要包括高效擴(kuò)展、故障恢復(fù)、網(wǎng)絡(luò)擁塞和數(shù)據(jù)丟失等一系列網(wǎng)絡(luò)傳輸問題。AMD使用8張Pollara 400 SmartNIC 與GPU /交換機(jī)互通，所以這里的網(wǎng)卡與DPU存在適用場(chǎng)景的區(qū)別。

下一代的智能網(wǎng)卡應(yīng)該具備更高的速率帶寬(400G-800G演進(jìn))，除了自適應(yīng)路由、選擇性重傳功能以及支持智能堆棧的可擴(kuò)展性與靈活性，能夠支持更高的QP隊(duì)列動(dòng)態(tài)管理也是重要的優(yōu)選性能之一。隨著UEC超以太聯(lián)盟的壯大以及基于以太網(wǎng) RDMA優(yōu)化的智算網(wǎng)絡(luò)Scale out改進(jìn)路線的明確，下一代支持UEC的智能網(wǎng)卡將是邁向十萬卡集群的重要互聯(lián)硬件。這些創(chuàng)新技術(shù)為AI網(wǎng)絡(luò)的未來奠定了堅(jiān)實(shí)的基礎(chǔ)，使得網(wǎng)絡(luò)更加高效與可靠。

智能網(wǎng)卡和DPU的主要結(jié)構(gòu)區(qū)別

我們以英偉達(dá)BlueField-3 DPUs為例來解釋DPU和網(wǎng)卡的主要結(jié)構(gòu)區(qū)別，BlueField 架構(gòu)本質(zhì)上是將網(wǎng)卡子系統(tǒng)(基于 ConnectX)與可編程數(shù)據(jù)路徑、用于加密、壓縮和正則表達(dá)式的硬件加速器以及用于控制平面的 Arm控制器融為一體。在 BlueField-3 中，可編程包處理器包含 16 個(gè)核可處理 256 個(gè)線程，實(shí)現(xiàn)了 Arm 核上的零負(fù)載數(shù)據(jù)路徑處理。在許多應(yīng)用中，由數(shù)據(jù)路徑自主處理已知的網(wǎng)絡(luò)流量，由 Arm 核處理新流量等例外情況及控制平面功能。

從其內(nèi)部架構(gòu)我們發(fā)現(xiàn)BlueField-3 DPU 自帶一部分CX7的智能網(wǎng)卡網(wǎng)絡(luò)傳輸功能，針對(duì)云計(jì)算和云原生環(huán)境對(duì)多租戶安全及加密的高要求，DPU內(nèi)置了強(qiáng)大的壓縮和加密功能。同時(shí)，為了適應(yīng)云計(jì)算場(chǎng)景下多樣化的軟件應(yīng)用需求，DPU集成了眾多加速器引擎，并配備了高性能的Arm CPU內(nèi)核，有效減輕了CPU在相關(guān)領(lǐng)域的工作負(fù)擔(dān)。

相對(duì)而言，智能網(wǎng)卡主要專注于網(wǎng)絡(luò)加速和傳輸性能的提升，其內(nèi)嵌的CPU內(nèi)核更為精簡(jiǎn)，對(duì)于加密、壓縮功能以及軟件應(yīng)用加速引擎的需求并不高。因此，相較于DPU，智能網(wǎng)卡在功能上顯得更為“輕量級(jí)”，這一說法也因此而來。

以上綜述可以得出一個(gè)結(jié)論：新一代的SmartNIC的主要面向的是AI網(wǎng)絡(luò)，尤其是在分布式訓(xùn)練、大規(guī)模推理的應(yīng)用場(chǎng)景進(jìn)行網(wǎng)絡(luò)傳輸加速與管理;它使用比DPU更少的計(jì)算能力及成本來實(shí)現(xiàn)這一目標(biāo)。反過來說，DPU除了標(biāo)準(zhǔn)的網(wǎng)絡(luò)接口功能，它通常還包含多個(gè)處理核心、專用加速模塊(如加密解密、深度包檢查、虛擬化支持)等，普遍成本高于SmartNIC。

GenAI IaaS背景下SmartNIC的需求

根據(jù)國(guó)際數(shù)據(jù)公司 (IDC)發(fā)布的《中國(guó)智算服務(wù)市場(chǎng)(2023下半年)跟蹤》報(bào)告顯示，2023下半年中國(guó)智算服務(wù)市場(chǎng)整體規(guī)模達(dá)到114.1億元人民幣，同比增長(zhǎng)85.8%。其中，2023下半年，智算集成服務(wù)市場(chǎng)規(guī)模為36.0億元人民幣，同比增速129.4%;GenAI IaaS市場(chǎng)在2023年從0到1爆發(fā)式增長(zhǎng)，在下半年市場(chǎng)規(guī)模達(dá)到32.2億元人民幣;Non-GenAI IaaS市場(chǎng)規(guī)模達(dá)到45.9億元人民幣，以較低增速保持增長(zhǎng)。

智算集成服務(wù)以及GenAI IaaS貢獻(xiàn)了市場(chǎng)重要增量：回顧整個(gè)2023年，中國(guó)Gen AI進(jìn)入發(fā)展元年，智能算力需求爆發(fā)式增長(zhǎng)。相比于2022年，2023年智算服務(wù)市場(chǎng)增長(zhǎng)81.6億元人民幣。其中GenAI IaaS市場(chǎng)貢獻(xiàn)59%，智算集成服務(wù)市場(chǎng)貢獻(xiàn)38%。

頭部云廠商過往在AI+云計(jì)算領(lǐng)域有雙向積累的公司正在獲得先發(fā)優(yōu)勢(shì)，如字節(jié)、阿里、百度、騰訊受益于過往在AI領(lǐng)域的沉淀、GPU資源以及在基礎(chǔ)設(shè)施上的領(lǐng)先技術(shù)儲(chǔ)備，在市場(chǎng)上獲得先發(fā)優(yōu)勢(shì)并將其資源投入不斷向GenAI IaaS市場(chǎng)靠攏。

隨著AI網(wǎng)絡(luò)技術(shù)的不斷迭代，以Scale-out 互聯(lián)作為集群服務(wù)器間大規(guī)模擴(kuò)展的需求已經(jīng)成為業(yè)內(nèi)共識(shí)。如今，智能網(wǎng)卡作為Scale-out 的關(guān)鍵組件，其產(chǎn)品定位與發(fā)展路線顯然與DPU不同。

根據(jù)Dell’Oro集團(tuán)發(fā)布的《Ethernet Adapter and Smart NIC 5-Year July 2024 Forecast Report》，預(yù)計(jì)到2028年，以太網(wǎng)智能網(wǎng)卡的市場(chǎng)價(jià)值將超過160億美元。這一增長(zhǎng)主要得益于AI服務(wù)器集群Scale-out對(duì)后端網(wǎng)絡(luò)以太網(wǎng)連接的強(qiáng)烈需求。隨著人工智能通用應(yīng)用的出現(xiàn)，服務(wù)器與后端以太網(wǎng)網(wǎng)絡(luò)的連接需求日益增長(zhǎng)，這對(duì)于大型語(yǔ)言模型的訓(xùn)練至關(guān)重要。

以上數(shù)據(jù)并不意味著國(guó)內(nèi)DPU的市場(chǎng)已經(jīng)萎縮，由于AI大模型的爆發(fā)，云廠商們正在通過加強(qiáng)發(fā)展生態(tài)合作伙伴來尋求異構(gòu)算力的調(diào)度以及基礎(chǔ)設(shè)施的集成，推動(dòng)云計(jì)算與AI網(wǎng)絡(luò)的按需融合。

DPU和智能網(wǎng)卡作為現(xiàn)代網(wǎng)絡(luò)基礎(chǔ)設(shè)施中不可或缺的硬件組件，它們?cè)诟髯缘哪繕?biāo)應(yīng)用領(lǐng)域內(nèi)展現(xiàn)出了潛力和廣闊的發(fā)展前景。在我國(guó)云計(jì)算、邊緣計(jì)算以及智算中心的迅猛發(fā)展背景下，我們有理由相信，未來將會(huì)有更多創(chuàng)新技術(shù)在這兩類產(chǎn)品中得到推陳出新，為國(guó)內(nèi)新質(zhì)生產(chǎn)力的崛起提供支撐。

關(guān)于我們

AI網(wǎng)絡(luò)全棧式互聯(lián)架構(gòu)產(chǎn)品及解決方案提供商

奇異摩爾，成立于2021年初，是一家行業(yè)領(lǐng)先的AI網(wǎng)絡(luò)全棧式互聯(lián)產(chǎn)品及解決方案提供商。公司依托于先進(jìn)的高性能RDMA 和Chiplet技術(shù)，創(chuàng)新性地構(gòu)建了統(tǒng)一互聯(lián)架構(gòu)——Kiwi Fabric，專為超大規(guī)模AI計(jì)算平臺(tái)量身打造，以滿足其對(duì)高性能互聯(lián)的嚴(yán)苛需求。我們的產(chǎn)品線豐富而全面，涵蓋了面向不同層次互聯(lián)需求的關(guān)鍵產(chǎn)品，如面向北向Scale out網(wǎng)絡(luò)的AI原生智能網(wǎng)卡、面向南向Scale up網(wǎng)絡(luò)的GPU片間互聯(lián)芯粒、以及面向芯片內(nèi)算力擴(kuò)展的2.5D/3D IO Die和UCIe Die2Die IP等。這些產(chǎn)品共同構(gòu)成了全鏈路互聯(lián)解決方案，為AI計(jì)算提供了堅(jiān)實(shí)的支撐。

奇異摩爾的核心團(tuán)隊(duì)匯聚了來自全球半導(dǎo)體行業(yè)巨頭如NXP、Intel、Broadcom等公司的精英，他們憑借豐富的AI互聯(lián)產(chǎn)品研發(fā)和管理經(jīng)驗(yàn)，致力于推動(dòng)技術(shù)創(chuàng)新和業(yè)務(wù)發(fā)展。團(tuán)隊(duì)擁有超過50個(gè)高性能網(wǎng)絡(luò)及Chiplet量產(chǎn)項(xiàng)目的經(jīng)驗(yàn)，為公司的產(chǎn)品和服務(wù)提供了強(qiáng)有力的技術(shù)保障。我們的使命是支持一個(gè)更具創(chuàng)造力的芯世界，愿景是讓計(jì)算變得簡(jiǎn)單。奇異摩爾以創(chuàng)新為驅(qū)動(dòng)力，技術(shù)探索新場(chǎng)景，生態(tài)構(gòu)建新的半導(dǎo)體格局，為高性能AI計(jì)算奠定穩(wěn)固的基石。