InfiniBand（IB）是一種高性能計算和數(shù)據(jù)中心網(wǎng)絡架構(gòu)，其設計目標是通過提供低延遲、高帶寬以及可擴展性來滿足大規(guī)模計算和數(shù)據(jù)傳輸?shù)男枨?。讓我們深入了解InfiniBand的基本概念。

InfiniBand網(wǎng)絡采用點對點的直連架構(gòu)。每個設備，如服務器、存儲設備或其他計算資源，都通過InfiniBand適配器直接連接到網(wǎng)絡，形成一個點對點的通信結(jié)構(gòu)。這種設計有助于降低通信的延遲，提高整體性能。

InfiniBand網(wǎng)絡的物理層和數(shù)據(jù)鏈路層規(guī)定了數(shù)據(jù)在傳輸過程中的基本原則。物理層負責傳輸比特流，而數(shù)據(jù)鏈路層則處理流控、錯誤檢測和糾錯等任務。這兩個層次的協(xié)同工作確保了數(shù)據(jù)在InfiniBand網(wǎng)絡中的可靠傳輸。

InfiniBand網(wǎng)絡支持不同的傳輸速率，通常以Gbps（千兆比特每秒）為單位。例如，InfiniBand架構(gòu)最初支持的是單數(shù)據(jù)率（SDR）為20 Gbps、雙數(shù)據(jù)率（DDR）為40 Gbps，以及四數(shù)據(jù)率（QDR）為80 Gbps。隨著技術的進步，還出現(xiàn)了更高速率的版本，如四teen數(shù)據(jù)率（FDR）為56 Gbps和電信號強化（EDR）為100 Gbps。

01.網(wǎng)絡拓撲

InfiniBand網(wǎng)絡支持多種拓撲結(jié)構(gòu)，使其適用于各種應用場景。

總線拓撲（Bus Topology）：設備連接到單一的總線上，適用于小規(guī)模集群。

環(huán)形拓撲（Ring Topology）：設備按環(huán)形連接，形成封閉的通信環(huán)境。

樹狀拓撲（Tree Topology）：設備以分層的樹狀結(jié)構(gòu)連接，提供更好的可擴展性。

網(wǎng)狀拓撲（Mesh Topology）：設備以網(wǎng)狀連接，適用于大規(guī)模、高性能計算環(huán)境。

InfiniBand的靈活拓撲結(jié)構(gòu)使其適用于不同規(guī)模和性能需求的應用。

02.通過InfinBand 傳輸數(shù)據(jù)

在傳統(tǒng)的互連結(jié)構(gòu)中，操作系統(tǒng)通常是共享網(wǎng)絡資源的唯一所有者，這導致應用程序無法直接訪問網(wǎng)絡。相反，數(shù)據(jù)傳輸通常需要依賴操作系統(tǒng)將數(shù)據(jù)從應用程序的虛擬緩沖區(qū)傳輸?shù)骄W(wǎng)絡堆棧和線路。然而，InfiniBand技術的引入改變了這一傳統(tǒng)的網(wǎng)絡交互模式。

在傳統(tǒng)網(wǎng)絡結(jié)構(gòu)中，應用程序需要通過操作系統(tǒng)來實現(xiàn)數(shù)據(jù)的傳輸。

這個過程包括：

應用程序緩沖區(qū)：數(shù)據(jù)通常存儲在應用程序的緩沖區(qū)中，等待被傳輸。

操作系統(tǒng)介入：應用程序通過系統(tǒng)調(diào)用等方式請求操作系統(tǒng)將數(shù)據(jù)傳輸?shù)骄W(wǎng)絡堆棧中。

網(wǎng)絡堆棧傳輸：操作系統(tǒng)將數(shù)據(jù)從應用程序緩沖區(qū)傳輸?shù)骄W(wǎng)絡堆棧，其中包括協(xié)議棧的處理，例如TCP/IP協(xié)議。

網(wǎng)絡線路傳輸：最終，數(shù)據(jù)通過網(wǎng)絡線路傳輸?shù)侥繕斯?jié)點。

這種結(jié)構(gòu)下，應用程序無法直接控制網(wǎng)絡的數(shù)據(jù)傳輸，而是依賴于操作系統(tǒng)進行中介。

InfiniBand技術的突出特點之一是以應用為中心的網(wǎng)絡交互方式。這種方式下，應用程序能夠直接通過網(wǎng)絡進行數(shù)據(jù)的交換，而無需直接涉及操作系統(tǒng)。以下是InfiniBand實現(xiàn)應用為中心方式的關鍵機制：

遠程直接內(nèi)存訪問（RDMA）

InfiniBand網(wǎng)絡支持遠程直接內(nèi)存訪問（RDMA）技術。通過RDMA，應用程序可以在不涉及操作系統(tǒng)的情況下直接訪問和交換內(nèi)存中的數(shù)據(jù)。這種直接的內(nèi)存訪問方式消除了傳統(tǒng)網(wǎng)絡結(jié)構(gòu)中的中介步驟，大大降低了數(shù)據(jù)傳輸?shù)难舆t。

用戶空間網(wǎng)絡堆棧

InfiniBand網(wǎng)絡允許在用戶空間中實現(xiàn)網(wǎng)絡堆棧，使得應用程序能夠直接處理網(wǎng)絡協(xié)議。這樣一來，應用程序不再需要通過操作系統(tǒng)的內(nèi)核空間進行數(shù)據(jù)傳輸，而是可以直接在用戶空間中完成網(wǎng)絡操作，提高了效率和靈活性。

零拷貝技術

InfiniBand還支持零拷貝技術，通過這一技術，應用程序可以直接在內(nèi)存中操縱數(shù)據(jù)，而無需將數(shù)據(jù)復制到中間緩沖區(qū)。這降低了數(shù)據(jù)傳輸?shù)拈_銷，提高了效率。

通過InfiniBand實現(xiàn)應用為中心的網(wǎng)絡交互方式，帶來了一系列優(yōu)勢，并與傳統(tǒng)網(wǎng)絡結(jié)構(gòu)形成了關鍵區(qū)別：

1、低延遲

由于應用程序能夠直接進行數(shù)據(jù)交換，而無需經(jīng)過多層的操作系統(tǒng)介入，因此InfiniBand網(wǎng)絡實現(xiàn)了更低的傳輸延遲。這對于對延遲要求較高的應用場景非常重要。

2、高帶寬

InfiniBand的應用為中心方式能夠更有效地利用網(wǎng)絡資源，提高了整體的帶寬利用率。這使得InfiniBand網(wǎng)絡在大規(guī)模數(shù)據(jù)傳輸和高性能計算等方面表現(xiàn)出色。

3、高效能

通過支持RDMA、用戶空間網(wǎng)絡堆棧和零拷貝技術，InfiniBand實現(xiàn)了更為高效的數(shù)據(jù)傳輸方式。這種高效能直接影響到應用程序的性能和響應速度。

4、靈活性

應用為中心的方式使得應用程序更靈活地控制數(shù)據(jù)傳輸和網(wǎng)絡操作，無需過多依賴于操作系統(tǒng)的限制。這為應用程序提供了更大的自主性和定制性。

03.InfinBand 架構(gòu)與 TCP/IP

InfiniBand架構(gòu)與傳統(tǒng)的TCP/IP模型在網(wǎng)絡通信中有著顯著的差異，尤其在分布式存儲和高性能計算領域的應用上。

InfiniBand 架構(gòu)

InfiniBand架構(gòu)分為五層，類似于傳統(tǒng)的TCP/IP模型。這五層分別是：

物理層：處理硬件接口、電氣和光學傳輸?shù)鹊讓蛹毠?jié)。

數(shù)據(jù)鏈路層：負責數(shù)據(jù)的封裝和解封裝，錯誤檢測和糾正。

網(wǎng)絡層：處理數(shù)據(jù)的路由和轉(zhuǎn)發(fā)，確保數(shù)據(jù)在不同設備之間的正確傳遞。

傳輸層：負責端到端的可靠數(shù)據(jù)傳輸，包括流控制和錯誤恢復。

應用層：提供網(wǎng)絡服務給應用程序，如傳輸控制協(xié)議（TCP）、用戶數(shù)據(jù)報協(xié)議（UDP）等。

InfiniBand在分布式存儲領域，尤其是在分布式并行計算（DPC）場景的存儲前端網(wǎng)絡中得到廣泛應用。其強調(diào)高性能、低延遲，適用于大規(guī)模并行計算機集群和需要高吞吐量的應用場景。

TCP/IP則更為普遍地應用于商業(yè)網(wǎng)絡和一般互聯(lián)網(wǎng)通信。它是目前互聯(lián)網(wǎng)通信的主流協(xié)議，用于支持各種應用，包括網(wǎng)頁瀏覽、電子郵件、文件傳輸?shù)取?

InfiniBand架構(gòu)通過引入遠程直接內(nèi)存訪問（RDMA）技術等創(chuàng)新，解決了網(wǎng)絡傳輸過程中服務器端數(shù)據(jù)處理的延遲問題。RDMA技術允許通過網(wǎng)絡接口直接訪問內(nèi)存數(shù)據(jù)，無需內(nèi)核干預，從而實現(xiàn)高吞吐量和低延遲的網(wǎng)絡通信。

傳統(tǒng)的TCP/IP網(wǎng)絡通信通常涉及通過內(nèi)核進行消息傳輸，導致數(shù)據(jù)移動和復制成本較高。這在高并發(fā)、低延遲應用場景下表現(xiàn)出一定的局限性。

InfiniBand的RDMA技術和應用為中心的設計使其特別適合大規(guī)模并行計算機集群，提供高性能、低延遲的數(shù)據(jù)傳輸。然而，它在普通商業(yè)網(wǎng)絡中的應用相對有限。

TCP/IP是互聯(lián)網(wǎng)通信的事實標準，適用于各種應用場景。然而，其在高性能計算和大規(guī)模并行計算方面的性能限制，使得在這些領域需要更高性能的解決方案。

04.支持的上層協(xié)議

InfiniBand架構(gòu)支持多種上層協(xié)議，這些協(xié)議在不同的應用場景中發(fā)揮著關鍵作用。

1. SCSI 協(xié)議（小型計算機系統(tǒng)接口）

SCSI是一種用于計算機和外部設備之間數(shù)據(jù)傳輸?shù)臉藴式涌趨f(xié)議。它支持各種外圍設備，包括磁盤驅(qū)動器、打印機和其他存儲和輸入輸出設備。在InfiniBand架構(gòu)中，SCSI協(xié)議的支持使得InfiniBand能夠與各種外圍設備進行高效的數(shù)據(jù)傳輸，為存儲和I/O操作提供了通用的標準接口。

2. IPoIB 協(xié)議（IP over InfiniBand）

IPoIB協(xié)議允許通過InfiniBand網(wǎng)絡進行IP數(shù)據(jù)傳輸。它是InfiniBand與TCP/IP協(xié)議棧相集成的關鍵協(xié)議，使得InfiniBand在互聯(lián)網(wǎng)和商業(yè)網(wǎng)絡中能夠無縫地與現(xiàn)有的IP網(wǎng)絡進行通信。IPoIB協(xié)議的支持擴展了InfiniBand的應用領域，使其能夠在更廣泛的網(wǎng)絡環(huán)境中發(fā)揮作用。

3. SDP 協(xié)議（套接字直接協(xié)議）

SDP（Socket Direct Protocol）協(xié)議是為通過InfiniBand網(wǎng)絡進行套接字通信而設計的協(xié)議。它提供高性能、低延遲的數(shù)據(jù)傳輸，為需要快速而可靠通信的應用程序提供了支持。SDP協(xié)議的引入使得InfiniBand成為一種適用于更廣泛應用領域的通信協(xié)議，尤其在需要低延遲的場景中表現(xiàn)優(yōu)異。

4. MPI（消息傳遞接口）

MPI（Message Passing Interface）是一種在并行計算中進行進程間通信的標準協(xié)議。它常用于高性能計算（HPC）應用程序，其中多個處理單元需要協(xié)同工作。通過支持MPI協(xié)議，InfiniBand架構(gòu)為HPC應用提供了高效、可靠的消息傳遞機制，促進了大規(guī)模并行計算的發(fā)展。

這些上層協(xié)議的支持使得InfiniBand不僅在高性能計算環(huán)境中表現(xiàn)出色，同時也適用于大規(guī)模存儲、網(wǎng)絡通信以及其他需要高性能和低延遲的應用場景。這豐富的協(xié)議支持為InfiniBand架構(gòu)賦予了靈活性和廣泛的適用性。

05.遠程直接內(nèi)存訪問（RDMA）

InfiniBand網(wǎng)絡最引人注目的特性之一是遠程直接內(nèi)存訪問（RDMA）。RDMA允許數(shù)據(jù)在不涉及主機CPU的情況下直接在內(nèi)存中傳輸，從而降低了通信的延遲和CPU的負擔。這對于高性能計算和數(shù)據(jù)中心應用非常重要，特別是在需要大規(guī)模數(shù)據(jù)傳輸?shù)膱鼍跋隆?

舉例來說，當一臺服務器需要從另一臺服務器的內(nèi)存中讀取或?qū)懭霐?shù)據(jù)時，使用RDMA可以避免涉及中間步驟，直接在兩臺服務器之間進行數(shù)據(jù)傳輸，提高了數(shù)據(jù)傳輸?shù)男屎退俣取?

InfiniBand網(wǎng)絡在性能方面表現(xiàn)出色，這使其成為高性能計算領域的首選網(wǎng)絡架構(gòu)之一。以下是一些導致其性能優(yōu)勢的關鍵因素：

低延遲：InfiniBand網(wǎng)絡的點對點直連結(jié)構(gòu)以及支持RDMA技術，使其具有低延遲的特點，適用于對通信延遲要求較高的應用。

高吞吐量：高傳輸速率和并行性質(zhì)使InfiniBand能夠支持大規(guī)模數(shù)據(jù)集的高吞吐量傳輸，對于需要大量數(shù)據(jù)處理的應用非常重要，例如科學計算、模擬和人工智能等領域。

可擴展性：不同拓撲結(jié)構(gòu)的支持以及InfiniBand架構(gòu)的設計使其在大規(guī)模計算集群中具有出色的可擴展性。

InfiniBand網(wǎng)絡在多個領域得到廣泛應用，其中一些典型的應用場景包括：

超級計算：InfiniBand在超級計算環(huán)境中廣泛應用，支持大規(guī)模并行計算任務，提供出色的性能和可擴展性。

數(shù)據(jù)中心：用于連接服務器、存儲系統(tǒng)和其他網(wǎng)絡設備，滿足數(shù)據(jù)中心對高性能和低延遲的需求。

人工智能：在深度學習和機器學習等人工智能領域，InfiniBand網(wǎng)絡能夠支持大規(guī)模數(shù)據(jù)集的快速傳輸和分布式計算。

與以太網(wǎng)等其他網(wǎng)絡技術相比，InfiniBand在某些方面具有獨特的優(yōu)勢。然而，不同的應用場景可能需要根據(jù)具體需求選擇合適的網(wǎng)絡技術。以下是一些比較方面：

延遲與帶寬：InfiniBand通常在延遲和帶寬方面表現(xiàn)更為出色，適用于對性能要求較高的應用。

成本與普及度：以太網(wǎng)技術更為普及，而InfiniBand設備和基礎設施通常較為昂貴，因此在一些低成本和小規(guī)模場景中可能不是首選。

應用領域：InfiniBand在高性能計算和數(shù)據(jù)中心等特定領域表現(xiàn)卓越，而以太網(wǎng)則更廣泛應用于企業(yè)和通用數(shù)據(jù)傳輸。

06.硬件中的傳輸層

在InfiniBand架構(gòu)中，傳輸層的設計采用了一種特殊的方式，通過建立虛擬通道來連接兩個應用程序，從而實現(xiàn)它們在完全獨立的地址空間中進行通信。這種設計優(yōu)勢在于利用直接硬件數(shù)據(jù)傳輸，從而提高通信效率和性能。

InfiniBand引入了虛擬通道的概念，這是在傳輸層中用于連接兩個應用程序的通道。通過建立虛擬通道，不同的數(shù)據(jù)流可以在網(wǎng)絡中獨立傳輸，而無需相互競爭網(wǎng)絡帶寬。每個虛擬通道都有自己的特定屬性和服務質(zhì)量，使得通信能夠更加靈活和高效。

InfiniBand架構(gòu)中的傳輸層設計中，消息直接通過硬件進行傳輸，無需主機處理器的干預。這一特性被實現(xiàn)通過引入遠程直接內(nèi)存訪問（RDMA）技術，允許數(shù)據(jù)在網(wǎng)絡適配器之間直接傳遞，繞過主機內(nèi)存。這種直接硬件數(shù)據(jù)傳輸?shù)姆绞綆砹硕嘀貎?yōu)勢：

1、提高通信效率

通過直接硬件傳輸，消息在網(wǎng)絡中的傳輸路徑更為直接，減少了數(shù)據(jù)傳輸?shù)闹虚g步驟。這有助于提高通信效率，降低了傳輸?shù)难舆t。

2、提升性能

無需主機處理器的干預意味著數(shù)據(jù)可以更快速地在網(wǎng)絡適配器之間傳遞。這對于高性能計算和大規(guī)模并行計算等對性能要求較高的應用場景非常重要。

3、降低系統(tǒng)開銷

直接硬件數(shù)據(jù)傳輸減少了在數(shù)據(jù)傳輸過程中涉及主機處理器的操作，從而降低了系統(tǒng)的開銷。這對于提升系統(tǒng)整體的性能和資源利用率具有積極影響。

在消息傳輸過程中，硬件中的傳輸層通過虛擬通道實現(xiàn)兩個應用程序的連接。消息直接通過硬件傳輸，無需主機處理器的干預。一旦消息到達接收端，它將直接傳遞到接收應用程序的緩沖區(qū)，無需經(jīng)過額外的處理步驟。這種設計有效地減少了傳輸?shù)膹碗s性和時間成本，有助于實現(xiàn)高效、低延遲的通信。

07.InfinBand 網(wǎng)絡的進階特性

網(wǎng)絡安全性與管理

隨著網(wǎng)絡攻擊的不斷演進，網(wǎng)絡安全性成為網(wǎng)絡設計的重要考慮因素之一。InfiniBand網(wǎng)絡通過加密和身份驗證等手段提高了數(shù)據(jù)傳輸?shù)陌踩?。同時，網(wǎng)絡管理工具的不斷改進也使得對InfiniBand網(wǎng)絡進行更加精細的監(jiān)控和管理成為可能。

網(wǎng)絡虛擬化

網(wǎng)絡虛擬化是一種在物理網(wǎng)絡基礎上創(chuàng)建多個虛擬網(wǎng)絡的技術。InfiniBand在這方面取得了一些進展，支持將物理網(wǎng)絡資源劃分為多個邏輯網(wǎng)絡，從而提高網(wǎng)絡資源的利用率和靈活性。這對于云計算和多租戶環(huán)境中的資源管理非常重要。

HDR InfiniBand

HDR（200 Gbps）是InfiniBand架構(gòu)中的一代新產(chǎn)品，為網(wǎng)絡提供了更高的傳輸速率。HDR InfiniBand在支持大規(guī)模數(shù)據(jù)中心和高性能計算方面具有顯著的優(yōu)勢，推動了InfiniBand網(wǎng)絡在超級計算和數(shù)據(jù)密集型應用中的地位。

開源項目與標準化

InfiniBand技術在一定程度上受到開源社區(qū)的關注，有一些開源項目致力于推動InfiniBand技術的進一步發(fā)展。此外，InfiniBand Trade Association（IBTA）等組織也在不斷推動InfiniBand技術的標準化，以確保其在不同設備和廠商之間的互操作性。

隨著計算和數(shù)據(jù)需求的不斷增長，InfiniBand網(wǎng)絡將繼續(xù)在高性能計算、大規(guī)模數(shù)據(jù)處理以及人工智能等領域發(fā)揮關鍵作用。未來的發(fā)展趨勢可能包括更高速率的InfiniBand版本、更加智能的網(wǎng)絡管理和優(yōu)化，以及與其他新興技術的融合，如光網(wǎng)絡和量子計算。

08.總結(jié)

InfiniBand架構(gòu)以其卓越的性能和低延遲的特性成為高性能計算和數(shù)據(jù)中心網(wǎng)絡的首選解決方案。通過深入探討InfiniBand的各個層次，包括物理層、鏈路層、網(wǎng)絡層、傳輸層和上層協(xié)議，我們了解了其獨特的設計和優(yōu)勢。

在物理層，InfiniBand采用多種傳輸介質(zhì)和硬件規(guī)格，包括電纜、光纖和連接器，以支持高帶寬、低延遲的數(shù)據(jù)傳輸。在鏈路層，本地標識符（LID）和轉(zhuǎn)發(fā)表的使用為數(shù)據(jù)包的定位和傳輸提供了關鍵支持。網(wǎng)絡層的子網(wǎng)劃分和子網(wǎng)管理器的角色確保了網(wǎng)絡的靈活性和高效性。傳輸層引入了遠程直接內(nèi)存訪問（RDMA）技術，通過硬件級別的數(shù)據(jù)傳輸實現(xiàn)了低延遲和高吞吐量。

InfiniBand的應用廣泛涵蓋了高性能計算、大規(guī)模并行計算、云計算、機器學習和人工智能等領域。其在數(shù)據(jù)中心網(wǎng)絡中的卓越表現(xiàn)，使其成為處理大規(guī)模數(shù)據(jù)傳輸和復雜計算任務的理想選擇。隨著對計算能力和數(shù)據(jù)中心規(guī)模的不斷增長，InfiniBand作為一種高性能互連技術，將繼續(xù)在科學、工程和商業(yè)領域發(fā)揮至關重要的作用。其未來的發(fā)展將持續(xù)推動科技創(chuàng)新和高性能計算的進步。