隨著人工智能大模型，高性能計(jì)算（HPC），大數(shù)據(jù)和搜推等業(yè)務(wù)的興起，原本以Web服務(wù)為主要應(yīng)用的數(shù)據(jù)中心也開始關(guān)注這些新業(yè)務(wù)所帶來的需求變化，例如通過緊耦合計(jì)算網(wǎng)，提供更高的帶寬和更低的延遲。而在緊耦合計(jì)算網(wǎng)中，是否支持豐富的內(nèi)存語義成為了關(guān)鍵。

但究竟什么是內(nèi)存語義，業(yè)界一直沒有一個(gè)清晰的定義，有的人說Infiniband（IB）的RDMA語義就是內(nèi)存語義，也有人說消息語義也是內(nèi)存語義，也有人說訪問內(nèi)存的語義是內(nèi)存語義，也有人說Load/Store語義是內(nèi)存語義，眾說紛紜，我們下面來看看Wikipedia是怎么定義內(nèi)存語義的：

Memory Semantics（From Wikipedia）

Incomputing and parallel processing, memory semantics refers to the process logicused to control access to shared memorylocations, or at a higher level to shared variables in the presence of multiplethreads or processors.

Memorysemantics may also be defined for transactional memory, where issues related tothe interaction of transactions and locks, and user-level actions need to bedefined and specified.

可以看出，維基百科認(rèn)為內(nèi)存語義是針對(duì)多線程針對(duì)共享內(nèi)存區(qū)進(jìn)行的操作，又或者是針對(duì)內(nèi)存的訪問操作等。

為了更好的解釋什么是內(nèi)存語義，我們先來看看什么是語義以及IB中是如何劃分語義的：

什么是語義？

通常來說，語義就是互聯(lián)中用于交互的一個(gè)或者多個(gè)操作的組合，通常在事務(wù)層（TransactionLayer）中定義。（IB沒有事務(wù)層，所以IB在傳輸層中定義了語義）

IB語義劃分

IB介紹了兩種語義，分別是ChannelSemantics（通道語義）和Memory（RDMA）Semantics（內(nèi)存語義/RDMA語義）

其中，Channel Semantic包括Send/Receive操作；RDMA語義包括RDMA WRITE，RDMA READ和ATOMIC操作；

IB語義劃分依據(jù)猜測(cè)

從IB提供的具體操作來看，Send/Receive，RDMA_Read，RDMA_Write和ATOMIC操作實(shí)際上都是針對(duì)內(nèi)存的操作，所不同的是，Send/Receive操作的請(qǐng)求端不知道響應(yīng)端會(huì)將數(shù)據(jù)寫到哪里，即請(qǐng)求端在發(fā)送Send請(qǐng)求時(shí)，不需要填寫目標(biāo)地址。但實(shí)際上，最終這筆數(shù)據(jù)還是寫到響應(yīng)端的內(nèi)存中去了。所以嚴(yán)格意義上說，Send/Receive操作仍然屬于內(nèi)存相關(guān)操作，只不過IB希望與另外三種操作做出區(qū)分。于是Send/Receive操作被賦予了新的名稱，被稱為Channel Semantics，意思就是在通道的一端你只管send數(shù)據(jù)就好，具體數(shù)據(jù)去哪了，通道的另一端會(huì)負(fù)責(zé)處理。

RDMA_Read，RDMA_Write和ATOMIC操作有一個(gè)共同點(diǎn)就是三種操作都需要指定響應(yīng)端的虛擬地址，通過響應(yīng)端的地址翻譯，獲得最終響應(yīng)端的內(nèi)存地址。這三種操作在IB標(biāo)準(zhǔn)中被劃分在了RDMA語義下，也被稱為內(nèi)存語義，但從上述分析來看，這里將RDMA語義稱為內(nèi)存語義，有一點(diǎn)概念放大的嫌疑。

下面我們對(duì)比的看看CXL是如何劃分語義的：

CXL語義劃分

CXL介紹了三大類語義，包括I/O語義，緩存協(xié)議語義和內(nèi)存訪問語義，即CXL.io, CXL,cache和CXL.mem。其中，CXL.io語義與PCIe語義類似。

CXL語義劃分依據(jù)猜測(cè)

CXL提供了非常豐富的事務(wù)層操作，我們可以把CXL鏈路以及兩端抽象成下面的模型：

下面我們看看CXL鏈路要支撐CXL Point A和B進(jìn)行哪些交互，簡(jiǎn)單起見，我們只關(guān)注請(qǐng)求類型：

CXL.Cache

CXL.mem

CXL.io

什么是Load/Store指令？

通常來說，Load/Store（L/S）指令是處理器核對(duì)內(nèi)存空間的訪問操作，包括Load操作，將數(shù)據(jù)從內(nèi)存空間讀到處理器核內(nèi)的寄存器中；以及Store操作，將處理器核內(nèi)寄存器的數(shù)據(jù)寫到內(nèi)存空間中。

x86架構(gòu)中，對(duì)內(nèi)存空間訪問的指令典型的是MOV指令；ARM架構(gòu)中，對(duì)內(nèi)存空間訪問的指令典型的是LDR/STR；因?yàn)橛胁簧俚目臻g被映射（mapping）到了內(nèi)存空間，即采用內(nèi)存空間的訪問指令，所以Load/Store指令不但能夠訪問實(shí)際的內(nèi)存，也可以訪問其他的一些設(shè)備，以及設(shè)備空間，例如BIOS ROM，南橋的寄存器，PCIe設(shè)備上的內(nèi)存等等。

什么是DMA操作？

如果我們?cè)趦蓚€(gè)物理地址間搬移數(shù)據(jù)，而不需要CPU介入的話，我們就稱這種操作是DMA操作。這其中最重要的是DMA引擎，它具備一些寄存器接口，高級(jí)別的DMA引擎可能配備了硬件隊(duì)列，用于描述搬移數(shù)據(jù)和地址的相關(guān)信息。從最終效果上來看，一次DMA操作等同于兩次Load/Store操作，即先通過Load操作將數(shù)據(jù)從物理地址A讀到DMA引擎，然后再通過Store操作將數(shù)據(jù)從DMA引擎寫到物理地址B。

容易混淆的概念：

Load/Store是處理器的一種指令，例如x86的MOV指令，該指令會(huì)產(chǎn)生對(duì)內(nèi)存空間的訪問?，F(xiàn)代計(jì)算機(jī)系統(tǒng)中，內(nèi)存空間并不都指向具體的內(nèi)存（DRAM）。也包括BIOS ROM，PCH寄存器空間，PCIe配置空間等，所以Load/Store最好說成是內(nèi)存空間訪問指令或語義。

內(nèi)存空間訪問和內(nèi)存訪問有什么不同？

內(nèi)存空間是指處理器通過遍歷其地址線的排列組合，能夠通過Load/Store指令訪問的最大的物理地址空間。例如某款處理器的地址線能夠支持1MByte的內(nèi)存空間，但實(shí)際上內(nèi)存只有640KByte，如下圖所示：

我們以x86處理器為例，CPU可訪問的主要空間包括：

其中，配置空間因沒有獨(dú)立的指令，訪問該空間可通過I/O空間實(shí)現(xiàn)（Legacy方式，16M空間），也可以通過內(nèi)存空間進(jìn)行訪問（256M空間），不同的空間將使用不同的指令進(jìn)行訪問。

結(jié)語

通過上面的分析可以看出，內(nèi)存語義的定義在不同的上下文中的確不是特別固定。比較主流的觀點(diǎn)有：

內(nèi)存語義是指某種事務(wù)層的操作，其操作對(duì)象是具體內(nèi)存實(shí)體的。該定義的代表是IB的RDMA語義。

內(nèi)存語義是指專門針對(duì)內(nèi)存實(shí)體操作的語義，與IO語義不同，這種上下文中的內(nèi)存語義是不提供類似IO語義那樣的保序操作。例如對(duì)于非同地址的內(nèi)存讀寫操作，是沒有序的要求。該定義的代表是CXL.mem。

術(shù)語：

PDM: Private Device Memory：傳統(tǒng)PCIe設(shè)備上的內(nèi)存資源，以及通過CXL.io訪問的內(nèi)存資源（CXL設(shè)備），該設(shè)備資源不支持Host Writeback操作

HDM：Host-managedDevice Memory：設(shè)備上的內(nèi)存資源，該資源被映射在Host緩存一致性地址空間，該資源支持Host Writeback操作，包括HDM-D，HDM-H以及HDM-DB三種類型

HDM-D：HDM-DeviceCoherent：該內(nèi)存可被CXL.cache或類似語義進(jìn)行管理

HDM-H：HDM-Host OnlyCoherent：該內(nèi)存只被Host使用并管理

HDM-DB：HDM-DeviceCoherent with Back-Invalidate：該內(nèi)存被共享給了多個(gè)Host，并通過CXL.mem的Back-Invalidate通道進(jìn)行緩存一致性維護(hù)

L/S：Load/Store：處理器對(duì)內(nèi)存空間的訪問操作，可操作實(shí)際內(nèi)存，設(shè)備配置空間（MMCFG），設(shè)備資源空間（MMIO）等。

References：

PCIExpress Base Specification Revision 6.2

CXL_3.1Specification Release_FINAL.pdf

InfiniBand_Architecture_Specification_Volume_1_R1.7

審核編輯：黃飛