“ 本文的參考文章是2022年HOT 34上Intel Rob Blakenship關(guān)于CXL緩存一致性的一篇介紹?！?/p>

馮諾依曼說，數(shù)據(jù)應(yīng)該存在這里，這里變成了存儲器；

馮諾依曼說，數(shù)據(jù)應(yīng)該在這里被計算，這里變成了CPU；

馮諾依曼沒有說，CPU太快而存儲太慢。CPU沒有辦法只能把一部分?jǐn)?shù)據(jù)留在身邊，慢慢地就成了各級緩存。每個CPU都留了一部分?jǐn)?shù)據(jù)在身邊，就得維護這些數(shù)據(jù)和內(nèi)存的一致性。

（有時間可以再聊聊拜占庭將軍問題和共識機制，又要分布式的好，還有集中式的一致性，有點類似。）

1緩存/caching

緩存就是臨時把數(shù)據(jù)存在靠近數(shù)據(jù)要消費的地方。

放數(shù)據(jù)的地方有不同的級別，不同級別的延時和帶寬都不一樣，因此就會有預(yù)取。更詳細(xì)的硬件預(yù)取器的文章可以參考以下幾篇拙作。

預(yù)取就是在數(shù)據(jù)真正需求之前把數(shù)據(jù)取回來。既然可以預(yù)取就說明數(shù)據(jù)具有兩個性質(zhì)：

空間局部性：一般來說需求的數(shù)據(jù)在之前的數(shù)據(jù)附近

時間局部性：一般來說需求的數(shù)據(jù)總是之前用過的

現(xiàn)代CPU一般都會有多級的緩存，并且他們都可以保持緩存一致。

L1：空間最小，延時最低，帶寬最高

L3：空間更大，延時更高，帶寬較低，并且支持多個數(shù)據(jù)需求來源

那么如何保證緩存一致性呢？

首先需要在更新緩存之前，確保使得其他人擁有的該緩存無效。

這可以通過軟件的手段，也可以通過硬件的手段。CXL使用硬件一致性。

CXL和CPU的緩存一致性協(xié)議相同，都是基于以下幾個狀態(tài)：

Modified：該數(shù)據(jù)只被緩存到一個cache中，可讀可寫，但是還沒有更新到內(nèi)存中；

Exclusive：該數(shù)據(jù)只被緩存到一個cache中，可讀可寫，數(shù)據(jù)與內(nèi)存同步；

Shared：該數(shù)據(jù)被緩存到多個cache中，可讀，數(shù)據(jù)與內(nèi)存同步；

Invalid：該數(shù)據(jù)沒有被緩存；

2緩存的家 Home

內(nèi)存以64Byte為單位分好，這一份就是一個cacheline。

系統(tǒng)通過物理地址把這些單位都安排好，然后交給Home Agent來管理，有且僅有一個。

也就是說一個cacheline，只有一個家，例如在兩路系統(tǒng)中，要么是CPU0，要么是CPU1。

比如說，你要讀一個cacheline，你會首先在本地的cache里找，如果沒有的話，你就會去找它的家。也就是Home Agent會去問其他的CPU是不是有這個緩存。

如果你要寫一個cacheline，你也需要找它的家，獲取寫權(quán)限，然后讓Home Agent告訴其他的CPU放棄該cacheline，當(dāng)然在放棄之前，需要把最新的數(shù)據(jù)回寫給Home Agent。

Home Agent怎么問其他CPU，或者修改cacheline的狀態(tài)呢？這個就是Snoop消息。

3CXL 緩存協(xié)議

為支持設(shè)備訪問系統(tǒng)主存，cxl.cache有15個讀寫操作指令。

CXL3.0開始，每一個端口可以最多支持16個緩存設(shè)備，而在此之前，只能支持一個。

在CPU和CXL設(shè)備之間，有兩個通訊方向，一個是H2D，一個是D2H。

顧名思義，host和device 的兩個方向。而每個方向分成三個通道/channel，分別為請求，響應(yīng)和數(shù)據(jù)通道。

4舉個栗子

Device首先發(fā)一個RdShared：Read Cacheline Share State。設(shè)備獲取了某個cacheline并且獲得S-state，然后host返回Go-S。表示Home Agent同意了這個請求，并且該設(shè)備的cacheline變成了Shared state。

看看就好，不能動手。

這里的peer cache可以是各種鄰居：

CXL的鄰居設(shè)備；

本CPU中的cache；

遠端CPU中的cache；

而這里的內(nèi)存控制器也可以是各種內(nèi)存：

本CPU的傳統(tǒng)DDR；

遠端CPU的傳統(tǒng)DDR；

鄰居CXL設(shè)備上的CXL.mem；

CXL的15個request，就不再一一解釋，露個臉：

Reads: RdShared, RdCurr, RdOwn, RdAny

Read-0: RdownNoData, CLFlush, CacheFlushed

Writes: DirtyEvict, CleanEvict, CleanEvictNoData

Streaming Writes: ItoMWr, WrCur, WOWrInv, WrInv(F)

5內(nèi)存池化和共享

池化內(nèi)存和CXL switch是CXL增加的內(nèi)容，這使得從host到內(nèi)存的專屬分配成為共享內(nèi)存的一種方式。

CXL3增加了多個host共享內(nèi)存的支持，利用HDM-DB。

先寫到這里，緩存一致性的具體流程不再詳細(xì)解釋，細(xì)心一點的朋友可以多找?guī)讉€例子，按照圖示和步驟對照一下。

審核編輯：湯梓紅