1. 詳解內(nèi)存映射系統(tǒng)調(diào)用 mmap

#include
void*mmap(void*addr,size_tlength,intprot,intflags,intfd,off_toffset);

//內(nèi)核文件：/arch/x86/kernel/sys_x86_64.c
SYSCALL_DEFINE6(mmap,unsignedlong,addr,unsignedlong,len,
unsignedlong,prot,unsignedlong,flags,
unsignedlong,fd,unsignedlong,off)

mmap 內(nèi)存映射里所謂的內(nèi)存其實指的是虛擬內(nèi)存，在調(diào)用 mmap 進(jìn)行匿名映射的時候（比如進(jìn)行堆內(nèi)存的分配），是將進(jìn)程虛擬內(nèi)存空間中的某一段虛擬內(nèi)存區(qū)域與物理內(nèi)存中的匿名內(nèi)存頁進(jìn)行映射，當(dāng)調(diào)用 mmap 進(jìn)行文件映射的時候，是將進(jìn)程虛擬內(nèi)存空間中的某一段虛擬內(nèi)存區(qū)域與磁盤中某個文件中的某段區(qū)域進(jìn)行映射。

而用于內(nèi)存映射所消耗的這些虛擬內(nèi)存位于進(jìn)程虛擬內(nèi)存空間的哪里呢 ？

筆者在之前的文章《一步一圖帶你深入理解 Linux 虛擬內(nèi)存管理》 中曾為大家詳細(xì)介紹過進(jìn)程虛擬內(nèi)存空間的布局，在進(jìn)程虛擬內(nèi)存空間的布局中，有一段叫做文件映射與匿名映射區(qū)的虛擬內(nèi)存區(qū)域，當(dāng)我們在用戶態(tài)應(yīng)用程序中調(diào)用 mmap 進(jìn)行內(nèi)存映射的時候，所需要的虛擬內(nèi)存就是在這個區(qū)域中劃分出來的。

在文件映射與匿名映射這段虛擬內(nèi)存區(qū)域中，包含了一段一段的虛擬映射區(qū)，每當(dāng)我們調(diào)用一次 mmap 進(jìn)行內(nèi)存映射的時候，內(nèi)核都會在文件映射與匿名映射區(qū)中劃分出一段虛擬映射區(qū)出來，這段虛擬映射區(qū)就是我們申請到的虛擬內(nèi)存。

那么我們申請的這塊虛擬內(nèi)存到底有多大呢 ？這就用到了 mmap 系統(tǒng)調(diào)用的前兩個參數(shù)：

addr ： 表示我們要映射的這段虛擬內(nèi)存區(qū)域在進(jìn)程虛擬內(nèi)存空間中的起始地址（虛擬內(nèi)存地址），但是這個參數(shù)只是給內(nèi)核的一個暗示，內(nèi)核并非一定得從我們指定的 addr 虛擬內(nèi)存地址上劃分虛擬內(nèi)存區(qū)域，內(nèi)核只不過在劃分虛擬內(nèi)存區(qū)域的時候會優(yōu)先考慮我們指定的 addr，如果這個虛擬地址已經(jīng)被使用或者是一個無效的地址，那么內(nèi)核則會自動選取一個合適的地址來劃分虛擬內(nèi)存區(qū)域。我們一般會將 addr 設(shè)置為 NULL，意思就是完全交由內(nèi)核來幫我們決定虛擬映射區(qū)的起始地址。

length ：從進(jìn)程虛擬內(nèi)存空間中的什么位置開始劃分虛擬內(nèi)存區(qū)域的問題解決了，那么我們要申請的這段虛擬內(nèi)存有多大呢 ？ 這個就是 length 參數(shù)的作用了，如果是匿名映射，length 參數(shù)決定了我們要映射的匿名物理內(nèi)存有多大，如果是文件映射，length 參數(shù)決定了我們要映射的文件區(qū)域有多大。

addr，length 必須要按照 PAGE_SIZE（4K） 對齊。

如果我們通過 mmap 映射的是磁盤上的一個文件，那么就需要通過參數(shù) fd 來指定要映射文件的描述符（file descriptor），通過參數(shù) offset 來指定文件映射區(qū)域在文件中偏移。

在內(nèi)存管理系統(tǒng)中，物理內(nèi)存是按照內(nèi)存頁為單位組織的，在文件系統(tǒng)中，磁盤中的文件是按照磁盤塊為單位組織的，內(nèi)存頁和磁盤塊大小一般情況下都是 4K 大小，所以這里的 offset 也必須是按照 4K 對齊的。

而在文件映射與匿名映射區(qū)中的這一段一段的虛擬映射區(qū)，其實本質(zhì)上也是虛擬內(nèi)存區(qū)域，它們和進(jìn)程虛擬內(nèi)存空間中的代碼段，數(shù)據(jù)段，BSS 段，堆，棧沒有任何區(qū)別，在內(nèi)核中都是 struct vm_area_struct 結(jié)構(gòu)來表示的，下面我們把進(jìn)程空間中的這些虛擬內(nèi)存區(qū)域統(tǒng)稱為 VMA。

進(jìn)程虛擬內(nèi)存空間中的所有 VMA 在內(nèi)核中有兩種組織形式：一種是雙向鏈表，用于高效的遍歷進(jìn)程 VMA，這個 VMA 雙向鏈表是有順序的，所有 VMA 節(jié)點在雙向鏈表中的排列順序是按照虛擬內(nèi)存低地址到高地址進(jìn)行的。

另一種則是用紅黑樹進(jìn)行組織，用于在進(jìn)程空間中高效的查找 VMA，因為在進(jìn)程虛擬內(nèi)存空間中不僅僅是只有代碼段，數(shù)據(jù)段，BSS 段，堆，棧這些虛擬內(nèi)存區(qū)域 VMA，尤其是在數(shù)據(jù)密集型應(yīng)用進(jìn)程中，文件映射與匿名映射區(qū)里也會包含有大量的 VMA，進(jìn)程的各種動態(tài)鏈接庫所映射的虛擬內(nèi)存在這里，進(jìn)程運行過程中進(jìn)行的匿名映射，文件映射所需要的虛擬內(nèi)存也在這里。而內(nèi)核需要頻繁地對進(jìn)程虛擬內(nèi)存空間中的這些眾多 VMA 進(jìn)行增，刪，改，查。所以需要這么一個紅黑樹結(jié)構(gòu)，方便內(nèi)核進(jìn)行高效的查找。

//進(jìn)程虛擬內(nèi)存空間描述符
structmm_struct{
//串聯(lián)組織進(jìn)程空間中所有的VMA的雙向鏈表
structvm_area_struct*mmap;/*listofVMAs*/
//管理進(jìn)程空間中所有VMA的紅黑樹
structrb_rootmm_rb;
}

//虛擬內(nèi)存區(qū)域描述符
structvm_area_struct{
//vma在mm_struct->mmap雙向鏈表中的前驅(qū)節(jié)點和后繼節(jié)點
structvm_area_struct*vm_next,*vm_prev;
//vma在mm_struct->mm_rb紅黑樹中的節(jié)點
structrb_nodevm_rb;
}

上圖中的文件映射與匿名映射區(qū)里邊其實包含了大量的 VMA，這里只是為了清晰的給大家展示虛擬內(nèi)存在內(nèi)核中的組織結(jié)構(gòu)，所以只畫了一個大的 VMA 來表示文件映射與匿名映射區(qū)，這一點大家需要知道。

mmap 系統(tǒng)調(diào)用的本質(zhì)是首先要在進(jìn)程虛擬內(nèi)存空間里的文件映射與匿名映射區(qū)中劃分出一段虛擬內(nèi)存區(qū)域 VMA 出來 ，這段 VMA 區(qū)域的大小用 vm_start，vm_end 來表示，它們由 mmap 系統(tǒng)調(diào)用參數(shù) addr，length 決定。

structvm_area_struct{
unsignedlongvm_start;/*Ourstartaddresswithinvm_mm.*/
unsignedlongvm_end;/*Thefirstbyteafterourendaddress*/
}

隨后內(nèi)核會對這段 VMA 進(jìn)行相關(guān)的映射，如果是文件映射的話，內(nèi)核會將我們要映射的文件，以及要映射的文件區(qū)域在文件中的 offset，與 VMA 結(jié)構(gòu)中的 vm_file，vm_pgoff 關(guān)聯(lián)映射起來，它們由 mmap 系統(tǒng)調(diào)用參數(shù) fd，offset 決定。

structvm_area_struct{
structfile*vm_file;/*Filewemapto(canbeNULL).*/
unsignedlongvm_pgoff;/*Offset(withinvm_file)inPAGE_SIZE*/
}

另外由 mmap 在文件映射與匿名映射區(qū)中映射出來的這一段虛擬內(nèi)存區(qū)域同進(jìn)程虛擬內(nèi)存空間中的其他虛擬內(nèi)存區(qū)域一樣，也都是有權(quán)限控制的。

比如上圖進(jìn)程虛擬內(nèi)存空間中的代碼段，它是與磁盤上 ELF 格式可執(zhí)行文件中的 .text section（磁盤文件中各個區(qū)域的單元組織結(jié)構(gòu)）進(jìn)行映射的，存放的是程序執(zhí)行的機(jī)器碼，所以在可執(zhí)行文件與進(jìn)程虛擬內(nèi)存空間進(jìn)行文件映射的時候，需要指定代碼段這個虛擬內(nèi)存區(qū)域的權(quán)限為可讀（VM_READ），可執(zhí)行的（VM_EXEC）。

數(shù)據(jù)段也是通過文件映射進(jìn)來的，內(nèi)核會將磁盤上 ELF 格式可執(zhí)行文件中的 .data section 與數(shù)據(jù)段映射起來，在映射的時候需要指定數(shù)據(jù)段這個虛擬內(nèi)存區(qū)域的權(quán)限為可讀（VM_READ），可寫（VM_WRITE）。

與代碼段和數(shù)據(jù)段不同的是，BSS段，堆，棧這些虛擬內(nèi)存區(qū)域并不是從磁盤二進(jìn)制可執(zhí)行文件中加載的，它們是通過匿名映射的方式映射到進(jìn)程虛擬內(nèi)存空間的。

BSS 段中存放的是程序未初始化的全局變量，這段虛擬內(nèi)存區(qū)域的權(quán)限是可讀（VM_READ），可寫（VM_WRITE）。

堆是用來描述進(jìn)程在運行期間動態(tài)申請的虛擬內(nèi)存區(qū)域的，所以堆也會具有可讀（VM_READ），可寫（VM_WRITE）權(quán)限，在有些情況下，堆也具有可執(zhí)行（VM_EXEC）的權(quán)限，比如 Java 中的字節(jié)碼存儲在堆中，所以需要可執(zhí)行權(quán)限。

棧是用來保存進(jìn)程運行時的命令行參，環(huán)境變量，以及函數(shù)調(diào)用過程中產(chǎn)生的棧幀的，棧一般擁有可讀（VM_READ），可寫（VM_WRITE）的權(quán)限，但是也可以設(shè)置可執(zhí)行（VM_EXEC）權(quán)限，不過出于安全的考慮，很少這么設(shè)置。

而在文件映射與匿名映射區(qū)中的情況就變得更加復(fù)雜了，因為文件映射與匿名映射區(qū)里包含了數(shù)量眾多的 VMA，尤其是在數(shù)據(jù)密集型應(yīng)用進(jìn)程里更是如此，我們每調(diào)用一次 mmap ，無論是匿名映射也好還是文件映射也好，都會在文件映射與匿名映射區(qū)里產(chǎn)生一個 VMA，而通過 mmap 映射出的這段 VMA 中的相關(guān)權(quán)限和標(biāo)志位，是由 mmap 系統(tǒng)調(diào)用參數(shù)里的 prot，flags 決定的，最終會映射到虛擬內(nèi)存區(qū)域 VMA 結(jié)構(gòu)中的 vm_page_prot，vm_flags 屬性中，指定進(jìn)程對這塊虛擬內(nèi)存區(qū)域的訪問權(quán)限和相關(guān)標(biāo)志位。

除此之外，進(jìn)程運行過程中所依賴的動態(tài)鏈接庫 .so 文件，也是通過文件映射的方式將動態(tài)鏈接庫中的代碼段，數(shù)據(jù)段映射進(jìn)文件映射與匿名映射區(qū)中。

structvm_area_struct{
/*
*AccesspermissionsofthisVMA.
*/
pgprot_tvm_page_prot;
unsignedlongvm_flags;
}

我們可以通過 mmap 系統(tǒng)調(diào)用中的參數(shù) prot 來指定其在進(jìn)程虛擬內(nèi)存空間中映射出的這段虛擬內(nèi)存區(qū)域 VMA 的訪問權(quán)限，它的取值有如下四種：

#definePROT_READ0x1/*pagecanberead*/
#definePROT_WRITE0x2/*pagecanbewritten*/
#definePROT_EXEC0x4/*pagecanbeexecuted*/
#definePROT_NONE0x0/*pagecannotbeaccessed*/

PROT_READ 表示該虛擬內(nèi)存區(qū)域背后映射的物理內(nèi)存是可讀的。

PROT_WRITE 表示該虛擬內(nèi)存區(qū)域背后映射的物理內(nèi)存是可寫的。

PROT_EXEC 表示該虛擬內(nèi)存區(qū)域背后映射的物理內(nèi)存所存儲的內(nèi)容是可以被執(zhí)行的，該內(nèi)存區(qū)域內(nèi)往往存儲的是執(zhí)行程序的機(jī)器碼，比如進(jìn)程虛擬內(nèi)存空間中的代碼段，以及動態(tài)鏈接庫通過文件映射的方式加載進(jìn)文件映射與匿名映射區(qū)里的代碼段，這些 VMA 的權(quán)限就是 PROT_EXEC 。

PROT_NONE 表示這段虛擬內(nèi)存區(qū)域是不能被訪問的，既不可讀寫，也不可執(zhí)行。用于實現(xiàn)防范攻擊的 guard page。如果攻擊者訪問了某個 guard page，就會觸發(fā) SIGSEV 段錯誤。除此之外，指定 PROT_NONE 還可以為進(jìn)程預(yù)先保留這部分虛擬內(nèi)存區(qū)域，雖然不能被訪問，但是當(dāng)后面進(jìn)程需要的時候，可以通過 mprotect 系統(tǒng)調(diào)用修改這部分虛擬內(nèi)存區(qū)域的權(quán)限。

mprotect 系統(tǒng)調(diào)用可以動態(tài)修改進(jìn)程虛擬內(nèi)存空間中任意一段虛擬內(nèi)存區(qū)域的權(quán)限。

我們除了要為 mmap 映射出的這段虛擬內(nèi)存區(qū)域 VMA 指定訪問權(quán)限之外，還需要為這段映射區(qū)域 VMA 指定映射方式，VMA 的映射方式由 mmap 系統(tǒng)調(diào)用參數(shù) flags 決定。內(nèi)核為 flags 定義了數(shù)量眾多的枚舉值，下面筆者將一些非常重要且核心的枚舉值為大家挑選出來并解釋下它們的含義：

#defineMAP_FIXED0x10/*Interpretaddrexactly*/
#defineMAP_ANONYMOUS0x20/*don'tuseafile*/

#defineMAP_SHARED0x01/*Sharechanges*/
#defineMAP_PRIVATE0x02/*Changesareprivate*/

前邊我們介紹了 mmap 系統(tǒng)調(diào)用的 addr 參數(shù)，這個參數(shù)只是我們給內(nèi)核的一個暗示并非是強制性的，表示我們希望內(nèi)核可以根據(jù)我們指定的虛擬內(nèi)存地址 addr 處開始創(chuàng)建虛擬內(nèi)存映射區(qū)域 VMA。

但如果我們指定的 addr 是一個非法地址，比如 [addr , addr + length] 這段虛擬內(nèi)存地址已經(jīng)存在映射關(guān)系了，那么內(nèi)核就會自動幫我們選取一個合適的虛擬內(nèi)存地址開始映射，但是當(dāng)我們在 mmap 系統(tǒng)調(diào)用的參數(shù) flags 中指定了 MAP_FIXED, 這時參數(shù) addr 就變成強制要求了，如果 [addr , addr + length] 這段虛擬內(nèi)存地址已經(jīng)存在映射關(guān)系了，那么內(nèi)核就會將這段映射關(guān)系 unmmap 解除掉映射，然后重新根據(jù)我們的要求進(jìn)行映射，如果 addr 是一個非法地址，內(nèi)核就會報錯停止映射。

操作系統(tǒng)對于物理內(nèi)存的管理是按照內(nèi)存頁為單位進(jìn)行的，而內(nèi)存頁的類型有兩種：一種是匿名頁，另一種是文件頁。根據(jù)內(nèi)存頁類型的不同，內(nèi)存映射也自然分為兩種：一種是虛擬內(nèi)存對匿名物理內(nèi)存頁的映射，另一種是虛擬內(nèi)存對文件頁的也映射，也就是我們常提到的匿名映射和文件映射。

當(dāng)我們將 mmap 系統(tǒng)調(diào)用參數(shù) flags 指定為 MAP_ANONYMOUS 時，表示我們需要進(jìn)行匿名映射，既然是匿名映射，fd 和 offset 這兩個參數(shù)也就沒有了意義，fd 參數(shù)需要被設(shè)置為 -1 。當(dāng)我們進(jìn)行文件映射的時候，只需要指定 fd 和 offset 參數(shù)就可以了。

而根據(jù) mmap 創(chuàng)建出的這片虛擬內(nèi)存區(qū)域背后所映射的物理內(nèi)存能否在多進(jìn)程之間共享，又分為了兩種內(nèi)存映射方式：

MAP_SHARED 表示共享映射，通過 mmap 映射出的這片內(nèi)存區(qū)域在多進(jìn)程之間是共享的，一個進(jìn)程修改了共享映射的內(nèi)存區(qū)域，其他進(jìn)程是可以看到的，用于多進(jìn)程之間的通信。

MAP_PRIVATE 表示私有映射，通過 mmap 映射出的這片內(nèi)存區(qū)域是進(jìn)程私有的，其他進(jìn)程是看不到的。如果是私有文件映射，那么多進(jìn)程針對同一映射文件的修改將不會回寫到磁盤文件上

這里介紹的這些 flags 參數(shù)枚舉值是可以相互組合的，我們可以通過這些枚舉值組合出如下幾種內(nèi)存映射方式。

2. 私有匿名映射

MAP_PRIVATE | MAP_ANONYMOUS 表示私有匿名映射，我們常常利用這種映射方式來申請?zhí)摂M內(nèi)存，比如，我們使用 glibc 庫里封裝的 malloc 函數(shù)進(jìn)行虛擬內(nèi)存申請時，當(dāng)申請的內(nèi)存大于 128K 的時候，malloc 就會調(diào)用 mmap 采用私有匿名映射的方式來申請堆內(nèi)存。因為它是私有的，所以申請到的內(nèi)存是進(jìn)程獨占的，多進(jìn)程之間不能共享。

這里需要特別強調(diào)一下 mmap 私有匿名映射申請到的只是虛擬內(nèi)存，內(nèi)核只是在進(jìn)程虛擬內(nèi)存空間中劃分一段虛擬內(nèi)存區(qū)域 VMA 出來，并將 VMA 該初始化的屬性初始化好，mmap 系統(tǒng)調(diào)用就結(jié)束了。這里和物理內(nèi)存還沒有發(fā)生任何關(guān)系。在后面的章節(jié)中大家將會看到這個過程。

當(dāng)進(jìn)程開始訪問這段虛擬內(nèi)存區(qū)域時，發(fā)現(xiàn)這段虛擬內(nèi)存區(qū)域背后沒有任何物理內(nèi)存與其關(guān)聯(lián)，體現(xiàn)在內(nèi)核中就是這段虛擬內(nèi)存地址在頁表中的 PTE 項是空的。

或者 PTE 中的 P 位為 0 ，這些都是表示虛擬內(nèi)存還未與物理內(nèi)存進(jìn)行映射。

關(guān)于頁表相關(guān)的知識，不熟悉的讀者可以回顧下筆者之前的文章 《一步一圖帶你構(gòu)建 Linux 頁表體系》

這時 MMU 就會觸發(fā)缺頁異常（page fault），這里的缺頁指的就是缺少物理內(nèi)存頁，隨后進(jìn)程就會切換到內(nèi)核態(tài)，在內(nèi)核缺頁中斷處理程序中，為這段虛擬內(nèi)存區(qū)域分配對應(yīng)大小的物理內(nèi)存頁，隨后將物理內(nèi)存頁中的內(nèi)容全部初始化為 0 ，最后在頁表中建立虛擬內(nèi)存與物理內(nèi)存的映射關(guān)系，缺頁異常處理結(jié)束。

當(dāng)缺頁處理程序返回時，CPU 會重新啟動引起本次缺頁異常的訪存指令，這時 MMU 就可以正常翻譯出物理內(nèi)存地址了。

mmap 的私有匿名映射除了用于為進(jìn)程申請?zhí)摂M內(nèi)存之外，還會應(yīng)用在 execve 系統(tǒng)調(diào)用中，execve 用于在當(dāng)前進(jìn)程中加載并執(zhí)行一個新的二進(jìn)制執(zhí)行文件：

#include

intexecve(constchar*filename,constchar*argv[],constchar*envp[])

參數(shù) filename 指定新的可執(zhí)行文件的文件名，argv 用于傳遞新程序的命令行參數(shù)，envp 用來傳遞環(huán)境變量。

既然是在當(dāng)前進(jìn)程中重新執(zhí)行一個程序，那么當(dāng)前進(jìn)程的用戶態(tài)虛擬內(nèi)存空間就沒有用了，內(nèi)核需要根據(jù)這個可執(zhí)行文件重新映射進(jìn)程的虛擬內(nèi)存空間。

既然現(xiàn)在要重新映射進(jìn)程虛擬內(nèi)存空間，內(nèi)核首先要做的就是刪除釋放舊的虛擬內(nèi)存空間，并清空進(jìn)程頁表。然后根據(jù) filename 打開可執(zhí)行文件，并解析文件頭，判斷可執(zhí)行文件的格式，不同的文件格式需要不同的函數(shù)進(jìn)行加載。

linux 中支持多種可執(zhí)行文件格式，比如，elf 格式，a.out 格式。內(nèi)核中使用 struct linux_binfmt 結(jié)構(gòu)來描述可執(zhí)行文件，里邊定義了用于加載可執(zhí)行文件的函數(shù)指針 load_binary，加載動態(tài)鏈接庫的函數(shù)指針 load_shlib，不同文件格式指向不同的加載函數(shù)：

staticstructlinux_binfmtelf_format={
.module=THIS_MODULE,
.load_binary=load_elf_binary,
.load_shlib=load_elf_library,
.core_dump=elf_core_dump,
.min_coredump=ELF_EXEC_PAGESIZE,
};

staticstructlinux_binfmtaout_format={
.module=THIS_MODULE,
.load_binary=load_aout_binary,
.load_shlib=load_aout_library,
};

在 load_binary 中會解析對應(yīng)格式的可執(zhí)行文件，并根據(jù)文件內(nèi)容重新映射進(jìn)程的虛擬內(nèi)存空間。比如，虛擬內(nèi)存空間中的 BSS 段，堆，棧這些內(nèi)存區(qū)域中的內(nèi)容不依賴于可執(zhí)行文件，所以在 load_binary 中采用私有匿名映射的方式來創(chuàng)建新的虛擬內(nèi)存空間中的 BSS 段，堆，棧。

BSS 段雖然定義在可執(zhí)行二進(jìn)制文件中，不過只是在文件中記錄了 BSS 段的長度，并沒有相關(guān)內(nèi)容關(guān)聯(lián)，所以 BSS 段也會采用私有匿名映射的方式加載到進(jìn)程虛擬內(nèi)存空間中。

3. 私有文件映射

#include
void*mmap(void*addr,size_tlength,intprot,intflags,intfd,off_toffset);

我們在調(diào)用 mmap 進(jìn)行內(nèi)存文件映射的時候可以通過指定參數(shù) flags 為 MAP_PRIVATE，然后將參數(shù) fd 指定為要映射文件的文件描述符（file descriptor）來實現(xiàn)對文件的私有映射。

假設(shè)現(xiàn)在磁盤上有一個名叫 file-read-write.txt 的磁盤文件，現(xiàn)在多個進(jìn)程采用私有文件映射的方式，從文件 offset 偏移處開始，映射 length 長度的文件內(nèi)容到各個進(jìn)程的虛擬內(nèi)存空間中，調(diào)用完 mmap 之后，相關(guān)內(nèi)存映射內(nèi)核數(shù)據(jù)結(jié)構(gòu)關(guān)系如下圖所示：

為了方便描述，我們指定映射長度 length 為 4K 大小，因為文件系統(tǒng)中的磁盤塊大小為 4K ，映射到內(nèi)存中的內(nèi)存頁剛好也是 4K 。

當(dāng)進(jìn)程打開一個文件的時候，內(nèi)核會為其創(chuàng)建一個 struct file 結(jié)構(gòu)來描述被打開的文件，并在進(jìn)程文件描述符列表 fd_array 數(shù)組中找到一個空閑位置分配給它，數(shù)組中對應(yīng)的下標(biāo)，就是我們在用戶空間用到的文件描述符。

而 struct file 結(jié)構(gòu)是和進(jìn)程相關(guān)的（ fd 的作用域也是和進(jìn)程相關(guān)的），即使多個進(jìn)程打開同一個文件，那么內(nèi)核會為每一個進(jìn)程創(chuàng)建一個 struct file 結(jié)構(gòu)，如上圖中所示，進(jìn)程 1 和 進(jìn)程 2 都打開了同一個 file-read-write.txt 文件，那么內(nèi)核會為進(jìn)程 1 創(chuàng)建一個 struct file 結(jié)構(gòu)，也會為進(jìn)程 2 創(chuàng)建一個 struct file 結(jié)構(gòu)。

每一個磁盤上的文件在內(nèi)核中都會有一個唯一的 struct inode 結(jié)構(gòu)，inode 結(jié)構(gòu)和進(jìn)程是沒有關(guān)系的，一個文件在內(nèi)核中只對應(yīng)一個 inode，inode 結(jié)構(gòu)用于描述文件的元信息，比如，文件的權(quán)限，文件中包含多少個磁盤塊，每個磁盤塊位于磁盤中的什么位置等等。

//ext4文件系統(tǒng)中的inode結(jié)構(gòu)
structext4_inode{
//文件權(quán)限
__le16i_mode;/*Filemode*/
//文件包含磁盤塊的個數(shù)
__le32i_blocks_lo;/*Blockscount*/
//存放文件包含的磁盤塊
__le32i_block[EXT4_N_BLOCKS];/*Pointerstoblocks*/
};

那么什么是磁盤塊呢 ？我們可以類比內(nèi)存管理系統(tǒng)，Linux 是按照內(nèi)存頁為單位來對物理內(nèi)存進(jìn)行管理和調(diào)度的，在文件系統(tǒng)中，Linux 是按照磁盤塊為單位對磁盤中的數(shù)據(jù)進(jìn)行管理的，它們的大小均是 4K 。

如下圖所示，磁盤盤面上一圈一圈的同心圓叫做磁道，磁盤上存儲的數(shù)據(jù)就是沿著磁道的軌跡存放著，隨著磁盤的旋轉(zhuǎn)，磁頭在磁道上讀寫硬盤中的數(shù)據(jù)。而在每個磁盤上，會進(jìn)一步被劃分成多個大小相等的圓弧，這個圓弧就叫做扇區(qū)，磁盤會以扇區(qū)為單位進(jìn)行數(shù)據(jù)的讀寫。每個扇區(qū)大小為 512 字節(jié)。

而在 Linux 的文件系統(tǒng)中是按照磁盤塊為單位對數(shù)據(jù)讀寫的，因為每個扇區(qū)大小為 512 字節(jié)，能夠存儲的數(shù)據(jù)比較小，而且扇區(qū)數(shù)量眾多，這樣在尋址的時候比較困難，Linux 文件系統(tǒng)將相鄰的扇區(qū)組合在一起，形成一個磁盤塊，后續(xù)針對磁盤塊整體進(jìn)行操作效率更高。

只要我們找到了文件中的磁盤塊，我們就可以尋址到文件在磁盤上的存儲內(nèi)容了，所以使用 mmap 進(jìn)行內(nèi)存文件映射的本質(zhì)就是建立起虛擬內(nèi)存區(qū)域 VMA 到文件磁盤塊之間的映射關(guān)系 。

調(diào)用 mmap 進(jìn)行內(nèi)存文件映射的時候，內(nèi)核首先會在進(jìn)程的虛擬內(nèi)存空間中創(chuàng)建一個新的虛擬內(nèi)存區(qū)域 VMA 用于映射文件，通過 vm_area_struct->vm_file 將映射文件的 struct flle 結(jié)構(gòu)與虛擬內(nèi)存映射關(guān)聯(lián)起來。

structvm_area_struct{
structfile*vm_file;/*Filewemapto(canbeNULL).*/
unsignedlongvm_pgoff;/*Offset(withinvm_file)inPAGE_SIZE*/
}

根據(jù) vm_file->f_inode 我們可以關(guān)聯(lián)到映射文件的 struct inode，近而關(guān)聯(lián)到映射文件在磁盤中的磁盤塊 i_block，這個就是 mmap 內(nèi)存文件映射最本質(zhì)的東西。

站在文件系統(tǒng)的視角，映射文件中的數(shù)據(jù)是按照磁盤塊來存儲的，讀寫文件數(shù)據(jù)也是按照磁盤塊為單位進(jìn)行的，磁盤塊大小為 4K，當(dāng)進(jìn)程讀取磁盤塊的內(nèi)容到內(nèi)存之后，站在內(nèi)存管理系統(tǒng)的視角，磁盤塊中的數(shù)據(jù)被 DMA 拷貝到了物理內(nèi)存頁中，這個物理內(nèi)存頁就是前面提到的文件頁。

根據(jù)程序的時間局部性原理我們知道，磁盤文件中的數(shù)據(jù)一旦被訪問，那么它很有可能在短期內(nèi)被再次訪問，所以為了加快進(jìn)程對文件數(shù)據(jù)的訪問，內(nèi)核會將已經(jīng)訪問過的磁盤塊緩存在文件頁中。

一個文件包含多個磁盤塊，當(dāng)它們被讀取到內(nèi)存之后，一個文件也就對應(yīng)了多個文件頁，這些文件頁在內(nèi)存中統(tǒng)一被一個叫做 page cache 的結(jié)構(gòu)所組織。

每一個文件在內(nèi)核中都會有一個唯一的 page cache 與之對應(yīng)，用于緩存文件中的數(shù)據(jù)，page cache 是和文件相關(guān)的，它和進(jìn)程是沒有關(guān)系的，多個進(jìn)程可以打開同一個文件，每個進(jìn)程中都有有一個 struct file 結(jié)構(gòu)來描述這個文件，但是一個文件在內(nèi)核中只會對應(yīng)一個 page cache。

文件的 struct inode 結(jié)構(gòu)中除了有磁盤塊的信息之外，還有指向文件 page cache 的 i_mapping 指針。

structinode{
structaddress_space*i_mapping;
}

page cache 在內(nèi)核中是使用 struct address_space 結(jié)構(gòu)來描述的：

structaddress_space{
//這里就是pagecache。里邊緩存了文件的所有緩存頁面
structradix_tree_rootpage_tree;
}

關(guān)于 page cache 的詳細(xì)介紹，感興趣的讀者可以回看下 《從 Linux 內(nèi)核角度探秘 JDK NIO 文件讀寫本質(zhì)》 一文中的 “5. 頁高速緩存 page cache” 小節(jié)。

當(dāng)我們理清了內(nèi)存系統(tǒng)和文件系統(tǒng)這些核心數(shù)據(jù)結(jié)構(gòu)之間的關(guān)聯(lián)關(guān)系之后，現(xiàn)在再來看，下面這幅 mmap 私有文件映射關(guān)系圖是不是清晰多了。

page cache 在內(nèi)核中是使用基樹 radix_tree 結(jié)構(gòu)來表示的，這里我們只需要知道文件頁是掛在 radix_tree 的葉子結(jié)點上，radix_tree 中的 root 節(jié)點和 node 節(jié)點是文件頁（葉子節(jié)點）的索引節(jié)點就可以了。

當(dāng)多個進(jìn)程調(diào)用 mmap 對磁盤上同一個文件進(jìn)行私有文件映射的時候，內(nèi)核只是在每個進(jìn)程的虛擬內(nèi)存空間中創(chuàng)建出一段虛擬內(nèi)存區(qū)域 VMA 出來，注意，此時內(nèi)核只是為進(jìn)程申請了用于映射的虛擬內(nèi)存，并將虛擬內(nèi)存與文件映射起來，mmap 系統(tǒng)調(diào)用就返回了，全程并沒有物理內(nèi)存的影子出現(xiàn)。文件的 page cache 也是空的，沒有包含任何的文件頁。

當(dāng)任意一個進(jìn)程，比如上圖中的進(jìn)程 1 開始訪問這段映射的虛擬內(nèi)存時，CPU 會把虛擬內(nèi)存地址送到 MMU 中進(jìn)行地址翻譯，因為 mmap 只是為進(jìn)程分配了虛擬內(nèi)存，并沒有分配物理內(nèi)存，所以這段映射的虛擬內(nèi)存在頁表中是沒有頁表項 PTE 的。

隨后 MMU 就會觸發(fā)缺頁異常（page fault），進(jìn)程切換到內(nèi)核態(tài)，在內(nèi)核缺頁中斷處理程序中會發(fā)現(xiàn)引起缺頁的這段 VMA 是私有文件映射的，所以內(nèi)核會首先通過 vm_area_struct->vm_pgoff 在文件 page cache 中查找是否有緩存相應(yīng)的文件頁（映射的磁盤塊對應(yīng)的文件頁）。

structvm_area_struct{
unsignedlongvm_pgoff;/*Offset(withinvm_file)inPAGE_SIZE*/
}

staticinlinestructpage*find_get_page(structaddress_space*mapping,
pgoff_toffset)
{
returnpagecache_get_page(mapping,offset,0,0);
}

如果文件頁不在 page cache 中，內(nèi)核則會在物理內(nèi)存中分配一個內(nèi)存頁，然后將新分配的內(nèi)存頁加入到 page cache 中，并增加頁引用計數(shù)。

隨后會通過 address_space_operations 重定義的 readpage 激活塊設(shè)備驅(qū)動從磁盤中讀取映射的文件內(nèi)容，然后將讀取到的內(nèi)容填充新分配的內(nèi)存頁。

staticconststructaddress_space_operationsext4_aops={
.readpage=ext4_readpage
}

現(xiàn)在文件中映射的內(nèi)容已經(jīng)加載進(jìn) page cache 了，此時物理內(nèi)存才正式登場，在缺頁中斷處理程序的最后一步，內(nèi)核會為映射的這段虛擬內(nèi)存在頁表中創(chuàng)建 PTE，然后將虛擬內(nèi)存與 page cache 中的文件頁通過 PTE 關(guān)聯(lián)起來，缺頁處理就結(jié)束了，但是由于我們指定的私有文件映射，所以 PTE 中文件頁的權(quán)限是只讀的。

當(dāng)內(nèi)核處理完缺頁中斷之后，mmap 私有文件映射在內(nèi)核中的關(guān)系圖就變成下面這樣：

此時進(jìn)程 1 中的頁表已經(jīng)建立起了虛擬內(nèi)存與文件頁的映射關(guān)系，進(jìn)程 1 再次訪問這段虛擬內(nèi)存的時候，其實就等于直接訪問文件的 page cache。整個過程是在用戶態(tài)進(jìn)行的，不需要切態(tài)。

現(xiàn)在我們在將視角切換到進(jìn)程 2 中，進(jìn)程 2 和進(jìn)程 1 一樣，都是采用 mmap 私有文件映射的方式映射到了同一個文件中，雖然現(xiàn)在已經(jīng)有了物理內(nèi)存了（通過進(jìn)程 1 的缺頁產(chǎn)生），但是目前還和進(jìn)程 2 沒有關(guān)系。

因為進(jìn)程 2 的虛擬內(nèi)存空間中這段映射的虛擬內(nèi)存區(qū)域 VMA，在進(jìn)程 2 的頁表中還沒有 PTE，所以當(dāng)進(jìn)程 2 訪問這段映射虛擬內(nèi)存時，同樣會產(chǎn)生缺頁中斷，隨后進(jìn)程 2 切換到內(nèi)核態(tài)，進(jìn)行缺頁處理，這里和進(jìn)程 1 不同的是，此時被映射的文件內(nèi)容已經(jīng)加載到 page cache 中了，進(jìn)程 2 只需要創(chuàng)建 PTE ,并將 page cache 中的文件頁與進(jìn)程 2 映射的這段虛擬內(nèi)存通過 PTE 關(guān)聯(lián)起來就可以了。同樣，因為采用私有文件映射的原因，進(jìn)程 2 的 PTE 也是只讀的。

現(xiàn)在進(jìn)程 1 和進(jìn)程 2 都可以根據(jù)各自虛擬內(nèi)存空間中映射的這段虛擬內(nèi)存對文件的 page cache 進(jìn)行讀取了，整個過程都發(fā)生在用戶態(tài)，不需要切態(tài)，更不需要拷貝，因為虛擬內(nèi)存現(xiàn)在已經(jīng)直接映射到 page cache 了。

雖然我們采用的是私有文件映射的方式，但是進(jìn)程 1 和進(jìn)程 2 如果只是對文件映射部分進(jìn)行讀取的話，文件頁其實在多進(jìn)程之間是共享的，整個內(nèi)核中只有一份。

但是當(dāng)任意一個進(jìn)程通過虛擬映射區(qū)對文件進(jìn)行寫入操作的時候，情況就發(fā)生了變化，雖然通過 mmap 映射的時候指定的這段虛擬內(nèi)存是可寫的，但是由于采用的是私有文件映射的方式，各個進(jìn)程頁表中對應(yīng) PTE 卻是只讀的，當(dāng)進(jìn)程對這段虛擬內(nèi)存進(jìn)行寫入的時候，MMU 會發(fā)現(xiàn) PTE 是只讀的，所以會產(chǎn)生一個寫保護(hù)類型的缺頁中斷，寫入進(jìn)程，比如是進(jìn)程 1，此時又會陷入到內(nèi)核態(tài)，在寫保護(hù)缺頁處理中，內(nèi)核會重新申請一個內(nèi)存頁，然后將 page cache 中的內(nèi)容拷貝到這個新的內(nèi)存頁中，進(jìn)程 1 頁表中對應(yīng)的 PTE 會重新關(guān)聯(lián)到這個新的內(nèi)存頁上，此時 PTE 的權(quán)限變?yōu)榭蓪憽?/p>

從此以后，進(jìn)程 1 對這段虛擬內(nèi)存區(qū)域進(jìn)行讀寫的時候就不會再發(fā)生缺頁了，讀寫操作都會發(fā)生在這個新申請的內(nèi)存頁上，但是有一點，進(jìn)程 1 對這個內(nèi)存頁的任何修改均不會回寫到磁盤文件上，這也體現(xiàn)了私有文件映射的特點，進(jìn)程對映射文件的修改，其他進(jìn)程是看不到的，并且修改不會同步回磁盤文件中。

進(jìn)程 2 對這段虛擬映射區(qū)進(jìn)行寫入的時候，也是一樣的道理，同樣會觸發(fā)寫保護(hù)類型的缺頁中斷，進(jìn)程 2 陷入內(nèi)核態(tài)，內(nèi)核為進(jìn)程 2 新申請一個物理內(nèi)存頁，并將 page cache 中的內(nèi)容拷貝到剛為進(jìn)程 2 申請的這個內(nèi)存頁中，進(jìn)程 2 頁表中對應(yīng)的 PTE 會重新關(guān)聯(lián)到新的內(nèi)存頁上， PTE 的權(quán)限變?yōu)榭蓪憽?/p>

這樣一來，進(jìn)程 1 和進(jìn)程 2 各自的這段虛擬映射區(qū)，就映射到了各自專屬的物理內(nèi)存頁上，而且這兩個內(nèi)存頁中的內(nèi)容均是文件中映射的部分，他們已經(jīng)和 page cache 脫離了。

進(jìn)程 1 和進(jìn)程 2 對各自虛擬內(nèi)存區(qū)的修改只能反應(yīng)到各自對應(yīng)的物理內(nèi)存頁上，而且各自的修改在進(jìn)程之間是互不可見的，最重要的一點是這些修改均不會回寫到磁盤文件中，這就是私有文件映射的核心特點。

我們可以利用 mmap 私有文件映射這個特點來加載二進(jìn)制可執(zhí)行文件的 .text , .data section 到進(jìn)程虛擬內(nèi)存空間中的代碼段和數(shù)據(jù)段中。

因為同一份代碼，也就是同一份二進(jìn)制可執(zhí)行文件可以運行多個進(jìn)程，而代碼段對于多進(jìn)程來說是只讀的，沒有必要為每個進(jìn)程都保存一份，多進(jìn)程之間共享這一份代碼就可以了，正好私有文件映射的讀共享特點可以滿足我們的這個需求。

對于數(shù)據(jù)段來說，雖然它是可寫的，但是我們需要的是多進(jìn)程之間對數(shù)據(jù)段的修改相互之間是不可見的，而且對數(shù)據(jù)段的修改不能回寫到磁盤上的二進(jìn)制文件中，這樣當(dāng)我們利用這個可執(zhí)行文件在啟動一個進(jìn)程的時候，進(jìn)程看到的就是數(shù)據(jù)段初始化未被修改的狀態(tài)。 mmap 私有文件映射的寫時復(fù)制（copy on write）以及修改不會回寫到映射文件中等特點正好也滿足我們的需求。

這一點我們可以在負(fù)責(zé)加載 elf 格式的二進(jìn)制可執(zhí)行文件并映射到進(jìn)程虛擬內(nèi)存空間的 load_elf_binary 函數(shù)，以及負(fù)責(zé)加載 a.out 格式可執(zhí)行文件的 load_aout_binary 函數(shù)中可以看出。

staticintload_elf_binary(structlinux_binprm*bprm)
{
//將二進(jìn)制文件中的.text.datasection私有映射到虛擬內(nèi)存空間中代碼段和數(shù)據(jù)段中
error=elf_map(bprm->file,load_bias+vaddr,elf_ppnt,
elf_prot,elf_flags,total_size);
}

staticintload_aout_binary(structlinux_binprm*bprm)
{
............省略.............
//將.text采用私有文件映射的方式映射到進(jìn)程虛擬內(nèi)存空間的代碼段
error=vm_mmap(bprm->file,N_TXTADDR(ex),ex.a_text,
PROT_READ|PROT_EXEC,
MAP_FIXED|MAP_PRIVATE|MAP_DENYWRITE|MAP_EXECUTABLE,
fd_offset);

//將.data采用私有文件映射的方式映射到進(jìn)程虛擬內(nèi)存空間的數(shù)據(jù)段
error=vm_mmap(bprm->file,N_DATADDR(ex),ex.a_data,
PROT_READ|PROT_WRITE|PROT_EXEC,
MAP_FIXED|MAP_PRIVATE|MAP_DENYWRITE|MAP_EXECUTABLE,
fd_offset+ex.a_text);

............省略.............
}

4. 共享文件映射

#include
void*mmap(void*addr,size_tlength,intprot,intflags,intfd,off_toffset);

我們通過將 mmap 系統(tǒng)調(diào)用中的 flags 參數(shù)指定為 MAP_SHARED , 參數(shù) fd 指定為要映射文件的文件描述符（file descriptor）來實現(xiàn)對文件的共享映射。

共享文件映射其實和私有文件映射前面的映射過程是一樣的，唯一不同的點在于私有文件映射是讀共享的，寫的時候會發(fā)生寫時復(fù)制（copy on write），并且多進(jìn)程針對同一映射文件的修改不會回寫到磁盤文件上。

而共享文件映射因為是共享的，多個進(jìn)程中的虛擬內(nèi)存映射區(qū)最終會通過缺頁中斷的方式映射到文件的 page cache 中，后續(xù)多個進(jìn)程對各自的這段虛擬內(nèi)存區(qū)域的讀寫都會直接發(fā)生在 page cache 上。

因為映射文件的 page cache 在內(nèi)核中只有一份，所以對于共享文件映射來說，多進(jìn)程讀寫都是共享的，由于多進(jìn)程直接讀寫的是 page cache ，所以多進(jìn)程對共享映射區(qū)的任何修改，最終都會通過內(nèi)核回寫線程 pdflush 刷新到磁盤文件中。

下面這幅是多進(jìn)程通過 mmap 共享文件映射之后的內(nèi)核數(shù)據(jù)結(jié)構(gòu)關(guān)系圖：

同私有文件映射方式一樣，當(dāng)多個進(jìn)程調(diào)用 mmap 對磁盤上的同一個文件進(jìn)行共享文件映射的時候，內(nèi)核中的處理都是一樣的，也都只是在每個進(jìn)程的虛擬內(nèi)存空間中，創(chuàng)建出一段用于共享映射的虛擬內(nèi)存區(qū)域 VMA 出來，隨后內(nèi)核會將各個進(jìn)程中的這段虛擬內(nèi)存映射區(qū)與映射文件關(guān)聯(lián)起來，mmap 共享文件映射的邏輯就結(jié)束了。

唯一不同的是，共享文件映射會在這段用于映射文件的 VMA 中標(biāo)注是共享映射 —— MAP_SHARED

structvm_area_struct{
//MAP_SHARED共享映射
unsignedlongvm_flags;
}

在 mmap 共享文件映射的過程中，內(nèi)核同樣不涉及任何的物理內(nèi)存分配，只是分配了一段虛擬內(nèi)存，在共享映射剛剛建立起來之后，文件對應(yīng)的 page cache 同樣是空的，沒有包含任何的文件頁。

由于 mmap 只是在各個進(jìn)程中分配了虛擬內(nèi)存，沒有分配物理內(nèi)存，所以在各個進(jìn)程的頁表中，這段用于文件映射的虛擬內(nèi)存區(qū)域?qū)?yīng)的頁表項 PTE 是空的，當(dāng)任意進(jìn)程對這段虛擬內(nèi)存進(jìn)行訪問的時候（讀或者寫），MMU 就會產(chǎn)生缺頁中斷，這里我們以上圖中的進(jìn)程 1 為例，隨后進(jìn)程 1 切換到內(nèi)核態(tài)，執(zhí)行內(nèi)核缺頁中斷處理程序。

同私有文件映射的缺頁處理一樣，內(nèi)核會首先通過 vm_area_struct->vm_pgoff 在文件 page cache 中查找是否有緩存相應(yīng)的文件頁（映射的磁盤塊對應(yīng)的文件頁）。如果文件頁不在 page cache 中，內(nèi)核則會在物理內(nèi)存中分配一個內(nèi)存頁，然后將新分配的內(nèi)存頁加入到 page cache 中。

然后調(diào)用 readpage 激活塊設(shè)備驅(qū)動從磁盤中讀取映射的文件內(nèi)容，用讀取到的內(nèi)容填充新分配的內(nèi)存頁，現(xiàn)在物理內(nèi)存有了，最后一步就是在進(jìn)程 1 的頁表中建立共享映射的這段虛擬內(nèi)存與 page cache 中緩存的文件頁之間的關(guān)聯(lián)。

這里和私有文件映射不同的地方是，私有文件映射由于是私有的，所以在內(nèi)核創(chuàng)建 PTE 的時候會將 PTE 設(shè)置為只讀，目的是當(dāng)進(jìn)程寫入的時候觸發(fā)寫保護(hù)類型的缺頁中斷進(jìn)行寫時復(fù)制 （copy on write）。

共享文件映射由于是共享的，PTE 被創(chuàng)建出來的時候就是可寫的，所以后續(xù)進(jìn)程 1 在對這段虛擬內(nèi)存區(qū)域?qū)懭氲臅r候不會觸發(fā)缺頁中斷，而是直接寫入 page cache 中，整個過程沒有切態(tài)，沒有數(shù)據(jù)拷貝。

現(xiàn)在我們在切換到進(jìn)程 2 的視角中，雖然現(xiàn)在文件中被映射的這部分內(nèi)容已經(jīng)加載進(jìn)物理內(nèi)存頁，并被緩存在文件的 page cache 中了。但是現(xiàn)在進(jìn)程 2 中這段虛擬映射區(qū)在進(jìn)程 2 頁表中對應(yīng)的 PTE 仍然是空的，當(dāng)進(jìn)程 2 訪問這段虛擬映射區(qū)的時候依然會產(chǎn)生缺頁中斷。

當(dāng)進(jìn)程 2 切換到內(nèi)核態(tài)，處理缺頁中斷的時候，此時進(jìn)程 2 通過 vm_area_struct->vm_pgoff 在 page cache 查找文件頁的時候，文件頁已經(jīng)被進(jìn)程 1 加載進(jìn) page cache 了，進(jìn)程 2 一下就找到了，就不需要再去磁盤中讀取映射內(nèi)容了，內(nèi)核會直接為進(jìn)程 2 創(chuàng)建 PTE （由于是共享文件映射，所以這里的 PTE 也是可寫的），并插入到進(jìn)程 2 頁表中，隨后將進(jìn)程 2 中的虛擬映射區(qū)通過 PTE 與 page cache 中緩存的文件頁映射關(guān)聯(lián)起來。

現(xiàn)在進(jìn)程 1 和進(jìn)程 2 各自虛擬內(nèi)存空間中的這段虛擬內(nèi)存區(qū)域 VMA，已經(jīng)共同映射到了文件的 page cache 中，由于文件的 page cache 在內(nèi)核中只有一份，它是和進(jìn)程無關(guān)的，page cache 中的內(nèi)容發(fā)生的任何變化，進(jìn)程 1 和進(jìn)程 2 都是可以看到的。

重要的一點是，多進(jìn)程對各自虛擬內(nèi)存映射區(qū) VMA 的寫入操作，內(nèi)核會根據(jù)自己的臟頁回寫策略將修改內(nèi)容回寫到磁盤文件中。

內(nèi)核提供了以下六個系統(tǒng)參數(shù)，來供我們配置調(diào)整內(nèi)核臟頁回寫的行為，這些參數(shù)的配置文件存在于 proc/sys/vm 目錄下：

dirty_writeback_centisecs 內(nèi)核參數(shù)的默認(rèn)值為 500。單位為 0.01 s。也就是說內(nèi)核默認(rèn)會每隔 5s 喚醒一次 flusher 線程來執(zhí)行相關(guān)臟頁的回寫。

drity_background_ratio ：當(dāng)臟頁數(shù)量在系統(tǒng)的可用內(nèi)存 available 中占用的比例達(dá)到 drity_background_ratio 的配置值時，內(nèi)核就會喚醒 flusher 線程異步回寫臟頁。默認(rèn)值為：10。表示如果 page cache 中的臟頁數(shù)量達(dá)到系統(tǒng)可用內(nèi)存的 10% 的話，就主動喚醒 flusher 線程去回寫臟頁到磁盤。

dirty_background_bytes ：如果 page cache 中臟頁占用的內(nèi)存用量絕對值達(dá)到指定的 dirty_background_bytes。內(nèi)核就會喚醒 flusher 線程異步回寫臟頁。默認(rèn)為：0。

dirty_ratio ： dirty_background_* 相關(guān)的內(nèi)核配置參數(shù)均是內(nèi)核通過喚醒 flusher 線程來異步回寫臟頁。下面要介紹的 dirty_* 配置參數(shù)，均是由用戶進(jìn)程同步回寫臟頁。表示內(nèi)存中的臟頁太多了，用戶進(jìn)程自己都看不下去了，不用等內(nèi)核 flusher 線程喚醒，用戶進(jìn)程自己主動去回寫臟頁到磁盤中。當(dāng)臟頁占用系統(tǒng)可用內(nèi)存的比例達(dá)到 dirty_ratio 配置的值時，用戶進(jìn)程同步回寫臟頁。默認(rèn)值為：20 。

dirty_bytes ：如果 page cache 中臟頁占用的內(nèi)存用量絕對值達(dá)到指定的 dirty_bytes。用戶進(jìn)程同步回寫臟頁。默認(rèn)值為：0。

內(nèi)核為了避免 page cache 中的臟頁在內(nèi)存中長久的停留，所以會給臟頁在內(nèi)存中的駐留時間設(shè)置一定的期限，這個期限可由前邊提到的 dirty_expire_centisecs 內(nèi)核參數(shù)配置。默認(rèn)為：3000。單位為：0.01 s。也就是說在默認(rèn)配置下，臟頁在內(nèi)存中的駐留時間為 30 s。超過 30 s 之后，flusher 線程將會在下次被喚醒的時候?qū)⑦@些臟頁回寫到磁盤中。

關(guān)于臟頁回寫詳細(xì)的內(nèi)容介紹，感興趣的讀者可以回看下 《從 Linux 內(nèi)核角度探秘 JDK NIO 文件讀寫本質(zhì)》 一文中的 “13. 內(nèi)核回寫臟頁的觸發(fā)時機(jī)” 小節(jié)。

根據(jù) mmap 共享文件映射多進(jìn)程之間讀寫共享（不會發(fā)生寫時復(fù)制）的特點，常用于多進(jìn)程之間共享內(nèi)存（page cache），多進(jìn)程之間的通訊。

5. 共享匿名映射

#include
void*mmap(void*addr,size_tlength,intprot,intflags,intfd,off_toffset);

我們通過將 mmap 系統(tǒng)調(diào)用中的 flags 參數(shù)指定為 MAP_SHARED | MAP_ANONYMOUS ，并將 fd 參數(shù)指定為 -1 來實現(xiàn)共享匿名映射，這種映射方式常用于父子進(jìn)程之間共享內(nèi)存，父子進(jìn)程之間的通訊。注意，這里需要和大家強調(diào)一下是父子進(jìn)程，為什么只能是父子進(jìn)程，筆者后面再給大家解答。

在筆者介紹完 mmap 的私有匿名映射，私有文件映射，以及共享文件映射之后，共享匿名映射看似就非常簡單了，由于不對文件進(jìn)行映射，所以它不涉及到文件系統(tǒng)相關(guān)的知識，而且又是共享的，多個進(jìn)程通過將自己的頁表指向同一個物理內(nèi)存頁面不就實現(xiàn)共享匿名映射了嗎？

看起來簡單，實際上并沒有那么簡單，甚至可以說共享匿名映射是 mmap 這四種映射方式中最為復(fù)雜的，為什么這么說的 ？我們一起來看下共享匿名映射的映射過程。

首先和其他幾種映射方式一樣，mmap 只是負(fù)責(zé)在各個進(jìn)程的虛擬內(nèi)存空間中劃分一段用于共享匿名映射的虛擬內(nèi)存區(qū)域而已，這點筆者已經(jīng)強調(diào)過很多遍了，整個映射過程并不涉及到物理內(nèi)存的分配。

當(dāng)多個進(jìn)程調(diào)用 mmap 進(jìn)行共享匿名映射之后，內(nèi)核只不過是為每個進(jìn)程在各自的虛擬內(nèi)存空間中分配了一段虛擬內(nèi)存而已，由于并不涉及物理內(nèi)存的分配，所以這段用于映射的虛擬內(nèi)存在各個進(jìn)程的頁表中對應(yīng)的頁表項 PTE 都還是空的，如下圖所示：

當(dāng)任一進(jìn)程，比如上圖中的進(jìn)程 1 開始訪問這段虛擬映射區(qū)的時候，MMU 會產(chǎn)生缺頁中斷，進(jìn)程 1 切換到內(nèi)核態(tài)，開始處理缺頁中斷邏輯，在缺頁中斷處理程序中，內(nèi)核為進(jìn)程 1 分配一個物理內(nèi)存頁，并創(chuàng)建對應(yīng)的 PTE 插入到進(jìn)程 1 的頁表中，隨后用 PTE 將進(jìn)程 1 的這段虛擬映射區(qū)與物理內(nèi)存映射關(guān)聯(lián)起來。進(jìn)程 1 的缺頁處理結(jié)束，從此以后，進(jìn)程 1 就可以讀寫這段共享映射的物理內(nèi)存了。

g

現(xiàn)在我們把視角切換到進(jìn)程 2 中，當(dāng)進(jìn)程 2 訪問它自己的這段虛擬映射區(qū)的時候，由于進(jìn)程 2 頁表中對應(yīng)的 PTE 為空，所以進(jìn)程 2 也會發(fā)生缺頁中斷，隨后切換到內(nèi)核態(tài)處理缺頁邏輯。

當(dāng)進(jìn)程 2 開始處理缺頁邏輯的時候，進(jìn)程 2 就懵了，為什么呢 ？原因是進(jìn)程 2 和進(jìn)程 1 進(jìn)行的是共享映射，所以進(jìn)程 2 不能隨便找一個物理內(nèi)存頁進(jìn)行映射，進(jìn)程 2 必須和 進(jìn)程 1 映射到同一個物理內(nèi)存頁面，這樣才能共享內(nèi)存。那現(xiàn)在的問題是，進(jìn)程 2 面對著茫茫多的物理內(nèi)存頁，進(jìn)程 2 怎么知道進(jìn)程 1 已經(jīng)映射了哪個物理內(nèi)存頁 ？

內(nèi)核在缺頁中斷處理中只能知道當(dāng)前正在缺頁的進(jìn)程是誰，以及發(fā)生缺頁的虛擬內(nèi)存地址是什么，內(nèi)核根據(jù)這些信息，根本無法知道，此時是否已經(jīng)有其他進(jìn)程把共享的物理內(nèi)存頁準(zhǔn)備好了。

這一點對于共享文件映射來說特別簡單，因為有文件的 page cache 存在，進(jìn)程 2 可以根據(jù)映射的文件內(nèi)容在文件中的偏移 offset，從 page cache 中查找是否已經(jīng)有其他進(jìn)程把映射的文件內(nèi)容加載到文件頁中。如果文件頁已經(jīng)存在 page cache 中了，進(jìn)程 2 直接映射這個文件頁就可以了。

structvm_area_struct{
unsignedlongvm_pgoff;/*Offset(withinvm_file)inPAGE_SIZE*/
}

staticinlinestructpage*find_get_page(structaddress_space*mapping,
pgoff_toffset)
{
returnpagecache_get_page(mapping,offset,0,0);
}

由于共享匿名映射并沒有對文件映射，所以其他進(jìn)程想要在內(nèi)存中查找要進(jìn)行共享的內(nèi)存頁就非常困難了，那怎么解決這個問題呢 ？

既然共享文件映射可以輕松解決這個問題，那我們何不借鑒一下文件映射的方式 ？

共享匿名映射在內(nèi)核中是通過一個叫做 tmpfs 的虛擬文件系統(tǒng)來實現(xiàn)的，tmpfs 不是傳統(tǒng)意義上的文件系統(tǒng)，它是基于內(nèi)存實現(xiàn)的，掛載在 dev/zero 目錄下。

當(dāng)多個進(jìn)程通過 mmap 進(jìn)行共享匿名映射的時候，內(nèi)核會在 tmpfs 文件系統(tǒng)中創(chuàng)建一個匿名文件，這個匿名文件并不是真實存在于磁盤上的，它是內(nèi)核為了共享匿名映射而模擬出來的，匿名文件也有自己的 inode 結(jié)構(gòu)以及 page cache。

在 mmap 進(jìn)行共享匿名映射的時候，內(nèi)核會把這個匿名文件關(guān)聯(lián)到進(jìn)程的虛擬映射區(qū) VMA 中。這樣一來，當(dāng)進(jìn)程虛擬映射區(qū)域與 tmpfs 文件系統(tǒng)中的這個匿名文件映射起來之后，后面的流程就和共享文件映射一模一樣了。

structvm_area_struct{
structfile*vm_file;/*Filewemapto(canbeNULL).*/
}

最后，筆者來回答下在本小節(jié)開始處拋出的一個問題，就是共享匿名映射只適用于父子進(jìn)程之間的通訊，為什么只能是父子進(jìn)程呢 ？

因為當(dāng)父進(jìn)程進(jìn)行 mmap 共享匿名映射的時候，內(nèi)核會為其創(chuàng)建一個匿名文件，并關(guān)聯(lián)到父進(jìn)程的虛擬內(nèi)存空間中 vm_area_struct->vm_file 中。但是這時候其他進(jìn)程并不知道父進(jìn)程虛擬內(nèi)存空間中關(guān)聯(lián)的這個匿名文件，因為進(jìn)程之間的虛擬內(nèi)存空間都是隔離的。

子進(jìn)程就不一樣了，在父進(jìn)程調(diào)用完 mmap 之后，父進(jìn)程的虛擬內(nèi)存空間中已經(jīng)有了一段虛擬映射區(qū) VMA 并關(guān)聯(lián)到匿名文件了。這時父進(jìn)程進(jìn)行 fork() 系統(tǒng)調(diào)用創(chuàng)建子進(jìn)程，子進(jìn)程會拷貝父進(jìn)程的所有資源，當(dāng)然也包括父進(jìn)程的虛擬內(nèi)存空間以及父進(jìn)程的頁表。

long_do_fork(unsignedlongclone_flags,
unsignedlongstack_start,
unsignedlongstack_size,
int__user*parent_tidptr,
int__user*child_tidptr,
unsignedlongtls)
{
.........省略..........
structpid*pid;
structtask_struct*p;

.........省略..........
//拷貝父進(jìn)程的所有資源
p=copy_process(clone_flags,stack_start,stack_size,
child_tidptr,NULL,trace,tls,NUMA_NO_NODE);

.........省略..........
}

當(dāng) fork 出子進(jìn)程的時候，這時子進(jìn)程的虛擬內(nèi)存空間和父進(jìn)程的虛擬內(nèi)存空間完全是一模一樣的，在子進(jìn)程的虛擬內(nèi)存空間中自然也有一段虛擬映射區(qū) VMA 并且已經(jīng)關(guān)聯(lián)到匿名文件中了（繼承自父進(jìn)程）。

現(xiàn)在父子進(jìn)程的頁表也是一模一樣的，各自的這段虛擬映射區(qū)對應(yīng)的 PTE 都是空的，一旦發(fā)生缺頁，后面的流程就和共享文件映射一樣了。我們可以把共享匿名映射看作成一種特殊的共享文件映射方式。

6. 參數(shù) flags 的其他枚舉值

#include
void*mmap(void*addr,size_tlength,intprot,intflags,intfd,off_toffset);

在前邊的幾個小節(jié)中，筆者為大家介紹了 mmap 系統(tǒng)調(diào)用參數(shù) flags 最為核心的三個枚舉值：MAP_ANONYMOUS，MAP_SHARED，MAP_PRIVATE。隨后我們通過這三個枚舉值組合出了四種內(nèi)存映射方式：私有匿名映射，私有文件映射，共享文件映射，共享匿名映射。

到現(xiàn)在為止，筆者算是把 mmap 內(nèi)存映射的核心原理及其在內(nèi)核中的映射過程給大家詳細(xì)剖析完了，不過參數(shù) flags 的枚舉值在內(nèi)核中并不只是上述三個，除此之外，內(nèi)核還定義了很多。在本小節(jié)的最后，筆者為大家挑了幾個相對重要的枚舉值給大家做一些額外的補充，這樣能夠讓大家對 mmap 內(nèi)存映射有一個更加全面的認(rèn)識。

#defineMAP_LOCKED0x2000/*pagesarelocked*/
#defineMAP_POPULATE0x008000/*populate(prefault)pagetables*/
#defineMAP_HUGETLB0x040000/*createahugepagemapping*/

經(jīng)過前面的介紹我們知道，mmap 僅僅只是在進(jìn)程虛擬內(nèi)存空間中劃分出一段用于映射的虛擬內(nèi)存區(qū)域 VMA ，并將這段 VMA 與磁盤上的文件映射起來而已。整個映射過程并不涉及物理內(nèi)存的分配，更別說虛擬內(nèi)存與物理內(nèi)存的映射了，這些都是在進(jìn)程訪問這段 VMA 的時候，通過缺頁中斷來補齊的。

如果我們在使用 mmap 系統(tǒng)調(diào)用的時候設(shè)置了 MAP_POPULATE ，內(nèi)核在分配完虛擬內(nèi)存之后，就會馬上分配物理內(nèi)存，并在進(jìn)程頁表中建立起虛擬內(nèi)存與物理內(nèi)存的映射關(guān)系，這樣進(jìn)程在調(diào)用 mmap 之后就可以直接訪問這段映射的虛擬內(nèi)存地址了，不會發(fā)生缺頁中斷。

但是當(dāng)系統(tǒng)內(nèi)存資源緊張的時候，內(nèi)核依然會將 mmap 背后映射的這塊物理內(nèi)存 swap out 到磁盤中，這樣進(jìn)程在訪問的時候仍然會發(fā)生缺頁中斷，為了防止這種現(xiàn)象，我們可以在調(diào)用 mmap 的時候設(shè)置 MAP_LOCKED。

在設(shè)置了 MAP_LOCKED 之后，mmap 系統(tǒng)調(diào)用在為進(jìn)程分配完虛擬內(nèi)存之后，內(nèi)核也會馬上為其分配物理內(nèi)存并在進(jìn)程頁表中建立虛擬內(nèi)存與物理內(nèi)存的映射關(guān)系，這里內(nèi)核還會額外做一個動作，就是將映射的這塊物理內(nèi)存鎖定在內(nèi)存中，不允許它 swap，這樣一來映射的物理內(nèi)存將會一直停留在內(nèi)存中，進(jìn)程無論何時訪問這段映射內(nèi)存都不會發(fā)生缺頁中斷。

MAP_HUGETLB 則是用于大頁內(nèi)存映射的，在內(nèi)核中關(guān)于物理內(nèi)存的調(diào)度是按照物理內(nèi)存頁為單位進(jìn)行的，普通物理內(nèi)存頁大小為 4K。但在一些對于內(nèi)存敏感的使用場景中，我們往往期望使用一些比普通 4K 更大的頁。

因為這些巨型頁要比普通的 4K 內(nèi)存頁要大很多，而且這些巨型頁不允許被 swap，所以遇到缺頁中斷的情況就會相對減少，由于減少了缺頁中斷所以性能會更高。

另外，由于巨型頁比普通頁要大，所以巨型頁需要的頁表項要比普通頁要少，頁表項里保存了虛擬內(nèi)存地址與物理內(nèi)存地址的映射關(guān)系，當(dāng) CPU 訪問內(nèi)存的時候需要頻繁通過 MMU 訪問頁表項獲取物理內(nèi)存地址，由于要頻繁訪問，所以頁表項一般會緩存在 TLB 中，因為巨型頁需要的頁表項較少，所以節(jié)約了 TLB 的空間同時降低了 TLB 緩存 MISS 的概率，從而加速了內(nèi)存訪問。

7. 大頁內(nèi)存映射

在 64 位 x86 CPU 架構(gòu) Linux 的四級頁表體系下，系統(tǒng)支持的大頁尺寸有 2M，1G。我們可以在 /sys/kernel/mm/hugepages 路徑下查看當(dāng)前系統(tǒng)所支持的大頁尺寸：

要想在應(yīng)用程序中使用 HugePage，我們需要在內(nèi)核編譯的時候通過設(shè)置 CONFIG_HUGETLBFS 和 CONFIG_HUGETLB_PAGE 這兩個編譯選項來讓內(nèi)核支持 HugePage。我們可以通過 cat /proc/filesystems 命令來查看當(dāng)前內(nèi)核中是否支持 hugetlbfs 文件系統(tǒng)，這是我們使用 HugePage 的基礎(chǔ)。

因為 HugePage 要求的是一大片連續(xù)的物理內(nèi)存，和普通內(nèi)存頁一樣，巨型大頁里的內(nèi)存必須是連續(xù)的，但是隨著系統(tǒng)的長時間運行，內(nèi)存頁被頻繁無規(guī)則的分配與回收，系統(tǒng)中會產(chǎn)生大量的內(nèi)存碎片，由于內(nèi)存碎片的影響，內(nèi)核很難尋找到大片連續(xù)的物理內(nèi)存，這樣一來就很難分配到巨型大頁。

所以這就要求內(nèi)核在系統(tǒng)啟動的時候預(yù)先為我們分配好足夠多的大頁內(nèi)存，這些大頁內(nèi)存被內(nèi)核管理在一個大頁內(nèi)存池中，大頁內(nèi)存池中的內(nèi)存全部是專用的，專門用于巨型大頁的分配，不能用于其他目的，即使系統(tǒng)中沒有使用巨型大頁，這些大頁內(nèi)存就只能空閑在那里，另外這些大頁內(nèi)存都是被內(nèi)核鎖定在內(nèi)存中的，即使系統(tǒng)內(nèi)存資源緊張，大頁內(nèi)存也不允許被 swap。而且內(nèi)核大頁池中的這些大頁內(nèi)存使用完了就完了，大頁池耗盡之后，應(yīng)用程序?qū)o法再使用大頁。

既然大頁內(nèi)存池在內(nèi)核啟動的時候就需要被預(yù)先創(chuàng)建好，而創(chuàng)建大頁內(nèi)存池，內(nèi)核需要首先知道內(nèi)存池中究竟包含多少個 HugePage，每個 HugePage 的尺寸是多少 。我們可以將這些參數(shù)在內(nèi)核啟動的時候添加到 kernel command line 中，隨后內(nèi)核在啟動的過程中就可以根據(jù) kernel command line 中 HugePage 相關(guān)的參數(shù)進(jìn)行大頁內(nèi)存池的創(chuàng)建。下面是一些 HugePage 相關(guān)的核心 command line 參數(shù)含義：

hugepagesz ： 用于指定大頁內(nèi)存池中 HugePage 的 size，我們這里可以指定 hugepagesz=2M 或者 hugepagesz=1G，具體支持多少種大頁尺寸由 CPU 架構(gòu)決定。

hugepages：用于指定內(nèi)核需要預(yù)先創(chuàng)建多少個 HugePage 在大頁內(nèi)存池中，我們可以通過指定 hugepages=256 ，來表示內(nèi)核需要預(yù)先創(chuàng)建 256 個 HugePage 出來。除此之外 hugepages 參數(shù)還可以有 NUMA 格式，用于告訴內(nèi)核需要在每個 NUMA node 上創(chuàng)建多少個 HugePage。我們可以通過設(shè)置 hugepages=0:1,1:2 ... 來指定 NUMA node 0 上分配 1 個 HugePage，在 NUMA node 1 上分配 2 個 HugePage。

default_hugepagesz：用于指定 HugePage 默認(rèn)大小。各種不同類型的 CPU 架構(gòu)一般都支持多種 size 的 HugePage，比如 x86 CPU 支持 2M，1G 的 HugePage。arm64 支持 64K，2M，32M，1G 的 HugePage。這么多尺寸的 HugePage 我們到底該使用哪種尺寸呢 ？ 這時就需要通過 default_hugepagesz 來指定默認(rèn)使用的 HugePage 尺寸。

以上為大家介紹的是在內(nèi)核啟動的時候（boot time）通過向 kernel command line 指定 HugePage 相關(guān)的命令行參數(shù)來配置大頁，除此之外，我們還可以在系統(tǒng)剛剛啟動之后（run time）來配置大頁，因為系統(tǒng)剛剛啟動，所以系統(tǒng)內(nèi)存碎片化程度最小，也是一個配置大頁的時機(jī)：

在 /proc/sys/vm 路徑下有兩個系統(tǒng)參數(shù)可以讓我們在系統(tǒng) run time 的時候動態(tài)調(diào)整當(dāng)前系統(tǒng)中 default size （由 default_hugepagesz 指定）大小的 HugePage 個數(shù)。

nr_hugepages 表示當(dāng)前系統(tǒng)中 default size 大小的 HugePage 個數(shù)，我們可以通過 echo HugePageNum > /proc/sys/vm/nr_hugepages 命令來動態(tài)增大或者縮小 HugePage （default size ）個數(shù)。

nr_overcommit_hugepages 表示當(dāng)系統(tǒng)中的應(yīng)用程序申請的大頁個數(shù)超過 nr_hugepages 時，內(nèi)核允許在額外申請多少個大頁。當(dāng)大頁內(nèi)存池中的大頁個數(shù)被耗盡時，如果此時繼續(xù)有進(jìn)程來申請大頁，那么內(nèi)核則會從當(dāng)前系統(tǒng)中選取多個連續(xù)的普通 4K 大小的內(nèi)存頁，湊出若干個大頁來供進(jìn)程使用，這些被湊出來的大頁叫做 surplus_hugepage，surplus_hugepage 的個數(shù)不能超過 nr_overcommit_hugepages。當(dāng)這些 surplus_hugepage 不在被使用時，就會被釋放回內(nèi)核中。nr_hugepages 個數(shù)的大頁則會一直停留在大頁內(nèi)存池中，不會被釋放，也不會被 swap。

nr_hugepages 有點像 JDK 線程池中的 corePoolSize 參數(shù)，(nr_hugepages + nr_overcommit_hugepages) 有點像線程池中的 maximumPoolSize 參數(shù)。

以上介紹的是修改默認(rèn)尺寸大小的 HugePage，另外，我們還可以在系統(tǒng) run time 的時候動態(tài)修改指定尺寸的 HugePage，不同大頁尺寸的相關(guān)配置文件存放在 /sys/kernel/mm/hugepages 路徑下的對應(yīng)目錄中：

如上圖所示，當(dāng)前系統(tǒng)中所支持的大頁尺寸相關(guān)的配置文件，均存放在對應(yīng) hugepages-hugepagesize 格式的目錄中，下面我們以 2M 大頁為例，進(jìn)入到 hugepages-2048kB 目錄下，發(fā)現(xiàn)同樣也有 nr_hugepages 和 nr_overcommit_hugepages 這兩個配置文件，它們的含義和上邊介紹的一樣，只不過這里的是具體尺寸的 HugePage 相關(guān)配置。

我們可以通過如下命令來動態(tài)調(diào)整系統(tǒng)中 2M 大頁的個數(shù)：

echoHugePageNum>/sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages

同理在 NUMA 架構(gòu)的系統(tǒng)下，我們可以在 /sys/devices/system/node/node_id 路徑下修改對應(yīng) numa node 節(jié)點中的相應(yīng)尺寸 的大頁個數(shù)：

echoHugePageNum>/sys/devices/system/node/node_id/hugepages/hugepages-2048kB/nr_hugepages

現(xiàn)在內(nèi)核已經(jīng)支持了大頁，并且我們從內(nèi)核的 boot time 或者 run time 配置好了大頁內(nèi)存池，我們終于可以在應(yīng)用程序中來使用大頁內(nèi)存了，內(nèi)核給我們提供了兩種方式來使用 HugePage：

一種是本文介紹的 mmap 系統(tǒng)調(diào)用，需要在 flags 參數(shù)中設(shè)置 MAP_HUGETLB。另外內(nèi)核提供了額外的兩個枚舉值來配合 MAP_HUGETLB 一起使用，它們分別是 MAP_HUGE_2MB 和 MAP_HUGE_1GB。

MAP_HUGETLB | MAP_HUGE_2MB 用于指定我們需要映射的是 2M 的大頁。

MAP_HUGETLB | MAP_HUGE_1GB 用于指定我們需要映射的是 1G 的大頁。

MAP_HUGETLB 表示按照 default_hugepagesz 指定的默認(rèn)尺寸來映射大頁。

另一種是 SYSV 標(biāo)準(zhǔn)的系統(tǒng)調(diào)用 shmget 和 shmat。

本小節(jié)我們主要介紹 mmap 系統(tǒng)調(diào)用使用大頁的方式：

intmain(void)
{
addr=mmap(addr,length,PROT_READ|PROT_WRITE,MAP_PRIVATE|MAP_ANONYMOUS|MAP_HUGETLB,-1,0);
return0;
}

MAP_HUGETLB 只能支持 MAP_ANONYMOUS 匿名映射的方式使用 HugePage

當(dāng)我們通過 mmap 設(shè)置了 MAP_HUGETLB 進(jìn)行大頁內(nèi)存映射的時候，這個映射過程和普通的匿名映射一樣，同樣也是首先在進(jìn)程的虛擬內(nèi)存空間中劃分出一段虛擬映射區(qū) VMA 出來，同樣不涉及物理內(nèi)存的分配，不一樣的地方是，內(nèi)核在分配完虛擬內(nèi)存之后，會在大頁內(nèi)存池中為映射的這段虛擬內(nèi)存預(yù)留好大頁內(nèi)存，相當(dāng)于是把即將要使用的大頁內(nèi)存先鎖定住，不允許其他進(jìn)程使用。這些被預(yù)留好的 HugePage 個數(shù)被記錄在上圖中的 resv_hugepages 文件中。

當(dāng)進(jìn)程在訪問這段虛擬內(nèi)存的時候，同樣會發(fā)生缺頁中斷，隨后內(nèi)核會從大頁內(nèi)存池中將這部分已經(jīng)預(yù)留好的 resv_hugepages 分配給進(jìn)程，并在進(jìn)程頁表中建立好虛擬內(nèi)存與 HugePage 的映射。關(guān)于進(jìn)程頁表如何映射內(nèi)存大頁的詳細(xì)內(nèi)容，感興趣的同學(xué)可以回看下之前的文章 《一步一圖帶你構(gòu)建 Linux 頁表體系》。

由于這里我們調(diào)用 mmap 映射的是 HugePage ，所以系統(tǒng)調(diào)用參數(shù)中的 addr，length 需要和大頁尺寸進(jìn)行對齊，在本例中需要和 2M 進(jìn)行對齊。

前邊也提到了 MAP_HUGETLB 需要和 MAP_ANONYMOUS 配合一起使用，只能支持匿名映射的方式來使用 HugePage。那如果我們想使用 mmap 對文件進(jìn)行大頁映射該怎么辦呢 ？

這就用到了前面提到的 hugetlbfs 文件系統(tǒng)：

hugetlbfs 是一個基于內(nèi)存的文件系統(tǒng)，類似前邊介紹的 tmpfs 文件系統(tǒng)，位于 hugetlbfs 文件系統(tǒng)下的所有文件都是被大頁支持的，也就說通過 mmap 對 hugetlbfs 文件系統(tǒng)下的文件進(jìn)行文件映射，默認(rèn)都是用 HugePage 進(jìn)行映射。

hugetlbfs 下的文件支持大多數(shù)的文件系統(tǒng)操作，比如：open , close , chmod , read 等等，但是不支持 write 系統(tǒng)調(diào)用，如果想要對 hugetlbfs 下的文件進(jìn)行寫入操作，那么必須通過文件映射的方式將 hugetlbfs 中的文件通過大頁映射進(jìn)內(nèi)存，然后在映射內(nèi)存中進(jìn)行寫入操作。

所以在我們使用 mmap 系統(tǒng)調(diào)用對 hugetlbfs 下的文件進(jìn)行大頁映射之前，首先需要做的事情就是在系統(tǒng)中掛載 hugetlbfs 文件系統(tǒng)到指定的路徑下。

mount-thugetlbfs-ouid=,gid=,mode=,pagesize=,size=,min_size=,nr_inodes=none/mnt/huge

上面的這條命令用于將 hugetlbfs 掛載到 /mnt/huge 目錄下，從此以后只要是在 /mnt/huge 目錄下創(chuàng)建的文件，背后都是由大頁支持的，也就是說如果我們通過 mmap 系統(tǒng)調(diào)用對 /mnt/huge 目錄下的文件進(jìn)行文件映射，缺頁的時候，內(nèi)核分配的就是內(nèi)存大頁。

只有在 hugetlbfs 下的文件進(jìn)行 mmap 文件映射的時候才能使用大頁，其他普通文件系統(tǒng)下的文件依然只能映射普通 4K 內(nèi)存頁。

mount 命令中的 uid 和 gid 用于指定 hugetlbfs 根目錄的 owner 和 group。

pagesize 用于指定 hugetlbfs 支持的大頁尺寸，默認(rèn)單位是字節(jié)，我們可以通過設(shè)置 pagesize=2M 或者 pagesize=1G 來指定 hugetlbfs 中的大頁尺寸為 2M 或者 1G。

size 用于指定 hugetlbfs 文件系統(tǒng)可以使用的最大內(nèi)存容量是多少，單位同 pagesize 一樣。

min_size 用于指定 hugetlbfs 文件系統(tǒng)可以使用的最小內(nèi)存容量是多少。

nr_inodes 用于指定 hugetlbfs 文件系統(tǒng)中 inode 的最大個數(shù)，決定該文件系統(tǒng)中最大可以創(chuàng)建多少個文件。

當(dāng) hugetlbfs 被我們掛載好之后，接下來我們就可以直接通過 mmap 系統(tǒng)調(diào)用對掛載目錄 /mnt/huge 下的文件進(jìn)行內(nèi)存映射了，當(dāng)缺頁的時候，內(nèi)核會直接分配大頁，大頁尺寸是 pagesize。

intmain(void)
{
fd=open(“/mnt/huge/test.txt”,O_CREAT|O_RDWR);
addr=mmap(0,MAP_LENGTH,PROT_READ|PROT_WRITE,MAP_SHARED,fd,0);
return0;
}

這里需要注意是，通過 mmap 映射 hugetlbfs 中的文件的時候，并不需要指定 MAP_HUGETLB 。而我們通過 SYSV 標(biāo)準(zhǔn)的系統(tǒng)調(diào)用 shmget 和 shmat 以及前邊介紹的 mmap （ flags 參數(shù)設(shè)置 MAP_HUGETLB）進(jìn)行大頁申請的時候，并不需要掛載 hugetlbfs。

在內(nèi)核中一共支持兩種類型的內(nèi)存大頁，一種是標(biāo)準(zhǔn)大頁（hugetlb pages），也就是上面內(nèi)容所介紹的使用大頁的方式，我們可以通過命令 grep Huge /proc/meminfo 來查看標(biāo)準(zhǔn)大頁在系統(tǒng)中的使用情況：

和標(biāo)準(zhǔn)大頁相關(guān)的統(tǒng)計參數(shù)含義如下：

HugePages_Total 表示標(biāo)準(zhǔn)大頁池中大頁的個數(shù)。HugePages_Free 表示大頁池中還未被使用的大頁個數(shù)（未被分配）。

HugePages_Rsvd 表示大頁池中已經(jīng)被預(yù)留出來的大頁，這個預(yù)留大頁是什么意思呢 ？我們知道 mmap 系統(tǒng)調(diào)用只是為進(jìn)程分配一段虛擬內(nèi)存而已，并不會分配物理內(nèi)存，當(dāng) mmap 進(jìn)行大頁映射的時候也是一樣。不同之處在于，內(nèi)核為進(jìn)程分配完虛擬內(nèi)存之后，還需要為進(jìn)程在大頁池中預(yù)留好本次映射所需要的大頁個數(shù)，注意此時只是預(yù)留，還并未分配給進(jìn)程，大頁池中被預(yù)留好的大頁不能被其他進(jìn)程使用。這時 HugePages_Rsvd 的個數(shù)會相應(yīng)增加，當(dāng)進(jìn)程發(fā)生缺頁的時候，內(nèi)核會直接從大頁池中把這些提前預(yù)留好的大頁內(nèi)存映射到進(jìn)程的虛擬內(nèi)存空間中。這時 HugePages_Rsvd 的個數(shù)會相應(yīng)減少。系統(tǒng)中真正剩余可用的個數(shù)其實是 HugePages_Free - HugePages_Rsvd。

HugePages_Surp 表示大頁池中超額分配的大頁個數(shù)，這個概念其實筆者前面在介紹 nr_overcommit_hugepages 參數(shù)的時候也提到過，nr_overcommit_hugepages 參數(shù)表示最多能超額分配多少個大頁。當(dāng)大頁池中的大頁全部被耗盡的時候，也就是 /proc/sys/vm/nr_hugepages 指定的大頁個數(shù)全部被分配完了，內(nèi)核還可以超額為進(jìn)程分配大頁，超額分配出的大頁個數(shù)就統(tǒng)計在 HugePages_Surp 中。

Hugepagesize 表示系統(tǒng)中大頁的默認(rèn) size 大小，單位為 KB。

Hugetlb 表示系統(tǒng)中所有尺寸的大頁所占用的物理內(nèi)存總量。單位為 KB。

內(nèi)核中另外一種類型的大頁是透明大頁 THP (Transparent Huge Pages)，這里的透明指的是應(yīng)用進(jìn)程在使用 THP 的時候完全是透明的，不需要像使用標(biāo)準(zhǔn)大頁那樣需要系統(tǒng)管理員對系統(tǒng)進(jìn)行顯示的大頁配置，在應(yīng)用程序中也不需要向標(biāo)準(zhǔn)大頁那樣需要顯示指定 MAP_HUGETLB , 或者顯示映射到 hugetlbfs 里的文件中。

透明大頁的使用對用戶完全是透明的，內(nèi)核會在背后為我們自動做大頁的映射，透明大頁不需要像標(biāo)準(zhǔn)大頁那樣需要提前預(yù)先分配好大頁內(nèi)存池，透明大頁的分配是動態(tài)的，由內(nèi)核線程 khugepaged 負(fù)責(zé)在背后默默地將普通 4K 內(nèi)存頁整理成內(nèi)存大頁給進(jìn)程使用。但是如果由于內(nèi)存碎片的因素，內(nèi)核無法整理出內(nèi)存大頁，那么就會降級為使用普通 4K 內(nèi)存頁。但是透明大頁這里會有一個問題，當(dāng)碎片化嚴(yán)重的時候，內(nèi)核會啟動 kcompactd 線程去整理碎片，期望獲得連續(xù)的內(nèi)存用于大頁分配，但是 compact 的過程可能會引起 sys cpu 飆高，應(yīng)用程序卡頓。

透明大頁是允許 swap 的，這一點和標(biāo)準(zhǔn)大頁不同，在內(nèi)存緊張需要 swap 的時候，透明大頁會被內(nèi)核默默拆分成普通 4K 內(nèi)存頁，然后 swap out 到磁盤。

透明大頁只支持 2M 的大頁，標(biāo)準(zhǔn)大頁可以支持 1G 的大頁，透明大頁主要應(yīng)用于匿名內(nèi)存中，可以在 tmpfs 文件系統(tǒng)中使用。

在我們對比完了透明大頁與標(biāo)準(zhǔn)大頁之間的區(qū)別之后，我們現(xiàn)在來看一下如何使用透明大頁，其實非常簡單，我們可以通過修改 /sys/kernel/mm/transparent_hugepage/enabled 配置文件來選擇開啟或者禁用透明大頁：

always 表示系統(tǒng)全局開啟透明大頁 THP 功能。這意味著每個進(jìn)程都會去嘗試使用透明大頁。

never 表示系統(tǒng)全局關(guān)閉透明大頁 THP 功能。進(jìn)程將永遠(yuǎn)不會使用透明大頁。

madvise 表示進(jìn)程如果想要使用透明大頁，需要通過 madvise 系統(tǒng)調(diào)用并設(shè)置參數(shù) advice 為 MADV_HUGEPAGE 來建議內(nèi)核，在 addr 到 addr+length 這片虛擬內(nèi)存區(qū)域中，需要使用透明大頁來映射。

#include

intmadvise(voidaddr,size_tlength,intadvice);

一般我們會首先使用 mmap 先映射一段虛擬內(nèi)存區(qū)域，然后通過 madvise 建議內(nèi)核，將來在缺頁的時候，需要為這段虛擬內(nèi)存映射透明大頁。由于背后需要通過內(nèi)核線程 khugepaged 來不斷的掃描整理系統(tǒng)中的普通 4K 內(nèi)存頁，然后將他們拼接成一個大頁來給進(jìn)程使用，其中涉及內(nèi)存整理和回收等耗時的操作，且這些操作會在內(nèi)存路徑中加鎖，而 khugepaged 內(nèi)核線程可能會在錯誤的時間啟動掃描和轉(zhuǎn)換大頁的操作，造成隨機(jī)不可控的性能下降。

另外一點，透明大頁不像標(biāo)準(zhǔn)大頁那樣是提前預(yù)分配好的，透明大頁是在系統(tǒng)運行時動態(tài)分配的，在內(nèi)存緊張的時候，透明大頁和普通 4K 內(nèi)存頁的分配過程一樣，有可能會遇到直接內(nèi)存回收（direct reclaim)以及直接內(nèi)存整理（direct compaction），這些操作都是同步的并且非常耗時，會對性能造成非常大的影響。

前面在 cat /proc/meminfo 命令中顯示的 AnonHugePages 就表示透明大頁在系統(tǒng)中的使用情況。另外我們可以通過 cat /proc/pid/smaps | grep AnonHugePages 命令來查看某個進(jìn)程對透明大頁的使用情況。

總結(jié)

本文筆者從五個角度為大家詳細(xì)介紹了 mmap 的使用方法及其在內(nèi)核中的實現(xiàn)原理，這五個角度分別是：

私有匿名映射，其主要用于進(jìn)程申請?zhí)摂M內(nèi)存，以及初始化進(jìn)程虛擬內(nèi)存空間中的 BSS 段，堆，棧這些虛擬內(nèi)存區(qū)域。

私有文件映射，其核心特點是背后映射的文件頁在多進(jìn)程之間是讀共享的，多個進(jìn)程對各自虛擬內(nèi)存區(qū)的修改只能反應(yīng)到各自對應(yīng)的文件頁上，而且各自的修改在進(jìn)程之間是互不可見的，最重要的一點是這些修改均不會回寫到磁盤文件中。我們可以利用這些特點來加載二進(jìn)制可執(zhí)行文件的 .text , .data section 到進(jìn)程虛擬內(nèi)存空間中的代碼段和數(shù)據(jù)段中。

共享文件映射，多進(jìn)程之間讀寫共享（不會發(fā)生寫時復(fù)制），常用于多進(jìn)程之間共享內(nèi)存（page cache），多進(jìn)程之間的通訊。

共享匿名映射，用于父子進(jìn)程之間共享內(nèi)存，父子進(jìn)程之間的通訊。父子進(jìn)程之間需要依賴 tmpfs 中的匿名文件來實現(xiàn)共享內(nèi)存。是一種特殊的共享文件映射。

大頁內(nèi)存映射，這里我們介紹了標(biāo)準(zhǔn)大頁與透明大頁兩種大頁類型的區(qū)別與聯(lián)系，以及他們各自的實現(xiàn)原理和使用方法。

審核編輯：劉清