來源：嵌入式與Linux那些事公眾號

ARM32位系統(tǒng)的內(nèi)存布局圖

32位操作系統(tǒng)的內(nèi)存布局很經(jīng)典，很多書籍都是以32位系統(tǒng)為例子去講解的。32位的系統(tǒng)可訪問的地址空間為4GB，用戶空間為1GB ~ 3GB，內(nèi)核空間為3GB ~ 4GB。

為什么要劃分為用戶空間和內(nèi)核空間呢？

一般處理器會把運(yùn)行模式分為好幾個，比如x86分為rang0 ~ rang3級別。ARMv7架構(gòu)中，又分為好幾個模式，比如svc模式是給內(nèi)核用的，usr模式是給用戶態(tài)使用的。

當(dāng)一個進(jìn)程執(zhí)行系統(tǒng)調(diào)用時，會陷入到內(nèi)核態(tài)中，這個時候運(yùn)行模式就從usr模式轉(zhuǎn)換為svc模式，這就是我們常說的內(nèi)核態(tài)。處于內(nèi)核態(tài)的進(jìn)程是可以訪問內(nèi)核空間的。所以就根據(jù)CPU的運(yùn)行模式劃分了兩個空間。

我們先看下1GB的內(nèi)核空間是怎么劃分的，32位的系統(tǒng)中，通常配置的物理內(nèi)存通常是大于1GB的，所以物理內(nèi)存會劃分為兩部分，低端內(nèi)存稱為線性映射區(qū)，高端內(nèi)存稱為高端映射區(qū)。那這個分界線是怎么計(jì)算的呢，在ARM32中，分界線為760M。低端內(nèi)存會做一比一映射到3GB ~ 3GB+760M。

這里講的線性映射就是直接把物理內(nèi)存的地址映射到線性映射區(qū)中，假設(shè)物理內(nèi)存的DDR起始地址是0，映射的時候就有一個偏移量，這個偏移量就是0XC0000000，page offset。線性映射的地址我們就可以很方便的完成虛擬地址到物理地址的轉(zhuǎn)換，只需要加減一個offset就可以。

高端內(nèi)存的映射就沒有線性映射那么簡單了，使用高端內(nèi)存時需要完成動態(tài)映射。

我們先看下1GB的內(nèi)核空間剩下都做什么使用了。

vmalloc區(qū)域：分配的內(nèi)存在虛擬地址是連續(xù)的，物理頁面可以是離散的。vmalloc大概占用了200M物理內(nèi)存。

fixmap：Fix map中的fix指的是固定的意思，那么固定什么東西呢？其實(shí)就是虛擬地址是固定的，也就是說，有些虛擬地址在編譯（compile-time）的時候就固定下來了，而這些虛擬地址對應(yīng)的物理地址不是固定的，是在kernel啟動過程中被確定的。

vector：vector區(qū)域用于映射CPU vector page，大小一頁4KB，從0xffff0000 - 0xffff1000。

接下來看下3GB用戶空間的劃分方式，一個進(jìn)程要運(yùn)行起來，必然要有自己的代碼段和數(shù)據(jù)段，這部分在加載的時候就會被映射到虛擬地址。

堆空間:從進(jìn)程的開始到1GB的這部分我們稱為堆空間，這部分主要是給malloc使用的。

mmap空間:1GB到3GB這部分是給mmap空間使用的，mmap可以用來映射文件也可以映射匿名頁面。通常用戶態(tài)分配大段內(nèi)存的時候，Linux通常會使用mmap來完成分配。

從進(jìn)程的角度看內(nèi)存布局

readelf 查看程序段

接下來，我們通過一個C語言程序?qū)W習(xí)下內(nèi)存布局，這個例子很簡單，用malloc函數(shù)分配了內(nèi)存內(nèi)存，然后使用memset將該區(qū)域清零。

使用gcc編譯為elf后，可以使用readelf 查看該程序包含那些段。

#include
#include
#include

#defineSIZE(100*1024)
voidmain()
{
char*buf=malloc(SIZE);
memset(buf,0x58,SIZE);
while(1)
sleep(10000);
}

gcc-staticmemory_process.c-omemory_process.elf

我們知道，通常Linux中流行的可執(zhí)行文件的格式就是elf。使用gcc編譯的elf就是我們講的elf文件，目標(biāo)文件除了包含了編譯后的機(jī)器指令代碼，還包含其他鏈接信息，比如符號表，調(diào)試信息，字符串等，通常這些信息會根據(jù)不同的屬性存放在不同的段（section）中，這里我們只關(guān)注常見的段 。

.init：程序初始化的代碼段。

.text：代碼段，程序編譯完后的機(jī)器指令。

.data:初始化過的全局的靜態(tài)變量，還有一些局部的靜態(tài)變量。

.rodata：只讀變量，字符串，常量等。

.bss：未初始化的全局變量以及初始化為零的變量。

readelf 查看程序頭

使用-l參數(shù)讀下程序頭（program header），它是用來描述OS是如何被映射到進(jìn)程的虛擬地址空間的。

之前我們看到的30個段，在這里分成了7個族，并且顯示每個族都包含那些段，這里我們只關(guān)注叫l(wèi)oad的族，其他族主要是在程序裝載的時候起到輔助作用。

第一個族里面包含init，text段，他的執(zhí)行權(quán)限是只讀，可執(zhí)行的（RE）。起始地址0x0000000000400000，大小是0x00000000000b5986。

另外一個族主要包含data和bss段，他的執(zhí)行權(quán)限是可讀寫（RW）。起始地址0x00000000006b6120，大小是0x00000000000051b8。

進(jìn)程映射的過程

地址：本段在虛擬內(nèi)存中的地址范圍；對應(yīng)vm_area_struct中的vm_start和vm_end。

權(quán)限：本段的權(quán)限; r-讀，w-寫，x-執(zhí)行， p-私有;對應(yīng)vm_flags。

偏移地址：即本段映射地址在文件中的偏移；對于有名映射指本段映射地址在文件中的偏移,對應(yīng)vm_pgoff；對于匿名映射為vm_area_struct->vm_start。

主設(shè)備號與次設(shè)備號：所映射的文件所屬設(shè)備的設(shè)備號，對應(yīng)vm_file->f_dentry->d_inode->i_sb->s_dev。匿名映射為0。其中fd為主設(shè)備號，00為次設(shè)備號。

文件索引節(jié)點(diǎn)號：對應(yīng)vm_file->f_dentry->d_inode->i_ino，與ls –i顯示的內(nèi)容相符。匿名映射為0。

映射的文件名：對有名映射而言，是映射的文件名，對匿名映射來說，是此段內(nèi)存在進(jìn)程中的作用。[stack]表示本段內(nèi)存作為棧來使用，[heap]作為堆來使用，其他情況則為無。

smaps 可以查看更多的內(nèi)容

?examplecat/proc/5823/smaps
00400000-004b6000r-xp0000000008:012319863/home/zhongyi/code/example/memory_process.elf
Size:728kB
KernelPageSize:4kB
MMUPageSize:4kB
Rss:640kB
Pss:640kB
Shared_Clean:0kB
Shared_Dirty:0kB
Private_Clean:640kB
Private_Dirty:0kB
Referenced:640kB
Anonymous:0kB
LazyFree:0kB
AnonHugePages:0kB
ShmemPmdMapped:0kB
FilePmdMapped:0kB
Shared_Hugetlb:0kB
Private_Hugetlb:0kB
Swap:0kB
SwapPss:0kB
Locked:0kB
THPeligible:0
VmFlags:rdexmrmwmedwsd
006b6000-006bc000rw-p000b600008:012319863/home/zhongyi/code/example/memory_process.elf
Size:24kB
KernelPageSize:4kB
MMUPageSize:4kB
Rss:24kB
Pss:24kB
Shared_Clean:0kB
Shared_Dirty:0kB
Private_Clean:8kB
Private_Dirty:16kB
Referenced:24kB
Anonymous:16kB
LazyFree:0kB
AnonHugePages:0kB
ShmemPmdMapped:0kB
FilePmdMapped:0kB
Shared_Hugetlb:0kB
Private_Hugetlb:0kB
Swap:0kB
SwapPss:0kB
Locked:0kB
THPeligible:0
VmFlags:rdwrmrmwmedwacsd
006bc000-006bd000rw-p0000000000:000
Size:4kB
KernelPageSize:4kB
MMUPageSize:4kB
Rss:4kB
Pss:4kB
Shared_Clean:0kB
Shared_Dirty:0kB
Private_Clean:0kB
Private_Dirty:4kB
Referenced:4kB
Anonymous:4kB
LazyFree:0kB
AnonHugePages:0kB
ShmemPmdMapped:0kB
FilePmdMapped:0kB
Shared_Hugetlb:0kB
Private_Hugetlb:0kB
Swap:0kB
SwapPss:0kB
Locked:0kB
THPeligible:0
VmFlags:rdwrmrmwmeacsd
010cc000-010ef000rw-p0000000000:000[heap]
Size:140kB
KernelPageSize:4kB
MMUPageSize:4kB
Rss:108kB
Pss:108kB
Shared_Clean:0kB
Shared_Dirty:0kB
Private_Clean:0kB
Private_Dirty:108kB
Referenced:108kB
Anonymous:108kB
LazyFree:0kB
AnonHugePages:0kB
ShmemPmdMapped:0kB
FilePmdMapped:0kB
Shared_Hugetlb:0kB
Private_Hugetlb:0kB
Swap:0kB
SwapPss:0kB
Locked:0kB
THPeligible:0
VmFlags:rdwrmrmwmeacsd
7ffd5e0db000-7ffd5e0fc000rw-p0000000000:000[stack]
Size:132kB
KernelPageSize:4kB
MMUPageSize:4kB
Rss:16kB
Pss:16kB
Shared_Clean:0kB
Shared_Dirty:0kB
Private_Clean:0kB
Private_Dirty:16kB
Referenced:16kB
Anonymous:16kB
LazyFree:0kB
AnonHugePages:0kB
ShmemPmdMapped:0kB
FilePmdMapped:0kB
Shared_Hugetlb:0kB
Private_Hugetlb:0kB
Swap:0kB
SwapPss:0kB
Locked:0kB
THPeligible:0
VmFlags:rdwrmrmwmegdac
7ffd5e100000-7ffd5e103000r--p0000000000:000[vvar]
Size:12kB
KernelPageSize:4kB
MMUPageSize:4kB
Rss:0kB
Pss:0kB
Shared_Clean:0kB
Shared_Dirty:0kB
Private_Clean:0kB
Private_Dirty:0kB
Referenced:0kB
Anonymous:0kB
LazyFree:0kB
AnonHugePages:0kB
ShmemPmdMapped:0kB
FilePmdMapped:0kB
Shared_Hugetlb:0kB
Private_Hugetlb:0kB
Swap:0kB
SwapPss:0kB
Locked:0kB
THPeligible:0
VmFlags:rdmrpfiodeddsd
7ffd5e103000-7ffd5e105000r-xp0000000000:000[vdso]
Size:8kB
KernelPageSize:4kB
MMUPageSize:4kB
Rss:4kB
Pss:0kB
Shared_Clean:4kB
Shared_Dirty:0kB
Private_Clean:0kB
Private_Dirty:0kB
Referenced:4kB
Anonymous:0kB
LazyFree:0kB
AnonHugePages:0kB
ShmemPmdMapped:0kB
FilePmdMapped:0kB
Shared_Hugetlb:0kB
Private_Hugetlb:0kB
Swap:0kB
SwapPss:0kB
Locked:0kB
THPeligible:0
VmFlags:rdexmrmwmedesd
ffffffffff600000-ffffffffff601000--xp0000000000:000[vsyscall]
Size:4kB
KernelPageSize:4kB
MMUPageSize:4kB
Rss:0kB
Pss:0kB
Shared_Clean:0kB
Shared_Dirty:0kB
Private_Clean:0kB
Private_Dirty:0kB
Referenced:0kB
Anonymous:0kB
LazyFree:0kB
AnonHugePages:0kB
ShmemPmdMapped:0kB
FilePmdMapped:0kB
Shared_Hugetlb:0kB
Private_Hugetlb:0kB
Swap:0kB
SwapPss:0kB
Locked:0kB
THPeligible:0
VmFlags:ex

堆里面，匿名頁面分配了108個物理內(nèi)存，但我們的測試程序只分配了100k物理內(nèi)存，這里匿名頁面比分配的要大，這是因?yàn)檫M(jìn)程在裝載的時候也要消耗一些匿名頁面。

010cc000-010ef000rw-p0000000000:000[heap]
Size:140kB
KernelPageSize:4kB
MMUPageSize:4kB
Rss:108kB
Pss:108kB
Shared_Clean:0kB
Shared_Dirty:0kB
Private_Clean:0kB
Private_Dirty:108kB
Referenced:108kB
Anonymous:108kB
LazyFree:0kB
AnonHugePages:0kB
ShmemPmdMapped:0kB
FilePmdMapped:0kB
Shared_Hugetlb:0kB
Private_Hugetlb:0kB
Swap:0kB
SwapPss:0kB
Locked:0kB
THPeligible:0
VmFlags:rdwrmrmwmeacsd

根據(jù)以上信息，可以繪制出測試程序內(nèi)存的布局圖。

測試程序進(jìn)程的elf這里只列出了常用的段。代碼段的VMA屬于page cache映射，這里把init段，text段，rodata段分為一個族，因?yàn)樗麄兙哂邢嗤臋?quán)限，在進(jìn)程加載的時候，會映射到代碼段的VMA中。

數(shù)據(jù)段的VMA屬于匿名映射，bss，data段具有相同的權(quán)限，在OS加載時，會映射到數(shù)據(jù)段的VMA中。

從數(shù)據(jù)段開始的地方就屬于堆空間，我們在程序中用malloc分配了100K空間，這100K大小，也是在堆空間有對應(yīng)的位置存在。

另外就是棧的VMA，進(jìn)程有屬于自己的VMA的棧。

以上就介紹了進(jìn)程的ELF如何和進(jìn)程的地址空間映射起來的。

64位系統(tǒng)的布局圖

64位系統(tǒng)可以訪問的空間就變得很大了。不過是ARM還是X86，實(shí)際的物理地址都不會用到64根地址線，通常是使用了48根地址線。而且，劃分的用戶空間和內(nèi)核空間都是非常大的。

大家可以看這張圖，把空間分為了三部分，一部分是內(nèi)核空間，一部分是非規(guī)范區(qū)域（大家都不使用的），最后是用戶空間。

用戶空間：0x0000_0000_0000_0000到0x0000_ffff_ffff_ffff，一共有256TB。

非規(guī)范區(qū)域

內(nèi)核空間：0xffff_0000_0000_0000到0xffff_ffff_ffff_ffff。一共有256TB。

內(nèi)核空間又做了如下細(xì)分：

vmalloc區(qū)域：vmalloc函數(shù)使用的虛擬地址空間，kernel image也在vmalloc區(qū)域，內(nèi)核鏡像的起始地址 = KIMAGE_ADDR + TEXT_OFFSET， TEXT_OFFSET是內(nèi)存中的內(nèi)核鏡像相對內(nèi)存起始位置的偏移。

vmemmap區(qū)域：內(nèi)存的物理地址如果不連續(xù)的話，就會存在內(nèi)存空洞（稀疏內(nèi)存），vmemmap就用來存放稀疏內(nèi)存的page結(jié)構(gòu)體的數(shù)據(jù)的虛擬地址空間。

PCI I/O區(qū)域：pci設(shè)備的I/O地址空間

Modules區(qū)域：內(nèi)核模塊使用的虛擬地址空間

normal memory線性映射區(qū)：范圍是【0xffff_8000_0000_0000, 0xffff_ffff_ffff_ffff】, 一共有128TB, 但這里代碼對應(yīng)的是memblock_start_of_DRAM()和memblock_end_of_DRAM()函數(shù)。memory根據(jù)實(shí)際物理內(nèi)存大小做了限制，所以memroy顯示了實(shí)際能夠訪問的內(nèi)存區(qū)。

MLM(__phys_to_virt(memblock_start_of_DRAM()),(unsignedlong)high_memory))
high_memory=__va(memblock_end_of_DRAM()-1)+1;

最終是通過dts或acpi中配置的memory節(jié)點(diǎn)確定的。