Kernel 内存管理

AArch64 Linux通常使用以下配置：

4KB页面，使用3级或4级转换表，支持39位（512GB）或48位（256TB）的虚拟地址。
64KB页面，使用2级转换表，支持42位（4TB）虚拟地址

他们的内存布局是一致的

以内核defconfig默认的4KB page + 4 levels配置为例，LINUX在arm架构上把虚拟地址空间划分为2个空间, 虚拟地址和内核地址，每个空间最大支持256TB.

start                                            end                                                     Size              Use

0x0000_0000_0000_0000          0x0000_FFFF_FFFF_FFFF              256TB            user

0xFFFF_0000_0000_0000          0xFFFF_FFFF_FFFF_FFFF             256TB            kernel

引用：Memory Layout on AArch64 Linux

宏开关配置：

VA_BITS=48，PAGE_SIZE=4k

CONFIG_ARM64_VA_BITS_48=y

CONFIG_ARM64_VA_BITS=48

CONFIG_ARM64_4K_PAGES=y

宏定义：

Kernel4.0 aarch64

代码路径：arch/arm64/include/asm/memory.h

#define VA_BITS				(CONFIG_ARM64_VA_BITS)

#define PAGE_OFFSET			(UL(0xffffffffffffffff) << (VA_BITS - 1))

#define MODULES_END			(PAGE_OFFSET)

#define MODULES_VADDR	(MODULES_END - SZ_64M)

#define PCI_IO_END			(MODULES_VADDR - SZ_2M)

#define PCI_IO_START		(PCI_IO_END - PCI_IO_SIZE)

#define FIXADDR_TOP			(PCI_IO_START - SZ_2M)

#define TASK_SIZE_64		(UL(1) << VA_BITS)

代码路径：arch/arm64/include/asm/pgtable.h

//（例如VA_BITS=48, PAGE_SHIFT=12的情况下）
//(1UL << (VA_BITS - PAGE_SHIFT)) 表示48位的有效虚拟地址，一共可以表示多数个page页
//再乘以sizeof(struct page), 表示需要多数内存来存储struct page
//也就是说VMEMMAP是用来存储所有页面的struct page结构体的

#define VMEMMAP_SIZE		ALIGN((1UL << (VA_BITS - PAGE_SHIFT)) * sizeof(struct page), PUD_SIZE)

#define VMALLOC_START		(UL(0xffffffffffffffff) << VA_BITS)

#define VMALLOC_END		(PAGE_OFFSET - PUD_SIZE - VMEMMAP_SIZE - SZ_64K)

代码路径：arch/arm64/include/asm/fixmap.h

#define FIXADDR_SIZE	(__end_of_permanent_fixed_addresses << PAGE_SHIFT)

#define FIXADDR_START	(FIXADDR_TOP - FIXADDR_SIZE)

计算各个区的地址：

VA_BITS=48

.

PAGE_OFFSET = (UL(0xffffffffffffffff) « (VA_BITS - 1)) = 0xFFFF800000000000

.

MODULES_END = PAGE_OFFSET = 0xFFFF800000000000

.

MODULES_VADDR = (MODULES_END - SZ_64M) = 0xFFFF800000000000 - 0x04000000 = 0xFFFF7FFFFC000000

.

PCI_IO_END = (MODULES_VADDR - SZ_2M) = 0xFFFF7FFFFC000000 - 0x00200000 = 0xFFFF7FFFFBE00000

.

PCI_IO_SIZE = SZ_16M = 0x01000000

.

PCI_IO_START = (PCI_IO_END - PCI_IO_SIZE) = 0xFFFF7FFFFBE00000 - 0x01000000 =0xFFFF7FFFFAE00000

.

PUD_SIZE = 0x40000000

.

VMEMMAP_SIZE = ALIGN((1UL « (VA_BITS - PAGE_SHIFT)) * sizeof(struct page), PUD_SIZE) = 0x40000000000

.

VMALLOC_START = (UL(0xffffffffffffffff) « VA_BITS) = 0xFFFF000000000000

.

VMALLOC_END = (PAGE_OFFSET - PUD_SIZE - VMEMMAP_SIZE - SZ_64K) = 0xFFFF800000000000 - 0x40000000 - 0x40000000000 - 0x00010000 = 0xFFFF7BFFBFFF0000

.

FIXADDR_SIZE = (__end_of_permanent_fixed_addresses « PAGE_SHIFT) = 2«12 =0x2000

.

FIXADDR_START = (FIXADDR_TOP - FIXADDR_SIZE) = (PCI_IO_START - SZ_2M) - FIXADDR_SIZE = 0xFFFF_7FFF_FAE0_0000 - 0x20_0000 - 0x2000 = 0xFFFF7FFFFABFE000

.

.

QEMU + AARCH64 + 2G内存内核输出内存布局信息：

内存布局图

知识点：

kasan:

KASAN是一个动态检测内存错误的工具, 原理是利用额外的内存标记可用内存的状态. 
这部分额外的内存被称作shadow memory（影子区）。
KASAN将1/8的内存用作shadow memory。

modules:

128MB的内核模块区域，是内核模块使用的虚拟地址空间

vmalloc:

vmalloc函数使用的虚拟地址空间，kernel image也在vmalloc区域，
内核镜像的起始地址 = KIMAGE_ADDR + TEXT_OFFSET， TEXT_OFFSET是内存中的内核镜像相对内存起始位置的偏移。

内核镜像相关

.text:

代码段。 _text是代码段的起始地址，_etext是结束地址， kernel image放在这段位置。

.rodata：

read-only-data. 常量区，存放程序中定义为const的全局变量。

.init:

对应大部分模块初始化的数据，初始化结束后就会释放这部分内存。

.data:

数据段。 包含内核大部分已初始化的全局变量。

.bss:

静态内存分配段。 包含所有未初始化或初始化为0的静态全局变量。

fixed:

固定映射区。 在内核的启动过程中，有些模块需要使用虚拟内存并mapping到指定的物理地址上，
而且，这些模块也没有办法等待完整的内存管理模块初始化之后再进行地址映射。
因此，linux kernel固定分配了一些fixmap的虚拟地址，这些地址有固定的用途，使用该地址的模块在初始化的时候，
将这些固定分配的地址mapping到指定的物理地址上去。（Fix-Mapped Addresses）

PCI I/O:

pci设备的I/O地址空间

vmemmap:

内存的物理地址如果不连续的话，就会存在内存空洞（稀疏内存），vmemmap就用来存放稀疏内存的page结构体的数据的虚拟地址空间。

memory：

线性映射区，范围是【0xffff_8000_0000_0000, 0xffff_ffff_ffff_ffff】, 一共有128TB, 
但这里代码对应的是memblock_start_of_DRAM()和memblock_end_of_DRAM()函数。
memory根据实际物理内存大小做了限制，所以memroy显示了实际能够访问的内存区

关于地址转换

__virt_to_phys():

	.ltorg

	.align	3
	.type	__switch_data, %object
__switch_data:
	.quad	__mmap_switched
	.quad	__bss_start			// x6
	.quad	__bss_stop			// x7
	.quad	processor_id			// x4
	.quad	__fdt_pointer			// x5
	.quad	memstart_addr			// x6
	.quad	init_thread_union + THREAD_START_SP // sp

/*
 * The following fragment of code is executed with the MMU on in MMU mode, and
 * uses absolute addresses; this is not position independent.
 */
__mmap_switched:
	adr	x3, __switch_data + 8

	ldp	x6, x7, [x3], #16
1:	cmp	x6, x7
	b.hs	2f
	str	xzr, [x6], #8			// Clear BSS
	b	1b
2:
	ldp	x4, x5, [x3], #16
	ldr	x6, [x3], #8
	ldr	x16, [x3]
	mov	sp, x16
	str	x22, [x4]			// Save processor ID
	str	x21, [x5]			// Save FDT pointer
	str	x24, [x6]			// Save PHYS_OFFSET
	mov	x29, #0
	b	start_kernel
ENDPROC(__mmap_switched)

------------------------------------------------------------

/*
 * Calculate the start of physical memory.
 */
__calc_phys_offset:
// adr伪指令用于将一个地址加载到寄存器，
// 取到的是相对于PC寄存器的地址，由于此刻PC寄存器中值是物理地址，
// 所以x0中取到的即是标号1处的物理地址
	adr	x0, 1f 
// 将标号1处的的前八字节（.的虚拟地址）给x1，后八字节即PAGE_OFFSET给x2
	ldp	x1, x2, [x0]

// .处的物理地址减去虚拟地址，即x28中保存的是物理地址相对虚拟地址的偏移	  
	sub	x28, x0, x1

// 计算出kernel image起始的物理地址给x24
// PAGE_OFFSET+虚拟地址与物理地址偏移	   
	add	x24, x2, x28  
	ret
ENDPROC(__calc_phys_offset)
	.align 3
 
// 用来定义一个quad word也就是4字（8字节），“.”表示当前虚拟地址  
1:	.quad	.
//此处是说将PAGE_OFFSET放置在这个位置，占用8个字节
	.quad	PAGE_OFFSE

__calc_phys_offset的主要作用就是通过计算物理地址与虚拟地址偏移，保存到x28, 而kernel image的虚拟地址为PAGE_OFFSET，因此可以获知kernel image的物理地址，将kernel image的物理地址保存到x24中

#define PHYS_OFFSET		({ memstart_addr; })
PHYS_OFFSET = 0x4000_0000
PAGE_OFFSET = (UL(0xffffffffffffffff) << (VA_BITS - 1)) = 0xFFFF_8000_0000_0000
#define __virt_to_phys(x)	(((phys_addr_t)(x) - PAGE_OFFSET + PHYS_OFFSET))

实例：

在内核定义一个变量bits,获取其虚拟地址然后调用__virt_to_phys转换成物理地址

int bits=0;

phys_addr_t test= __virt_to_phys(&bits);

&bits = 0xffff800000ed3eb4

test = 0xffff800000ed3eb4 - PAGE_OFFSET + PHYS_OFFSET = 0xffff_8000_00ed_3eb4 - 0xFFFF_8000_0000_0000 + 0x4000_0000 = 0x40ed_3eb4

AARCH64 、 Kernel5.11.0-rc2 内存布局

源码宏定义：

计算原理同上

内存布局图

地址转换的差异：

/*
 * The linear kernel range starts at the bottom of the virtual address space.
 */
 
#define __is_lm_address(addr)	(((u64)(addr) & ~PAGE_OFFSET) < (PAGE_END - PAGE_OFFSET))

#define __lm_to_phys(addr)	(((addr) & ~PAGE_OFFSET) + PHYS_OFFSET)

#define __kimg_to_phys(addr)	((addr) - kimage_voffset)

#define __virt_to_phys_nodebug(x) ({				

	phys_addr_t __x = (phys_addr_t)(__tag_reset(x));
	
	__is_lm_address(__x) ? __lm_to_phys(__x) : __kimg_to_phys(__x);
	
})

#define __virt_to_phys(x)	__virt_to_phys_nodebug(x)

#define __phys_addr_symbol(x)	__pa_symbol_nodebug(x)

//-------------------------
__virt_to_phys()函数调用__is_lm_address()判断地址类型
PAGE_OFFSET=0xFFFF0000_0000_0000 ， 那么~PAGE_OFFSET=0x0000_FFFF_FFFF_FFFF
PAGE_END=0xFFFF_8000_0000_0000
PHYS_OFFSET=0x4000_0000
所以：__is_lm_address(addr) = (((u64)(addr) & 0x0000_FFFF_FFFF_FFFF) < (0xFFFF_8000_0000_0000 - 0xFFFF_0000_0000_0000))

1.当__is_lm_address(addr)==1时，即 addr & 0x0000_FFFF_FFFF_FFFF 大于 0x0000_0000_0000 并且 小于0x8000_0000_0000 
	调用__lm_to_phys(addr)计算物理地址
	例如在kernel中：
	int *test = (int *)kmalloc(sizeof(int),GFP_KERNEL);
	// (gdb) p /x test
	// test = 0xFFFF_0000_0141_CD00，即（0xFFFF_0000_0141_CD00 &0x0000_FFFF_FFFF_FFFF）< (0xFFFF_8000_0000_0000 - 0xFFFF_0000_0000_0000) = 0x0141_CD00 < 0x8000_0000_0000 成立，即 __is_lm_address(addr) = 1
	所以__lm_to_phys(addr)=(((addr) & ~PAGE_OFFSET) + PHYS_OFFSET)=（0xFFFF_0000_0141_CD00 &0x0000_FFFF_FFFF_FFFF）+ 0x4000_0000 = 0x0141_CD00 + 0x4000_0000 = 0x4141_CD00

2.当__is_lm_address(addr)==0时，即 addr & 0x0000_FFFF_FFFF_FFFF 大于 0x8000_0000_0000
	调用__kimg_to_phys(addr)计算物理地址
	例如全局变量swapper_pg_dir：
	swapper_pg_dir = 0xFFFF_8000_10AA_7000 ,即0xFFFF_8000_10AA_7000 & 0x0000_FFFF_FFFF_FFFF）= 0x8000_10AA_7000 < 0x8000_0000_0000 不成立 ，即 __is_lm_address(addr) = 0
	所以__kimg_to_phys(addr) = 0xFFFF_8000_10AA_7000 - kimage_voffset = 0xFFFF_8000_10AA_7000 - 0xFFFF_7FFF_CFE0_0000 = 0x40CA_7000
	

Kernel 内存管理

Kernel 内存管理

AArch64 Linux通常使用以下配置：

宏开关配置：

宏定义：

QEMU + AARCH64 + 2G内存内核输出内存布局信息：

内存布局图

知识点：

kasan:

modules:

vmalloc:

内核镜像相关

.text:

.rodata：

.init:

.data:

.bss:

fixed:

PCI I/O:

vmemmap:

memory：

关于地址转换

__virt_to_phys():

实例：

AARCH64 、 Kernel5.11.0-rc2 内存布局

源码宏定义：

内存布局图

地址转换的差异：

CATALOG

FEATURED TAGS

FRIENDS