Linux进程内存管理（二）

简单记录一下内存管理器的基本原理。这里就不深入代码内部了。

内存管理器的初始化

进程启动后，在 jemalloc 载入的时候会调用 jemalloc_constructor 执行一些初始化操作。这里利用了编译器的一些特殊支持，让函数在库加载的时候就执行了，有兴趣的可以根据代码看看 jemalloc_constructor 做了些什么。

分配内存

层级结构

jemalloc 的内存管理采用层级结构，分别是 tcache（线程缓存），arena（分配区）和系统内存（system memory）。

• tcache : 每个线程对应一个 tcache ，负责当前线程使用内存块的快速申请和释放，避免线程间锁的竞争和同步。
• arena : 将内存切分成多个类别的固定大小，采用内存池的方式对内存区域进行管理，降低内存碎片。
• system memory : 其实就是内核管理的内存区域。

大小分类

jemalloc 将分配请求按照请求内存的大小分为三类：small, large, huge。（这里请求的内存大小是进行内存对齐后的大小，不一定等于调用方请求的大小。）

简单地说：

• small object : 当 size <= SMALL_MAXCLASS 时，为 small object。
• large object : 当 size <= tcache_maxclass 时，为large object。
• huge object: 当 size > tcache_maxclass 时，为 huge object。

分配基本逻辑

jemalloc 内存分配的基本逻辑在函数 arena_malloc 中，在这里根据是否支持tcache和请求的size大小，进行一次分发。基本逻辑如下：

1. tcache != NULL 且 size <= SMALL_MAXCLASS，内存分配逻辑为 tcache_alloc_small 。
2. tcache != NULL 且 size <= tcache_maxclass，内存分配逻辑为 tcache_alloc_large 。
3. 其它的全部走 arena_alloc_hard 。

arena_malloc

简单总结一下：

1. jemalloc 实现了 tcache，为每个线程维护一份常用的小内存块，减少线程间的并发冲突开销。
2. jemalloc 实现了 arena，维护一个由多种固定大小的内存块组成的内存池，减少外部碎片；同时减少调用系统调用（brk/sbrk/mmap/munmap）的次数，提高内存分配器的性能。
3. small object 和 large object 的分配流程为：1）先从 tcache 分配；2）tcache 分配不成功，从 arena 分配；3） arena 不成功，从 system memory 分配。
4. small object 和 large object 的一个区别在于：分配 small object 的时候，如果是从arena 或 memory system 进行分配的话，会分配多一些内存，多余的内存由 tcache 进行缓存，下一次请求可以使用；分配 large object 的时候，只会分配申请的内存。
5. 分配 huge object 的时候，直接采用 mmap 从 system memory 中申请，并独立维护。

jemalloc 的层级结构

回收内存

内存回收的逻辑和内存分配的逻辑刚好相反。

1. small object 和 large object 回收的时候，先放回 tcache。
2. huge object 回收的时候，直接调用 munmap 将内存释放给内核就行。
3. tcahe 缓存的内存满时会触发释放到 arena；arena 缓存的内存满时会触发释放到 system memory。

更多细节可以参考代码实现 je_free 。

相关系统调用

接下来，介绍一下内存分配器相关的系统调用：

• brk/sbrk
• mmap

在介绍这几个系统调用之前，需要先对进程的内存布局有所认识。

64位进程内存布局

上图是一个 Linux 64位进程的地址空间布局的简图，jemalloc 能管理的就是 Heap 和 Memory map 两块的内存。

• Text，存储程序的二进制代码。
• Data，存储已初始化的全局数据。
• BSS，存储未初始化的全局数据。
• 几个随机起始地址主要用于防止溢出攻击。

brk/sbrk

#include <unistd.h>

int brk(void *addr);

void *sbrk(intptr_t increment);

brk() and sbrk() change the location of the program break, which defines the end of the process's data segment (i.e., the program break is the first location after the end of the uninitialized data segment). Increasing the program break has the effect of allocating memory to the process; decreasing the break deallocates memory.

简单地说，brk() 和 sbrk() 就是修改上图所示的Heap的结束地址。注意，为了防止“溢出攻击”，Heap 的起始地址是随机的。

mmap

void * mmap(void *start, size_t length, int prot , int flags, int fd, off_t offset);

mmap 的作用就是在 Memory map 段建立一个内存与文件、设备等的映射，也可以建立匿名映射（共享内存），然后就可以使用这块内存。

小结

1. jemalloc 通过 tcache => arena => system memory 这样的三层结构：1）提高了在多核多线程环境下的扩展性；2）减少内存的外部碎片；3）减少系统调用，提高分配效率。
2. 使用 arena 维护多种固定大小的内存块组成的内存池也会带来一些问题，比如：1）存在内存内部碎片；2）维护内存池带来的额外开销。问题1）对于通用应用程序来说，一般问题不大。极端情况下，可以根据自己的应用场景调整内存块的大小分布。对于问题2），jemalloc 通过优化，同样可以把这些开销控制在可以接受的范围内。
3. 一般情况下，我们只需要使用 jemalloc 或 tcmalloc 提供的内存分配和回收策略就可以了，没必要自己维护 memory pool。至于极端情况，至少要先通过 profile，确定你的程序的性能瓶颈是在 jemalloc 和 tcmalloc。

参考文档

• jemalloc
• Linux manpage
• jemalloc源码解析-内存管理