Linux进程内存管理（一）

linjinhe

修改于 2018-06-06 22:52:15

3.6K0

修改于 2018-06-06 22:52:15

文章被收录于专栏：linjinhe的专栏

本文主要讲用户态进程的内存管理，而不是内核的内存管理。简单地说，就是和 malloc 和 free 相关的内存管理。

简介

Linux 环境下，进程的内存管理器默认是使用 glibc 实现的 ptmalloc 。另外，还有两个比较有名的内存管理器：google 的 tcmalloc 和

fackbook 的 jemalloc 。总体来说， tcmalloc 和 jemalloc 在多核多线程的场景下，性能要优于 ptmalloc 。

HOOK 机制

我们先简单了解一下， malloc 和 free 如何调用到我们自定义的函数。

在 Linux 下，内存管理器一般通过 HOOK 来实现自定义的malloc函数，具体就是通过覆盖__malloc_hook等函数指针来实现。glibc 提供了__malloc_hook、__realloc_hook、__free_hook、__memalign_hook 四个全局函数hook指针。简单地说，就是 malloc 调用的是 __malloc_hook 指针指向的函数，所以 jemalloc 或者 tcmalloc 通过覆盖 __malloc_hook 使程序调用到它们自定义的malloc。

接下来，我们做个小实验，覆盖掉__malloc_hook和__malloc_free。

#include <malloc.h>

// 两个函数声明
static void *my_malloc_hook (size_t, const void *);
static void my_free_hook (void*, const void *);

// 两个全局变量
void* (*old_malloc_hook) (size_t size, const void *caller);
void (*old_free_hook) (void *ptr, const void *caller);

static void my_init (void)
{
  old_malloc_hook = __malloc_hook;
  old_free_hook = __free_hook;
  __malloc_hook = my_malloc_hook;
  __free_hook = my_free_hook;
}

static void* my_malloc_hook (size_t size, const void *caller)
{
  void *result;
  __malloc_hook = old_malloc_hook;
  __free_hook = old_free_hook;
  result = malloc (size);
  old_malloc_hook = __malloc_hook;
  old_free_hook = __free_hook;
  printf ("malloc (%u) returns %p\n", (unsigned int) size, result);
  __malloc_hook = my_malloc_hook;
  __free_hook = my_free_hook;
  return result;
}

static void my_free_hook (void *ptr, const void *caller)
{
  __malloc_hook = old_malloc_hook;
  __free_hook = old_free_hook;
  free (ptr);
  old_malloc_hook = __malloc_hook;
  old_free_hook = __free_hook;
  printf ("freed pointer %p\n", ptr);
  __malloc_hook = my_malloc_hook;
  __free_hook = my_free_hook;
}

int main ()
{
  my_init ();
  void* p = malloc(1);
  free(p);
}

输出：

$ ./mem_hook 
malloc (1) returns 0x1ad2010
freed pointer 0x1ad2010

不过编译的时候编译器告警说这些hook指针已经废弃了（还是可以使用）。这里描述了其它调用自定义malloc函数的方法，有兴趣的话可以尝试一下。

jemalloc 的 HOOK 代码 (jemalloc.c)，不止覆盖了 *_hook 函数指针，还有与

__lib_* 系列函数绑定匿名关系（这应该也是一种覆盖默认函数的方式）。

#if defined(JEMALLOC_IS_MALLOC) && defined(JEMALLOC_GLIBC_MALLOC_HOOK)
/*
 * glibc provides the RTLD_DEEPBIND flag for dlopen which can make it possible
 * to inconsistently reference libc's malloc(3)-compatible functions
 * (https://bugzilla.mozilla.org/show_bug.cgi?id=493541).
 *
 * These definitions interpose hooks in glibc.  The functions are actually
 * passed an extra argument for the caller return address, which will be
 * ignored.
 */
JEMALLOC_EXPORT void (*__free_hook)(void *ptr) = je_free;
JEMALLOC_EXPORT void *(*__malloc_hook)(size_t size) = je_malloc;
JEMALLOC_EXPORT void *(*__realloc_hook)(void *ptr, size_t size) = je_realloc;
#  ifdef JEMALLOC_GLIBC_MEMALIGN_HOOK
JEMALLOC_EXPORT void *(*__memalign_hook)(size_t alignment, size_t size) =
    je_memalign;
#  endif

#  ifdef CPU_COUNT
/*
 * To enable static linking with glibc, the libc specific malloc interface must
 * be implemented also, so none of glibc's malloc.o functions are added to the
 * link.
 */
#    define ALIAS(je_fn)    __attribute__((alias (#je_fn), used))
/* To force macro expansion of je_ prefix before stringification. */
#    define PREALIAS(je_fn) ALIAS(je_fn)
#    ifdef JEMALLOC_OVERRIDE___LIBC_CALLOC
void *__libc_calloc(size_t n, size_t size) PREALIAS(je_calloc);
#    endif
#    ifdef JEMALLOC_OVERRIDE___LIBC_FREE
void __libc_free(void* ptr) PREALIAS(je_free);
#    endif
#    ifdef JEMALLOC_OVERRIDE___LIBC_MALLOC
void *__libc_malloc(size_t size) PREALIAS(je_malloc);
#    endif
#    ifdef JEMALLOC_OVERRIDE___LIBC_MEMALIGN
void *__libc_memalign(size_t align, size_t s) PREALIAS(je_memalign);
#    endif
#    ifdef JEMALLOC_OVERRIDE___LIBC_REALLOC
void *__libc_realloc(void* ptr, size_t size) PREALIAS(je_realloc);
#    endif
#    ifdef JEMALLOC_OVERRIDE___LIBC_VALLOC
void *__libc_valloc(size_t size) PREALIAS(je_valloc);
#    endif
#    ifdef JEMALLOC_OVERRIDE___POSIX_MEMALIGN
int __posix_memalign(void** r, size_t a, size_t s) PREALIAS(je_posix_memalign);
#    endif
#    undef PREALIAS
#    undef ALIAS
#  endif
#endif

jemalloc

后面，我们以 jemalloc 为例子对进程的内存管理器进行简单的学习。

从 github 下载 jemalloc 的代码。

git clone https://github.com/jemalloc/jemalloc.git

编译安装 jemalloc。

$ ./autogen.sh
$ ./configure --enable-debug
$ make
$ sudo make install_bin install_include install_lib
$ sudo ldconfig # 刷新动态库路径信息

例子

#include <malloc.h>

void func()
{
    void* p = malloc(1);
    free(p);
}

int main(int argc, char ** argv)
{
   func();
}

编译链接到 jemalloc

gcc -g -o mem_test mem_test.c  -ljemalloc  # 链接jemalloc

查看链接到的动态库

$ ldd mem_test
    linux-vdso.so.1 =>  (0x00007ffedc246000)
    libjemalloc.so.2 => /usr/local/lib/libjemalloc.so.2 (0x00007fb32f629000)
    libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007fb32f25f000)
    libm.so.6 => /lib/x86_64-linux-gnu/libm.so.6 (0x00007fb32ef56000)
    libstdc++.so.6 => /usr/lib/x86_64-linux-gnu/libstdc++.so.6 (0x00007fb32ebd4000)
    libpthread.so.0 => /lib/x86_64-linux-gnu/libpthread.so.0 (0x00007fb32e9b7000)
    libdl.so.2 => /lib/x86_64-linux-gnu/libdl.so.2 (0x00007fb32e7b3000)
    libgcc_s.so.1 => /lib/x86_64-linux-gnu/libgcc_s.so.1 (0x00007fb32e59d000)
    /lib64/ld-linux-x86-64.so.2 (0x00007fb32faed000)

加入编译命令没有指定 jemalloc，默认链接到 ptmalloc

gcc -g -o mem_test mem_test.c  # 默认链接ptmalloc

则链接到的动态库为：

$ ldd mem_test
    linux-vdso.so.1 =>  (0x00007ffdb0b09000)
    libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007f39e832c000)
    /lib64/ld-linux-x86-64.so.2 (0x00007f39e86f6000)

参考文档

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2017.09.09 ，如有侵权请联系 cloudcommunity@tencent.com 删除

其他

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

其他

登录后参与评论

0 条评论

热度