Linux进程内存管理(一)

本文主要讲用户态进程的内存管理,而不是内核的内存管理。简单地说,就是和 malloc 和 free 相关的内存管理。

简介

Linux 环境下,进程的内存管理器默认是使用 glibc 实现的 ptmalloc 。另外,还有两个比较有名的内存管理器:google 的 tcmalloc 和

fackbook 的 jemalloc 。总体来说, tcmalloc 和 jemalloc 在多核多线程的场景下,性能要优于 ptmalloc 。

HOOK 机制

我们先简单了解一下, malloc 和 free 如何调用到我们自定义的函数。

在 Linux 下,内存管理器一般通过 HOOK 来实现自定义的malloc函数,具体就是通过覆盖__malloc_hook等函数指针来实现。glibc 提供了__malloc_hook__realloc_hook__free_hook__memalign_hook 四个全局函数hook指针。简单地说,就是 malloc 调用的是 __malloc_hook 指针指向的函数,所以 jemalloc 或者 tcmalloc 通过覆盖 __malloc_hook 使程序调用到它们自定义的malloc。

接下来,我们做个小实验,覆盖掉__malloc_hook和__malloc_free。

#include <malloc.h>

// 两个函数声明
static void *my_malloc_hook (size_t, const void *);
static void my_free_hook (void*, const void *);

// 两个全局变量
void* (*old_malloc_hook) (size_t size, const void *caller);
void (*old_free_hook) (void *ptr, const void *caller);

static void my_init (void)
{
  old_malloc_hook = __malloc_hook;
  old_free_hook = __free_hook;
  __malloc_hook = my_malloc_hook;
  __free_hook = my_free_hook;
}

static void* my_malloc_hook (size_t size, const void *caller)
{
  void *result;
  __malloc_hook = old_malloc_hook;
  __free_hook = old_free_hook;
  result = malloc (size);
  old_malloc_hook = __malloc_hook;
  old_free_hook = __free_hook;
  printf ("malloc (%u) returns %p\n", (unsigned int) size, result);
  __malloc_hook = my_malloc_hook;
  __free_hook = my_free_hook;
  return result;
}

static void my_free_hook (void *ptr, const void *caller)
{
  __malloc_hook = old_malloc_hook;
  __free_hook = old_free_hook;
  free (ptr);
  old_malloc_hook = __malloc_hook;
  old_free_hook = __free_hook;
  printf ("freed pointer %p\n", ptr);
  __malloc_hook = my_malloc_hook;
  __free_hook = my_free_hook;
}

int main ()
{
  my_init ();
  void* p = malloc(1);
  free(p);
}

输出:

$ ./mem_hook 
malloc (1) returns 0x1ad2010
freed pointer 0x1ad2010

不过编译的时候编译器告警说这些hook指针已经废弃了(还是可以使用)。这里描述了其它调用自定义malloc函数的方法,有兴趣的话可以尝试一下。

jemalloc 的 HOOK 代码 (jemalloc.c),不止覆盖了 *_hook 函数指针,还有与

__lib_* 系列函数绑定匿名关系(这应该也是一种覆盖默认函数的方式)。

#if defined(JEMALLOC_IS_MALLOC) && defined(JEMALLOC_GLIBC_MALLOC_HOOK)
/*
 * glibc provides the RTLD_DEEPBIND flag for dlopen which can make it possible
 * to inconsistently reference libc's malloc(3)-compatible functions
 * (https://bugzilla.mozilla.org/show_bug.cgi?id=493541).
 *
 * These definitions interpose hooks in glibc.  The functions are actually
 * passed an extra argument for the caller return address, which will be
 * ignored.
 */
JEMALLOC_EXPORT void (*__free_hook)(void *ptr) = je_free;
JEMALLOC_EXPORT void *(*__malloc_hook)(size_t size) = je_malloc;
JEMALLOC_EXPORT void *(*__realloc_hook)(void *ptr, size_t size) = je_realloc;
#  ifdef JEMALLOC_GLIBC_MEMALIGN_HOOK
JEMALLOC_EXPORT void *(*__memalign_hook)(size_t alignment, size_t size) =
    je_memalign;
#  endif

#  ifdef CPU_COUNT
/*
 * To enable static linking with glibc, the libc specific malloc interface must
 * be implemented also, so none of glibc's malloc.o functions are added to the
 * link.
 */
#    define ALIAS(je_fn)    __attribute__((alias (#je_fn), used))
/* To force macro expansion of je_ prefix before stringification. */
#    define PREALIAS(je_fn) ALIAS(je_fn)
#    ifdef JEMALLOC_OVERRIDE___LIBC_CALLOC
void *__libc_calloc(size_t n, size_t size) PREALIAS(je_calloc);
#    endif
#    ifdef JEMALLOC_OVERRIDE___LIBC_FREE
void __libc_free(void* ptr) PREALIAS(je_free);
#    endif
#    ifdef JEMALLOC_OVERRIDE___LIBC_MALLOC
void *__libc_malloc(size_t size) PREALIAS(je_malloc);
#    endif
#    ifdef JEMALLOC_OVERRIDE___LIBC_MEMALIGN
void *__libc_memalign(size_t align, size_t s) PREALIAS(je_memalign);
#    endif
#    ifdef JEMALLOC_OVERRIDE___LIBC_REALLOC
void *__libc_realloc(void* ptr, size_t size) PREALIAS(je_realloc);
#    endif
#    ifdef JEMALLOC_OVERRIDE___LIBC_VALLOC
void *__libc_valloc(size_t size) PREALIAS(je_valloc);
#    endif
#    ifdef JEMALLOC_OVERRIDE___POSIX_MEMALIGN
int __posix_memalign(void** r, size_t a, size_t s) PREALIAS(je_posix_memalign);
#    endif
#    undef PREALIAS
#    undef ALIAS
#  endif
#endif

jemalloc

后面,我们以 jemalloc 为例子对进程的内存管理器进行简单的学习。

  • 从 github 下载 jemalloc 的代码。
git clone https://github.com/jemalloc/jemalloc.git
  • 编译安装 jemalloc。
$ ./autogen.sh
$ ./configure --enable-debug
$ make
$ sudo make install_bin install_include install_lib
$ sudo ldconfig # 刷新动态库路径信息
  • 例子
#include <malloc.h>

void func()
{
    void* p = malloc(1);
    free(p);
}

int main(int argc, char ** argv)
{
   func();
}

编译链接到 jemalloc

gcc -g -o mem_test mem_test.c  -ljemalloc  # 链接jemalloc

查看链接到的动态库

$ ldd mem_test
    linux-vdso.so.1 =>  (0x00007ffedc246000)
    libjemalloc.so.2 => /usr/local/lib/libjemalloc.so.2 (0x00007fb32f629000)
    libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007fb32f25f000)
    libm.so.6 => /lib/x86_64-linux-gnu/libm.so.6 (0x00007fb32ef56000)
    libstdc++.so.6 => /usr/lib/x86_64-linux-gnu/libstdc++.so.6 (0x00007fb32ebd4000)
    libpthread.so.0 => /lib/x86_64-linux-gnu/libpthread.so.0 (0x00007fb32e9b7000)
    libdl.so.2 => /lib/x86_64-linux-gnu/libdl.so.2 (0x00007fb32e7b3000)
    libgcc_s.so.1 => /lib/x86_64-linux-gnu/libgcc_s.so.1 (0x00007fb32e59d000)
    /lib64/ld-linux-x86-64.so.2 (0x00007fb32faed000)

加入编译命令没有指定 jemalloc,默认链接到 ptmalloc

gcc -g -o mem_test mem_test.c  # 默认链接ptmalloc

则链接到的动态库为:

$ ldd mem_test
    linux-vdso.so.1 =>  (0x00007ffdb0b09000)
    libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007f39e832c000)
    /lib64/ld-linux-x86-64.so.2 (0x00007f39e86f6000)

参考文档

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏跟着阿笨一起玩NET

C# 地磅串口编程

然后最近有一个项目用到了地磅,这里也是通过串口通讯方式进行数据交互,说实话,地磅这东西,实在有点不方便。

1472
来自专栏MasiMaro 的技术博文

windows 安全模型简介

操作系统中有些资源是不能由用户代码直接访问的,比如线程进程,文件等等,这些资源必须由系统级代码由RING3层进入到RING0层操作,并且返回一些标识供用户程序使...

2172
来自专栏Golang语言社区

用Go实现一门解释型语言

A interpreter language implementation in Go

852
来自专栏MasiMaro 的技术博文

WinSock 重叠IO模型

title: WinSock 重叠IO模型 tags: [WinSock 模型, 网络编程, 重叠IO模型] date: 2018-06-29 20:26:...

1502
来自专栏Pythonista

牛掰的python与unix

  加载subprocess模块仅仅是将可以使用的代码文件加载进来。也可以创建自己的模块或文件,拱以后重复使用,这与加载subprocess模块的方法相同。IP...

1052
来自专栏FreeBuf

scapy在wlan中的应用

Scapy 又是scapy,这是python的一个网络编程方面的库,它在wlan中也有很强大的应用。一般我们买块网卡,然后aircrack-ng套件爆破一下邻居...

32310
来自专栏学海无涯

Java Web之Servlet获取表单值

Java Web开发中,最常用的就是在后台获取前台的参数,经典的案例就是 JSP 表单传值到后台的 Servlet,然后在 doGet 或者 doPost 中获...

3264
来自专栏博客园

讲一下Asp.net core MVC2.1 里面的 ApiControllerAttribute

转自:https://www.cnblogs.com/sheldon-lou/p/9495377.html

1102
来自专栏dotnet & java

讲一下Asp.net core MVC2.1 里面的 ApiControllerAttribute

ASP.NET Core MVC 2.1 特意为构建 HTTP API 提供了一些小特性,今天主角就是 ApiControllerAttribute. (注:文...

1242
来自专栏潇涧技术专栏

Android Heroes Reading Notes 4

《Android群英传》读书笔记 (4) 第八章 Activity和Activity调用栈分析 + 第九章 系统信息与安全机制 + 第十章 性能优化

691

扫码关注云+社区