Linux 操作系统中的 " 堆内存 “ 是通过 malloc 等函数 ” 动态分配 " 的 内存区域 ;
glibc 提供的 ptmalloc 函数 , FreeBSD 提供的 jemalloc 函数 , Google 提供的 tcmalloc 函数 ,
~/Downloads/research/linux-5.15.4/mm/mmap.c
① brk 系统调用 : 该方式本质是 设置 " 进程数据段 “ 的 结束地址 , 将该 ” 结束地址 " 向 高或低 移动 , 实现堆内存的 扩张或收缩 ;
Linux的内存管理分为 虚拟内存管理 和 物理内存管理，本文主要介绍 虚拟内存管理 的原理和实现。在介绍 虚拟内存管理 前，首先介绍一下 x86 CPU 内存寻址的具体过程。
在《你真的理解内存分配》一文中，我们介绍了 malloc 申请内存的原理，但其在内核怎么实现的呢？所以，本文主要分析在 Linux 内核中对堆内存分配的实现过程。
① 用户应用程序调用 : 开发者 在 " 用户空间 “ 的 应用程序 中调用 malloc 等函数 , 申请 动态分配 ” 堆内存 " ,
mm_struct 结构体 在 Linux 源码 linux-4.12\include\linux\mm_types.h#359 位置 ;
图中，0xC0000000开始的最高1G空间是内核地址空间，剩下3G空间是用户态空间。用户态空间从上到下依次为stack栈(向下增长)、mmap(匿名文件映射区)、Heap堆(向上增长)、bss数据段、数据段、只读代码段。
使用 malloc 函数申请内存原理 : " 堆内存 " 动态分配 的 系统调用 过程 ;
内存是计算机中必不可少的资源，因为 CPU 只能直接读取内存中的数据，所以当 CPU 需要读取外部设备（如硬盘）的数据时，必须先把数据加载到内存中。
通过《Linxu进程的内存管理》，我们知道了进程内存的最小单位是vma，根据不同的用处又划分了不同类型的vma，比如
内存的申请释放对程序员来说就像空气一样自然，你几乎不怎么能意识到，有时你意识不到的东西却无比重要，申请过这么多内存，你知道申请内存时底层都发生什么了吗？
这是虚拟内存系列文章的第四篇，也是最后一篇。 本文主要介绍malloc和heap相关知识，以便回答上一篇文章结尾提出的一些问题:
之前写过一篇文章 Linux下c语言中的main函数是如何被调用的，该篇文章侧重于从user space层面讲程序的运行，而文章中提到的有关kernel space层面的相关系统调用，比如fork、execve等，都被一笔带过。
2017年末，手Q春节红包项目期间，为保障活动期间服务正常稳定，我对性能不佳的Ark Server进行了改造和重写。重编发布一段时间后，结果发现新发布的Svr的机器内存一直在上涨。如下图示：
kprobe 是一种动态调试机制，用于debugging，动态跟踪，性能分析，动态修改内核行为等，2004年由IBM发布，是名为Dprobes工具集的底层实现机制[1][2]，2005年合入Linux kernel。probe的含义是像一个探针，可以不修改分析对象源码的情况下，获取Kernel的运行时信息。
以交友平台用户中心的user表为例，单表数据规模达到千万级别时，你可能会发现使用用户筛选功能查询用户变得非常非常慢，明明查询命中了索引，但是，部分查询还是很慢，这时候，我们就需要考虑拆分这张user表了。
在32位Linux内核中，每个用户进程拥有3GB的虚拟空间。内核如何为用户空间来划分这3GB的虚拟空间呢？用户进程的可执行文件由代码段和数据段组成，数据段包括所有静态分配的数据空间，例如全局变量和静态局部变量等。这些空间在可执行文件装载时，内核就为其分配好这些空间，包括虚拟地址和物理页面，并建立好两者的映射关系。如图2.15所示，用户进程的用户栈从3GB虚拟空间的顶部开始，由顶向下延伸，而brk分配的空间是从数据段的顶部end_data到用户栈的底部。所以动态分配空间是从进程的end_data开始，每次分配一块空间，就把这个边界往上推进一段，同时内核和进程都会记录当前边界的位置。
有个叫atest的东西 ls -l atest 查不出来是什么 下面删也删不掉 但是可以用mv改名字，它放在/目录下，用ls /导致不能显示 如果操作，请大侠指点， 顺便问下什么时候会导致ls / 不显示，谢谢！ # s
面试的时候经常会被问到 malloc 的实现。从操作系统层面来说，malloc 确实是考察面试者对操作系统底层的存储管理理解的一个很好的方式，涉及到虚拟内存、分页/分段等。下面逐个细说。
#include <stdio.h> #include <stdlib.h> #include <unistd.h> // #include <malloc.h> // int mallopt(int param, int value); // info mallopt, 一些系统可以man mallopt // M_TRIM_THRESHOLD: 紧缩内存阈值，对应的环境变量为MALLOC_TRIM_THRESHOLD_ // M_
成功是急不来的。不计较眼前得失，将注意力真正着眼于正在做的事情本身，持续付出努力，才能一步步向前迈进，逐渐达到理想的目标。不着急，才能从容不迫，结果自会水到渠成。
一种是固定的、静态的连接，就是把需要用到的库函数的目标代码（二进制）代码从程序库中抽取出来，链接进应用软件的目标映像中；
进程启动后，在 jemalloc 载入的时候会调用 jemalloc_constructor 执行一些初始化操作。这里利用了编译器的一些特殊支持，让函数在库加载的时候就执行了，有兴趣的可以根据代码看看 jemalloc_constructor 做了些什么。
我们会通过/proc文件系统找到正在运行的进程的字符串所在的虚拟内存地址，并通过更改此内存地址的内容来更改字符串内容，使你更深入了解虚拟内存这个概念！这之前先介绍下虚拟内存的定义！
内存映射mmap是Linux内核的一个重要机制，它和虚拟内存管理以及文件IO都有直接的关系，这篇细说一下mmap的一些要点。
摊牌了，不装了，其实我是程序喵辛苦工作一天还要回家编辑公众号到大半夜的老婆，希望各位大哥能踊跃转发，完成我一千阅读量的KPI（梦想），谢谢！
很早之前写了一篇图解虚拟内存的文章：真棒！20 张图揭开内存管理的迷雾，瞬间豁然开朗
随着cpu技术发展，现在大部分移动设备、PC、服务器都已经使用上64bit的CPU，但是关于Linux内核的虚拟内存管理，还停留在历史的用户态与内核态虚拟内存3:1的观念中，导致在解决一些内存问题时存在误解。
本文想和大家来探讨一下JVM是如何对堆内存进行管理和垃圾回收,相关书籍如深入理解JVM第三版中已经介绍过了相关的垃圾回收算法及其实现,但是基于文字介绍无法让大家对垃圾回收有具象的理解，所以本文想从c内存模式和malloc函数介绍起,带领大家回顾一下如何使用c语言完成堆内存的申请和释放。
首先看linux进程在32位处理器下的虚拟空间内存布局，以i386 32位机器为例
https://www.cnblogs.com/poloyy/category/1806772.html
最近在维护一台CentOS服务器的时候，发现内存无端"损失"了许多，free和ps统计的结果相差十几个G，搞的我一度又以为遇到灵异事件了，后来Google了许久才搞明白，特此记录一下，以供日后查询。
一个进程的虚拟地址空间主要由两个数据结来描述，一个是 mm_struct，一个是 vm_area_structs。
对性能不佳的Ark Server进行了改造和重写。重编发布一段时间后，结果发现新发布的Svr的机器内存一直在上涨。如下图示：
谈到malloc函数相信学过c语言的人都很熟悉，但是malloc底层到底做了什么又有多少人知道。 1、关于malloc相关的几个函数 关于malloc我们进入Linux man一下就会得到如下结果：
开源摘星计划（WeOpen Star） 是由腾源会 2022 年推出的全新项目，旨在为开源人提供成长激励，为开源项目提供成长支持，助力开发者更好地了解开源，更快地跨越鸿沟，参与到开源的具体贡献与实践中。
C语言提供了动态内存管理功能, 在C语言中, 程序员可以使用 malloc() 和 free() 函数显式的分配和释放内存. 关于 malloc() 和free() 函数, C语言标准只是规定了它们需要实现的功能, 而没有对实现方式有什么限制, 这多少让那些追根究底的人感到有些许迷茫, 比如对于 free() 函数, 它规定一旦一个内存区域被释放掉, 那么就不应该再对其进行任何引用, 任何对释放区域的引用都会导致不可预知的后果 (unperdictable effects). 那么, 到底是什么样的不可预知后果呢? 这完全取决于内存分配器(memory allocator)使用的算法. 这篇文章试图对 Linux glibc 提供的 allocator 的工作方式进行一些描述, 并希望可以解答上述类似的问题. 虽然这里的描述局限于特定的平台, 但一般的事实是, 相同功能的软件基本上都会采用相似的技术. 这里所描述的原理也许在别的环境下会仍然有效. 另外还要强调的一点是, 本文只是侧重于一般原理的描述, 而不会过分纠缠于细节, 如果需要特定的细节知识, 请参考特定 allocator 的源代码. 最后, 本文描述的硬件平台是 Intel 80x86, 其中涉及的有些原理和数据可能是平台相关的.
内核和处理器负责将虚拟内存映射到物理内存。为了提高效率，会在称为页面的内存组中创建内存映射，其中每个页面的大小是处理器的详细信息。尽管大多数处理器也支持更大的容量，但通常有4 KB，Linux称其为 hugepage大页面。内核可以从其自己的空闲列表中为物理内存页面请求提供服务，内核为每个DRAM组和CPU维护这些请求以提高效率。内核自己的软件也通常通过内核分配器(例如slab分配器)从这些空闲列表中消耗内存。
exp算是一个经典的数据导出工具了。对于小数量的表来说，个人还是比较钟爱exp。毕竟expdp还需要配置directory而且还在服务端。exp在数据量小的情况下速度还是很理想的。 关于exp导出的这个问题，已经拖了很久了，自己也排查了各种方法。通过查看wait event，查看exp的debug日志，都没有得出一些很有说服力的内容，今天下定决心来细细琢磨琢磨这个问题。有了一点收获。 之前在测试系统中碰到一个问题，导出一个比较大的分区表，分区数很多，其中有些分区里面没有数据，但是通过exp导出这些没有数据
1 压力测试过程中，发现被测对象性能不够理想，具体表现为： 进程的系统态CPU消耗20，用户态CPU消耗10，系统idle大约70 2 用ps -o majflt,minflt -C program命令查看(pidstat也可以)，
kprobe机制用于在内核中动态添加一些探测点，可以满足一些调试需求。本文主要探寻kprobe的执行路径，也就是说如何trap到kprobe，以及如何回到原路径继续执行。
⑤ 堆内存 : 通过 malloc brk vmalloc 等函数 申请的 动态分配 的内存 ;
Linux内核给每个进程都提供了一个独立的虚拟地址空间，并且这个地址空间是连续的。Linux的空间又分为内核空间和用户空间，在32位中，内核空间占1G，用户空间占3G；而在64位中，内核空间和用户空间各占128T。如图3-24所示。
目前大部分的操作系统和应用程序并不需要16EB( 2^64 )如此巨大的地址空间, 实现64位长的地址只会增加系统的复杂度和地址转换的成本, 带不来任何好处. 所以目前的x86-64架构CPU都遵循AMD的Canonical form, 即只有虚拟地址的最低48位才会在地址转换时被使用, 且任何虚拟地址的48位至63位必须与47位一致(sign extension). 也就是说, 总的虚拟地址空间为256TB( 2^48 ）
爱可生 DBA 团队成员，擅长故障分析、性能优化，个人博客：https://www.jianshu.com/u/a95ec11f67a8，欢迎讨论。
本文来源：原创投稿 *爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。
特此声明：在本文中，引用另一篇文章和帖子，结合的概括的理解malloc()函数的实现机制。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
