本文为IBM RedBook的Linux Performanceand Tuning Guidelines的1.2节的翻译 原文地址：http://www.redbooks.ibm.com/redpapers/pdfs/redp4285.pdf 原文作者：Eduardo Ciliendo, Takechika Kunimasa, Byron Braswell 1.2 Linux内存架构 为了执行一个进程，Linux内核为请求的进程分配一部分内存区域。该进程使用该内存区域作为其工作区并执行请求的工作。它与你的
在 Linux 内核中 , MMU 内存管理单元 , 主要作用是 将 " 虚拟地址 " 映射到 真实的 " 物理地址 " 中 ,
Redis 的缓存淘汰算法则是通过实现 LFU 算法来避免「缓存污染」而导致缓存命中率下降的问题（Redis 没有预读机制）。
所以我就定义了一个关键字 wsl 的自动回复，不过还是将二更的文章发给了朋友，又说了下设置开机自启动在一更的文章里。
本文涉及的硬件平台是X86，如果是其他平台的话，如ARM，是会使用到MMU，但是没有使用到分段机制； 最近在学习Linux内核，读到《深入理解Linux内核》的内存寻址一章。原本以为自己对分段分页机制已经理解了，结果发现其实是一知半解。于是，查找了很多资料，最终理顺了内存寻址的知识。现在把我的理解记录下来，希望对内核学习者有一定帮助，也希望大家指出错误之处。
分区伙伴分配器概念 : Linux 内核 在 基本 伙伴分配器 基础上 , 增加了对 " 内存节点 “ 和 ” 内存区域 “ 的支持 , 这就是 ” 分区伙伴分配器 “ , 英文名称为 ” Zond Buddy Allocator " ;
对于没有启用物理地址扩展的32位系统，两级页表已经足够了。从本质上说Linux通过使“页上级目录”位和“页中间目录”位全为0，彻底取消了页上级目录和页中间目录字段。不过，页上级目录和页中间目录在指针序列中的位置被保留，以便同样的代码在32位系统和64位系统下都能使用。内核为页上级目录和页中间目录保留了一个位置，这是通过把它们的页目录项数设置为1，并把这两个目录项映射到页全局目录的一个合适的目录项而实现的。
对 Linux 稍有了解的人都知道，Linux 会将物理的随机读取内存（Random Access Memory、RAM）按页分割成 4KB 大小的内存块，而今天要介绍的 Swapping 机制就与内存息息相关，它是操作系统将物理内存页中的内容拷贝到硬盘上交换空间（Swap Space）以释放内存的过程，物理内存和硬盘上的交换分区组成了操作系统上可用的虚拟内存，而这些交换空间都是系统管理员预先配置好的[^1]。
到目前为止，内存管理是unix内核中最复杂的活动。我们简单介绍一下内存管理，并通过实例说明如何在内核态获得内存。
页分配器 提供了 释放 物理页的 函数 __free_pages , 该函数定义在 Linux 内核源码的 linux-4.12\mm\page_alloc.c#4083 位置 ;
就需要从 " 备用内存区域 " 借用 物理页 进行 内存分配 , 该操作需要遵守如下算法规则 ;
在虚拟内存中，页表是个映射表的概念, 即从进程能理解的线性地址(linear address)映射到存储器上的物理地址(phisical address).
分配 虚拟内存页 : 应用进程 调用 mmap 函数后 , 在 Linux 系统中 创建 " 内存映射 “ 时 , 会在 ” 用户虚拟地址空间 “ 中 , 分配一块 ” 虚拟内存区域 " ;
在Linux中，透明巨页（Transparent HugePage）和巨页（HugePage）是两种不同的内存管理技术。 透明巨页是Linux内核中的一项特性，旨在提高内存的利用率和性能。它通过将内存分配为更大的巨页（通常为2MB或1GB），减少了对内存页表的访问次数，从而提高了内存访问的效率。透明巨页是透明的，应用程序无需进行任何修改即可受益于这种内存管理技术。 而巨页是指一种更大尺寸的内存页，在Linux中可以使用不同的页面大小，常见的巨页大小是2MB或1GB。巨页可以提供更高的内存访问性能，因为它减少了页表的数量，降低了TLB（Translation Lookaside Buffer）缓存的压力，从而减少了内存访问的开销。巨页需要应用程序进行适当的修改和配置才能使用。 因此，透明巨页和巨页都是通过增加内存页的尺寸来提高内存访问性能，但透明巨页不需要应用程序的修改，而巨页需要应用程序的支持和配置。
前面提到了虚拟内存需要映射物理内存才能使用，这个映射关系被保存在内存中的页表（Page Table）。现代 CPU 架构中一般有 TLB （Translation Lookaside Buffer，翻译后备缓冲，也称为页表寄存器缓冲）存在，在里面保存了经常使用的页表映射项。TLB 的大小有限，一般 TLB 如果只能容纳小于 100 个页表映射项。 我们能让程序的虚拟内存对应的页表映射项都处于 TLB 中，那么能大大提升程序性能，这就要尽量减少页表映射项的个数：页表项个数 = 程序所需内存大小 / 页大小。我们要么缩小程序所需内存，要么增大页大小。我们一般会考虑增加页大小，这就大页分配的由来，JVM 对于堆内存分配也支持大页分配，用于优化大堆内存的分配。那么 Linux 环境中有哪些大页分配的方式呢？
经常看到一些博客在讲 Linux 内存的 PAGE SIZE 时，都会提到 Linux 默认页大小是 4KB。
内存是计算机的重要资源，虽然今天大多数的服务对内存的需求都没有那么高，但是数据库以及 Hadoop 全家桶这些服务却是消耗内存的大户，它们在生产环境动辄占用 GB 和 TB 量级的内存来提升计算的速度，Linux 操作系统为了更好、更快地管理这些内存并降低开销引入了很多策略，我们今天要介绍的是 HugePages，也就是大页[^1]。
摘 要：本文通过解剖Linux操作系统的虚拟存储管理机制，说明了Linux虚拟存储的特点、虚拟存储器的实现方法，并基于Linux Kernel Source 1.0，详细分析有关虚拟存诸管理的主要数据结构之间的关系。
如图，当我们查看内存信息时，通常会使用vmstat或free命令。在使用vmstat -S M时，会看到下面的结果。
在 x86 系统中，内存管理中的分页机制是非常重要的，在Linux操作系统相关的各种书籍中，这部分内容也是重笔浓彩。
为什么要使用命令行？因为很多服务器为了节省资源，是不安装桌面服务的，而且也没有必要，因为谁没事儿天天打开Linux的桌面去看东西，一旦服务器上线后，能不碰就不要碰了，安装桌面服务就是浪费资源。
在 【Linux 内核 内存管理】物理分配页 ② ( __alloc_pages_nodemask 函数参数分析 | __alloc_pages_nodemask 函数分配物理页流程 ) 博客中 , 分析了 __alloc_pages_nodemask 函数分配物理页流程如下 :
内存 是操作系统非常重要的资源，操作系统要运行一个程序，必须先把程序代码段的指令和数据段的变量从硬盘加载到内存中，然后才能被运行。如下图所示：
Linux 内存管理模型非常直接明了，因为 Linux 的这种机制使其具有可移植性并且能够在内存管理单元相差不大的机器下实现 Linux，下面我们就来认识一下 Linux 内存管理是如何实现的。
我们知道文件一般存放在硬盘（机械硬盘或固态硬盘）中，CPU 并不能直接访问硬盘中的数据，而是需要先将硬盘中的数据读入到内存中，然后才能被 CPU 访问。
1. Linux物理内存三级架构 对于内存管理，Linux采用了与具体体系架构不相关的设计模型，实现了良好的可伸缩性。它主要由内存节点node、内存区域zone和物理页框page三级架构组成。
作者：Cheetah老师一直从业于半导体行业，他曾为U-boot社区和Linux内核社区提交过若干补丁。目前主要从事Linux相关系统软件开发工作，负责Soc芯片BringUp及系统软件开发，喜欢阅读内核源代码，在不断的学习和工作中深入理解内存管理，进程调度，文件系统，设备驱动等内核子系统。
在用户的视角里，每个进程都有自己独立的地址空间，A进程的4GB和B进程4GB是完全独立不相关的，他们看到的都是操作系统虚拟出来的地址空间。但是呢，虚拟地址最终还是要落在实际内存的物理地址上进行操作的。操作系统就会通过页表的机制来实现进程的虚拟地址到物理地址的翻译工作。其中每一页的大小都是固定的。这一段我不想介绍的太过于详细，对这个概念不熟悉的同学回去翻一下操作系统的教材。
Linux下的大页分为两种类型：标准大页（Huge Pages）和透明大页（Transparent Huge Pages）。
新的一年又到了立flag的时候，今年你的目标是拿下大厂offer？还是多少万年薪？其实这些都离不开日积月累的过程。 为此特意整理出一份（超详细笔记/面试题）它几乎涵盖了所有的测试开发技术栈，非常珍贵，人手一份 肝完进大厂 妥妥的！ （2022版）面经 + 详细笔记部分展示： 测试基础（102页） Linux基础（38页） MySQL（63页） web测试（21页） API测试（46页） APP测试（38页） 管理工具（41页） Python全篇（35页） selenium相关（50页） 性能测试（55页）
我们知道外设访问内存需要通过DMA进行数据搬移，关于cpu, cache, device, dma, memory的关系可以通过下图说明：
最近在读一本<<软件架构设计:大型网站技术架构与业务融合之道>>,它就像是把你平时一点点积累的知识有条理且有深度的整合。一步一步的将读者断断续续的知识接起来。以下文章是记录书本中的一些知识并加以拓展。
Doublewrite Buffer是MySQL数据库中InnoDB存储引擎的一种机制，用于解决部分写失效的问题，提高数据完整性和可靠性。Doublewrite Buffer是内存+磁盘的结构，包括内存结构和磁盘结构两个部分。
传统的存储设备例如HDD，SSD，nvme，SAN LUNS等以blocks为单位提供存储功能。Block以字节为单位的可寻址存储单元。传统的硬盘的block大小是512字节。Newer设备通常是4K或者8K，但也可以选择逻辑/模拟的512字节的block。
除非特别说明，否则本文提到的写操作都是 buffer write/write back。
IO子系统一般是linux系统中最慢的部分。一个原因是它距离CPU的距离，另一个原因是它的物理结构。访问磁盘的时间与访问内存的时间是7天与7分钟的区别。linux kernel要尽量减少磁盘IO。 1.Reading and Writing Data linux内核以page为单位访问磁盘IO，一般为4K。 查看页大小：/usr/bin/time -v date Page size (bytes): 4096 2.Major and Minor Page Faul
在 Linux 中大页分为两种： Huge pages (标准大页) 和 Transparent Huge pages(透明大页)。
__alloc_pages_nodemask 函数 定义在 Linux 内核源码的 linux-4.12\mm\page_alloc.c#4003 位置 , 函数原型如下 :
当我们要学习一个新知识点时，比较好的过程是先理解出现这个技术点的 背景原因，同期其他解决方案，新技术点解决了什么问题以及它存在哪些不足和改进之处，这样整个学习过程是 闭环 的，个人觉得这是个很好的学习思路。
与硬件相关的代码全部放在 arch（architecture 一词的缩写，即体系结构相关）目录下。
Java 19 中 Loom 终于 Preview 了，虚拟线程（VirtualThread）是我期待已久的特性，但是这里我们说的线程内存，并不是这种 虚拟线程，还是老的线程。其实新的虚拟线程，在线程内存结构上并没有啥变化，只是存储位置的变化，实际的负载线程（CarrierThread）还是老的线程。
Linux 内核中 , 内存节点 ( Node ) 是 " 内存管理 " 的 最顶层的结构 , 下层分别是 区域 和 页 ;
在介绍 HugePages 之前，我们先来回顾一下 Linux 下 虚拟内存 与 物理内存 之间的关系。
③ 引导内存分配器 : 页分配器 , 块分配器 , 不连续页分配器 , 连续内存分配器 , 每处理器内存分配器 ;
cgroup还有其他一些限制特性，如io，pid，hugetlb等，这些用处不多，参见Cgroupv1。下面介绍下与系统性能相关的io和hugepage，cgroup的io介绍参考Cgroup - Linux的IO资源隔离
大家好，我是 Peter，昨天群里有小伙伴咨询page cache的问题，看到网上有篇不错的文章，分享给大家。如果大家有想看的内容，欢迎给我留言。
Linux内核中采用了一种同时适用于32位和64位系统的内存分页模型，对于32位系统来说，两级页表足够用了，而在x86_64系统中，用到了四级页表。四级页表分别为：
Linux的内存管理可谓是学好Linux的必经之路，也是Linux的关键知识点，有人说打通了内存管理的知识，也就打通了Linux的任督二脉，这一点不夸张。有人问网上有很多Linux内存管理的内容，为什么还要看你这一篇，这正是我写此文的原因，网上碎片化的相关知识点大都是东拼西凑，先不说正确性与否，就连基本的逻辑都没有搞清楚，我可以负责任的说Linux内存管理只需要看此文一篇就可以让你入Linux内核的大门，省去你东找西找的时间，让你形成内存管理知识的闭环。 文章比较长，做好准备，深呼吸，让我们一起打开Lin
很多用户除此之外，还喜欢Linux命令行~但是CMD的命令和Linux命令行有许多差别！
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
云直播
对象存储
