文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

详解Linux内核内存管理架构

内存管理子系统可能是linux内核中最为复杂的一个子系统，其支持的功能需求众多，如页面映射、页面分配、页面回收、页面交换、冷热页面、紧急页面、页面碎片管理、页面缓存、页面统计等，而且对性能也有很高的要求...本文从内存管理硬件架构、地址空间划分和内存管理软件架构三个方面入手，尝试对内存管理的软硬件架构做一些宏观上的分析总结。...linux的内存映射管理是通过页表来实现的，但是页表是放在内存中的，如果每次地址转换过程都需要访问一次内存，其效率是十分低下的。这里CPU通过TLB硬件单元来加速地址转换。...高端内存动态分配地址空间：高端内存分配的内存是虚拟地址连续而物理地址不连续的内存，一般用于内核动态加载的模块和驱动，因为内核可能运行了很久，内存页面碎片情况严重，如果要申请大的连续地址的内存页会比较困难...内存管理软件架构 内核内存管理的核心工作就是内存的分配回收管理，其内部分为2个体系：页管理和对象管理。

3.1K42

Linux内存管理之mmap详解

作者：freeboy1015 来源：http://lib.csdn.net/article/linux/62126 一. mmap系统调用 1. mmap系统调用 mmap将一个文件或者其它对象映射进内存...采用共享内存通信的一个显而易见的好处是效率高，因为进程可以直接读写内存，而不需要任何数据的拷贝。...对于像管道和消息队列等通信方式，则需要在内核和用户空间进行四次的数据拷贝，而共享内存则只拷贝两次数据：一次从输入文件到共享内存区，另一次从共享内存区到输出文件。...下面是struct vm_area_struct结构体的定义： #include /* This struct defines a memory VMM memory...建立文件映射的第二步就是建立虚拟地址和具体的物理地址之间的映射,这是通过修改进程页表来实现的.mmap方法是file_opeartions结构的成员: int (*mmap)(struct file *,struct vm_area_struct *); linux

4.5K90
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    详解Linux共享内存的管理

    在进程通信应用中会用到共享内存，这就涉及到了IPC，与IPC相关的命令包括：ipcs、ipcrm（释放IPC）。IPCS命令是Linux下显示进程间通信设施状态的工具。...当下系统是Ubuntu Linux 18.04，执行ipcs命令查看 linuxidc@linuxidc:~/linuxidc.com$ ipcs --------- 消息队列...其中显示“dest”表示共享内存段已经被删除，但是还有用户在使用它，当该段内存的mode字段设置为 SHM_DEST时就会显示“dest”。...当用户调用shmctl的IPC_RMID时，内存先查看多少个进程与这个内存关联着，如果关联数为0，就会销 毁这段共享内存，否者设置这段内存的mod的mode位为SHM_DEST，如果所有进程都不用则删除这段共享内存...0 交换性能：0 次尝试  0 次成功 --------- 信号量状态 ----------- 已使用数组 = 0 已分配信号量数 = 0 Linux

    3.7K50

    Linux内存管理之mmap详解

    作者：freeboy1015 来源：http://lib.csdn.net/article/linux/62126 一. mmap系统调用 1. mmap系统调用 mmap将一个文件或者其它对象映射进内存...采用共享内存通信的一个显而易见的好处是效率高，因为进程可以直接读写内存，而不需要任何数据的拷贝。...对于像管道和消息队列等通信方式，则需要在内核和用户空间进行四次的数据拷贝，而共享内存则只拷贝两次数据：一次从输入文件到共享内存区，另一次从共享内存区到输出文件。...建立文件映射的第二步就是建立虚拟地址和具体的物理地址之间的映射,这是通过修改进程页表来实现的.mmap方法是file_opeartions结构的成员: int (*mmap)(struct file *,struct vm_area_struct *); linux...因为保留页和在物理内存顶之上的物理地址内存管理系统的各个子模块管理不到。640 KB 和 1MB 是保留页可能映射，设备I/O内存也可以映射。

    2.6K40

    Linux监控内存free命令详解

    free命令可以显示当前系统未使用的和已使用的内存数目，还可以显示被内核使用的内存缓冲区。...因为Linux将你暂时不使用的内存作为文件和数据缓存，以提高系统性能，当你需要这些内存时，系统会自动释放（不像windows那样，即使你有很多空闲内存,他也要访问一下磁盘中的pagefiles） 简述...所以,以应用来看看,以(-/+ buffers/cache)的free和used为主.所以我们看这个就好了.另外告诉大家 一些常识.Linux为了提高磁盘和内存存取效率, Linux做了很多精心的设计,...的时候,拿出一部分硬盘空间来充当内存.硬盘怎么会快过内存.所以我们看linux,只要不用swap的交换 空间,就不用担心自己的内存太少.如果常常swap用很多,可能你就要考虑加物理内存了.这也是linux...语　　法： free [-bkmotV][-s ] 补充说明：free指令会显示内存的使用情况，包括实体内存，虚拟的交换文件内存，共享内存区段，以及系统核心使用的缓冲区等。

    1.4K10

    JVM 与 Linux 的内存关系详解

    接下来主要就Linux与JVM之间的内存关系进行一些分析。...一、Linux与进程内存模型 JVM以一个进程（Process）的身份运行在Linux系统上，了解Linux与进程的内存关系，是理解JVM与Linux内存的关系的基础。...物理内存是Linux活动时使用的主要内存区域；当物理内存不够使用时，Linux会把一部分暂时不用的内存数据放到磁盘上的SWAP中去，以便腾出更多的可用内存空间；而当需要使用位于SWAP的数据时，必须 先将其换回到内存中...JVM运行时区域详解，推荐大家看下。 从Linux系统上看，除了引导系统的BIN区，整个内存空间主要被分成两个部分：内核内存（Kernel space）、用户内存（User space）。...四、总结 本文详细分析了Linux与JVM的内存关系，比较了一般进程与JVM进程使用内存的异同点，理解这些特性将对Linux系统内存分配、JVM调优、Java程序优化有帮助。

    2.1K50

    JVM 与 Linux 的内存关系详解

    接下来主要就Linux与JVM之间的内存关系进行一些分析。...一、Linux与进程内存模型 ---- JVM以一个进程（Process）的身份运行在Linux系统上，了解Linux与进程的内存关系，是理解JVM与Linux内存的关系的基础。...物理内存是Linux活动时使用的主要内存区域；当物理内存不够使用时，Linux会把一部分暂时不用的内存数据放到磁盘上的SWAP中去，以便腾出更多的可用内存空间；而当需要使用位于SWAP的数据时，必须 先将其换回到内存中...JVM运行时区域详解，推荐大家看下。 从Linux系统上看，除了引导系统的BIN区，整个内存空间主要被分成两个部分：内核内存（Kernel space）、用户内存（User space）。...四、总结 ---- 本文详细分析了Linux与JVM的内存关系，比较了一般进程与JVM进程使用内存的异同点，理解这些特性将对Linux系统内存分配、JVM调优、Java程序优化有帮助。

    4.9K00

    【Linux】详解如何利用共享内存实现进程间通信

    一、共享内存（Shared Memory）的认识 共享内存（Shared Memory）是多进程间共享的一部分物理内存。它允许多个进程访问同一块内存空间，从而在不同进程之间共享和传递数据。...在操作系统中，共享内存通常是通过映射一段能被其他进程所访问的内存实现的。一个进程可以创建一个共享内存段，并将该段连接到其地址空间中。其他进程也可以将这段共享内存连接到它们的地址空间中。...IPC_CREAT | IPC_EXCL：如果共享内存不存在， 就创建之， 如果共享内存已经存在,就出错返回！！如果共享内存创建是成功的， 则一定是一个新的共享内存！...所以一定是一方创建共享内存，另一方获取共享内存。要注意的是，共享内存也是有权限的，所以创建的一方需要指明创建的共享内存的权限。...5.5、删除共享内存 进程创建的共享内存如果在进程结束时没有释放，则共享内存会一直存在。也就是说，共享内存的声明周期是随内核的，如果我们没有主动去释放共享内存，除非重启系统，否则共享内存一直存在。

    1.4K10

    Linux分页机制之分页机制的实现详解--Linux内存管理(八)

    1 linux的分页机制 1.1 四级分页机制 前面我们提到Linux内核仅使用了较少的分段机制，但是却对分页机制的依赖性很强，其使用一种适合32位和64位结构的通用分页模型，该模型使用四级分页机制，即...Linux 的页全局目录对应80x86 的页目录指针表（PDPT），取消了页上级目录，页中间目录对应80x86的页目录，Linux的页表对应80x86的页表。...1.3 为什么linux热衷：分页>分段 那么，为什么Linux是如此地热衷使用分页技术而对分段机制表现得那么地冷淡呢，因为Linux的进程处理很大程度上依赖于分页。...2.3 页表处理函数 [注意] 以下内容主要参见 深入理解linux内核第二章内存寻址中页表处理 内核还提供了许多宏和函数用于读或修改页表表项： 如果相应的表项值为0，那么，宏pte_none...3.2 Linux中通过4级页表访问物理内存 linux中每个进程有它自己的PGD( Page Global Directory)，它是一个物理页，并包含一个pgd_t数组。

    3.4K42

    Linux - Linux内存管理

    移除交换空间 ---- 概念 内存管理是Linux系统重要的组成部分。...为了解决内存紧缺的问题，Linux引入了虚拟内存的概念。为了解决快速存取，引入了缓存机制、交换机制等。...当需要用到原始内容时，这些信息会被重新从交换空间读入物理内存。 Linux的内存管理采取的是分页存取机制。...要深入了解Linux内存运行机制，需要知道下面提到的几个方面。 首先，Linux系统会不时地进行页面交换操作，以保持尽可能多的空闲物理内存。...其次，Linux进行页面交换是有条件的，不是所有页面在不用时都交换到虚拟内存中，Linux内核根据“最近最经常使用”算法，仅仅将一些不经常使用的页面文件交换到虚拟内存中。

    52.3K41

    Linux系统内存监控、性能诊断工具vmstat命令详解

    vmstat 命令是最常见的 Linux/Unix 监控工具，可以展现给定时间间隔的服务器的状态值,包括服务器的 CPU 使用率，内存使用，虚拟内存交换情况,IO 读写情况。...这个命令是我查看 Linux/Unix 最喜爱的命令，一个是 Linux/Unix 都支持，二是相比 top，我可以看到整个机器的 CPU,内存,IO 的使用情况，而不是单单看到各个进程的 CPU 使用率和内存使用率...(2)Linux 内存监控内存memoy：     swpd：现时可用的交换内存（单位KB）。     free：空闲的内存（单位KB）。     ...(3) Linux 内存监控swap交换页面     si: 从磁盘交换到内存的交换页数量，单位：KB/秒。     so: 从内存交换到磁盘的交换页数量，单位：KB/秒。    ...多 M(这里是 Linux/Unix 的聪明之处，把空闲的物理内存的一部分拿来做文件和目录的缓存，是为了提高 程序执行的性能，当程序使用内存时，buffer/cached 会很快地被使用。)

    2.7K50

    iOS内存详解

    栈区（Stack） 高地址向低地址扩展的系统数据结构，对应的进程或者线程是唯一的 是一块连续的内存区域，遵循先进后出（FILO）原则 运行时分配，在iOS中以0x7开头 由编译器自动分配并释放的，主要用来存储...：局部变量、函数参数（如隐藏参数(id self, SEL _cmd)） 优缺点 优点：因为栈是编译器自动分配并释放的，不会产生内存碎片，快速且高效 缺点：栈的内存大小有限制，数据不灵活， iOS主线程大小是...1MB，其他线程是512KB MAC上是8MB 堆区（Heap） 堆是由低地址向高地址扩展的数据结构 不连续的内存区域，类似链表结构（便于增删，不便于查找），遵循先进先出（FOFI）原则 运行时分配的，...优缺点 优点：灵活方便，适应面广泛 缺点：需要手动管理，速度慢，容易产生内存碎片 全局区\静态区(.bss&.data) 编译时期分配的内存空间，在程序运行期间，数据一直存在，程序结束后系统释放 在iOS...，代码会编译成二进制存到内存 函数栈（栈帧） 函数在运行中且未完成时期占用的一块独立的连续内存区域 每一个线程都有专用的栈空间，该栈空间可以在线程期间自由使用，当前线程的函数共享改栈空间，每一个函数使用的栈空间是一个栈帧

    64520

    详解内存对齐

    内存管理：我们都知道内存是计算中重要的组成之一，内存是与CPU进行沟通的桥梁，用于暂存CPU中的运算数据、以及与硬盘等外部存储器交换的数据。...早期，程序是直接运行在物理内存上的，直接操作物理内存，但是会存在一些问题，比如使用效率低、地址空间不隔离等问题，所以就出现了虚拟内存，虚拟内存就是在程序和物理内存之间引入了一个中间层，这个中间层就是虚拟内存...在linux系统中，将虚拟内存划分为用户空间和内核空间，用户进程只能访问用户空间的虚拟地址，只有通过系统调用、外设中断或异常才能访问内核空间，我们主要来看一下用户空间，用户空间被分为5个不同内存区域：...，处理器需要做两次内存访问，而对齐的内存访问仅需要一次访问，内存对齐后可以提升性能。...结构体的内存对齐规则 一提到内存对齐，大家都喜欢拿结构体的内存对齐来举例子，这里要提醒大家一下，不要混淆了一个概念，其他类型也都是要内存对齐的，只不过拿结构体来举例子能更好的理解内存对齐，并且结构体中的成员变量对齐有自己的规则

    1.2K20

    内存缓存详解

    内存缓存 CPU 有缓存：L1,L2,L3 不同等级缓存执行速度不一样，空间也不一样。...内存缓存：有栈有堆，栈速度要快很多，但一般用来存储小对象以及作用域函数内，堆大用于大对象以及全局对象等，但堆需要GC回收(三色标记法),存在stop the word 磁盘缓存：空间大，读取慢。...1.直接读mysql，这一般是后台管理员的增删改查了 2.直接读redis，redis到是方便各节点访问以及一定操作，但毕竟存在网络io 3.直接从本地内存中读数据，使用前你需要精准判断需要分配多大内存空间来充当本地内存缓存...lru，lfu，fifo等等 开源工具 `go get -u github.com/bluele/gcache`，这个开源库提供分装好了的lru，lfu算法，你可以直接使用，也有过期时间的分装,以及使用内存大小

    68400

    JVM 内存详解

    JVM 内存结构 JVM 的内存空间分为 3 大部分： 堆内存： 方法区 栈内存 其中栈内存可以再细分为Java 虚拟机栈和本地方法栈，堆内存可以划分为新生代和老年代，新生代中还可以再次划分为 Eden...堆内存（Heap） Java 堆（Java Heap）是 Java 虚拟机所管理的内存中最大的一块。堆是被所有线程共享的区域，实在虚拟机启动时创建的。...此内存区域的唯一目的就是存放对象实例（new 的对象），几乎所有的对象实例都在这里分配内存。 堆内存分为两个部分：年轻代和老年代。我们平常所说的垃圾回收，主要回收的就是堆区。...直接内存 直接内存并不是虚拟机内存的一部分，也不是 Java 虚拟机规范中定义的内存区域。...jdk1.4 中新加入的 NIO，引入了通道与缓冲区的 IO 方式，它可以调用 Native 方法直接分配堆外内存，这个堆外内存就是本机内存，不会影响到堆内存的大小。

    1.3K30

    Linux内存描述之内存节点node--Linux内存管理(二)

    CPU访问本地内存的速度比访问远程内存的速度要快 Linux适用于各种不同的体系结构, 而不同体系结构在内存管理方面的差别很大....因此linux内核需要用一种体系结构无关的方式来表示内存....因此linux内核把物理内存按照CPU节点划分为不同的node, 每个node作为某个cpu结点的本地内存, 而作为其他CPU节点的远程内存, 而UMA结构下, 则任务系统中只存在一个内存node, 这样对于...系统中的NUMA结点都是从0开始编号的 3.1 linux-2.4中的实现 pgdat_next指针域和pgdat_list内存结点链表 而对于NUMA结构的系统中, 在linux-2.4.x之前的内核中所有的节点...-3.x~4.x的实现 node_data内存节点数组 在新的linux3.x~linux4.x的内核中，内核移除了pg_data_t的pgdat_next之指针域, 同时也删除了pgdat_list链表

    7.8K21

    Linux内存描述之内存页面page--Linux内存管理(四)

    1 Linux如何描述物理内存 Linux把物理内存划分为三个层次来管理 层次 描述 存储节点(Node) CPU被划分为多个节点(node), 内存则被分簇, 每个CPU对应一个本地物理内存, 即一个...内存中的每个节点都是由pg_data_t描述,而pg_data_t由struct pglist_data定义而来, 该数据结构定义在include/linux/mmzone.h, line 615, 每个结点关联到系统中的一个处理器...简单来说, 页是一个数据块, 可以存放在任何页框(内存中)或者磁盘(被交换至交换分区)中 我们今天就来详细讲解一下linux下物理页帧的描述 2 页帧 内核把物理页作为内存管理的基本单位....因此在后来linux-2.4.x的更新中, 删除了这个字段, 取而代之的是page->flags的最高ZONE_SHIFT位和NODE_SHIFT位, 存储了其所在zone和node在内存区域表zone_table...3.2 内存页标识pageflags 其中最后一个flag用于标识page的状态, 这些状态由枚举常量enum pageflags定义, 定义在include/linux/page-flags.h?

    8.3K11

    Linux内存描述之概述--Linux内存管理(一)

    2 (N)UMA模型中linux内存的机构 Linux适用于各种不同的体系结构, 而不同体系结构在内存管理方面的差别很大. 因此linux内核需要用一种体系结构无关的方式来表示内存....Linux内核通过插入一些兼容层, 使得不同体系结构的差异很好的被隐藏起来, 内核对一致和非一致内存访问使用相同的数据结构 2.1 (N)UMA模型中linux内存的机构 非一致存储器访问(NUMA)模式下...而内存管理的其他地方则认为他们就是在处理一个(伪)NUMA系统. 2.2 Linux物理内存的组织形式 Linux把物理内存划分为三个层次来管理 层次 描述 存储节点(Node) CPU被划分为多个节点..., 我们会在后面典型架构(x86)上内存区域划分详细讲解x86_32上的内存区域划分 因此Linux内核对不同区域的内存需要采用不同的管理方式和映射方式, 为了解决这些制约条件，Linux使用了三种区:...2.6 高端内存 由于能够被Linux内核直接访问的ZONE_NORMAL区域的内存空间也是有限的，所以LINUX提出了高端内存（High memory）的概念，并且允许对高端内存的访问

    6.9K30

    Linux内存描述之内存区域zone--Linux内存管理(三)

    下面我们就来详解讲讲内存管理域的内容zone 2 为什么要将内存node分成不同的区域zone NUMA结构下, 每个处理器CPU与一个本地内存直接相连, 而不同处理器之前则通过总线进行进一步的连接,...因此相对于任何一个CPU访问本地内存的速度比访问远程内存的速度要快, 而Linux为了兼容NUMAJ结构, 把物理内存相依照CPU的不同node分成簇, 一个CPU-node对应一个本地内存pgdata_t...Linux使用enum zone_type来标记内核所支持的所有内存区域 3.1 内存区域类型zone_type zone_type结构定义在include/linux/mmzone.h, 其基本信息如下所示...位系统中, Linux内核虚拟地址空间只有1G, 而0~895M这个986MB被用于DMA和直接映射, 剩余的物理内存被成为高端内存....Linux必须处理如下两种硬件存在缺陷而引起的内存寻址问题： 一些硬件只能用某些特定的内存地址来执行DMA 一些体系结构其内存的物理寻址范围比虚拟寻址范围大的多。

    9.3K31
    点击加载更多

    扫码

    添加站长 进交流群

    领取专属 10元无门槛券

    手把手带您无忧上云

    扫码加入开发者社群

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287

      领券