首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Linux 内核 内存管理】Linux 内核内存布局 ③ ( Linux 内核 动态分配内存 系统接口函数 | 统计输出 vmalloc 分配的内存 )

文章目录 一、Linux 内核 动态分配内存 系统接口函数 二、统计输出 vmalloc 分配的内存 一、Linux 内核 动态分配内存 系统接口函数 ---- Linux 内核 " 动态分配内存 "...是通过 " 系统接口 " 实现的 , 下面介绍几个重要的 接口函数 ; ① 以 " 页 " 为单位分配内存 : alloc_pages , __get_free_page ; ② 以 " 字节 " 为单位分配..." 虚拟地址连续的内存块 " : vmalloc ; ③ 以 " 字节 " 为单位分配 " 物理地址连续的内存块 " : kmalloc ; 注意 该 " 物理地址连续的内存块 " 是以 Slab 为中心的...; 二、统计输出 vmalloc 分配的内存 ---- 执行 grep vmalloc /proc/vmallocinfo 命令 , 可以统计输出 通过 vmalloc 函数分配的 " 虚拟地址连续的内存

5.1K30

Linux 内核 内存管理】Linux 内核内存布局 ① ( 查看 Linux 操作系统位数 | 查看 Linux 操作系统软硬件信息 )

文章目录 一、查看 Linux 操作系统位数 二、查看 Linux 操作系统软硬件信息 一、查看 Linux 操作系统位数 ---- 在 64 位的 Linux 中 , 使用 48 位 表示 "...虚拟地址空间 " ; 使用 45 位 表示 " 物理地址空间 " ; 执行 getconf LONG_BIT 命令 , 可以查看 Linux 操作系统 是 32 位还是 64 位的 ;...得到结果 64 , 说明该系统是 64 位 Ubuntu Linux 操作系统 ; 二、查看 Linux 操作系统软硬件信息 ---- 执行 cat /proc/cpuinfo 命令 , 可以查看..." Linux 内核位数 “ 和 ” 系统的软硬件信息 " ; 输出内容解析 : vendor_id : GenuineIntel CPU 制造商 GenuineIntel cpu family :...内核启动时测量的 CPU 速度 clflush size : 64 每次刷新的缓存大小 cache_alignment : 64 缓存地址对齐单位 address sizes : 42 bits physical

31.8K20
您找到你想要的搜索结果了吗?
是的
没有找到

Linux 内核 内存管理】内存管理架构 ① ( 内存管理架构组成 | 用户空间 | 内核空间 | MMU 硬件 | Linux 内核架构层次 | Linux 系统调用接口 )

文章目录 一、内存管理架构组成 ( 用户空间 | 内核空间 | MMU 硬件 ) 二、Linux 内核架构层次 三、Linux 系统调用接口 一、内存管理架构组成 ( 用户空间 | 内核空间 | MMU..." ; ② 内核空间 : Linux 内核启动后 , 一直 驻留在内存 中 , 应用程序 不能 读写 内核空间数据 , 不能直接调用 内核源码 中的函数 ; 只能通过 " 系统调用 " 间接调用 内核函数...组成 ; 层次架构如下 : Linux 内核 需要 " 管理硬件 " , 如 : CPU 处理器 , 内存 , I/O 设备 , 网络设备 等 ; Linux 内核 还需要 向上层的 " 应用程序..." 或 " Library Routine " 提供 API 接口 , 如 : 系统调用 ; 三、Linux 系统调用接口 ---- " 系统调用 " 接口 , 可以调用 " " Linux 内核 "...中的如下功能 : ① 进程调度 : 内核 调用 CPU 处理器 实现 进程调度 ; ② 内存管理 : 内核 调用 物理内存 实现 内存管理 ; ③ IPC 跨进程通信 ④ VFS 虚拟文件系统

9.5K40

Linux内核高端内存

Linux内核地址空间划分 通常32位Linux内核地址空间划分0~3G为用户空间,3~4G为内核空间。注意这里是32位内核地址空间划分,64位内核地址空间划分是不同的。 ?...Linux内核高端内存的理解 前面我们解释了高端内存的由来。...2、64位内核中有高端内存吗? 目前现实中,64位Linux内核不存在高端内存,因为64位内核可以支持超过512GB内存。若机器安装的物理内存超过内核地址空间范围,就会存在高端内存。...3、用户进程能访问多少物理内存内核代码能访问多少物理内存? 32位系统用户进程最大可以访问3GB,内核代码可以访问所有物理内存。...64位系统用户进程最大可以访问超过512GB,内核代码可以访问所有物理内存。 4、高端内存和物理地址、逻辑地址、线性地址的关系? 高端内存只和物理地址有关系,和线性地址、逻辑地址没有直接关系。

4.3K31

Linux 内核 内存管理】Linux 内核内存管理 ② ( 动态分配堆内存方式 | brk 系统调用 | mmap 系统调用 | brk 系统调用源码介绍 )

文章目录 一、Linux 系统 动态分配堆内存 方式 二、brk 系统调用 动态分配堆内存 一、Linux 系统 动态分配堆内存 方式 ---- Linux 系统中 , 提供了 2 种方式 进行 "...动态分配堆内存 " 操作 ; ① brk 系统调用 : 该方式本质是 设置 " 进程数据段 “ 的 结束地址 , 将该 ” 结束地址 " 向 高或低 移动 , 实现堆内存的 扩张或收缩 ; ② mmap...系统调用 : 向 Linux 操作系统 申请 " 虚拟地址空间 " 内存 , 并且将某个文件 " 映射 “ 到该申请的内存中 ; 如果 不需要映射文件 到该空间中 , 则该空间就是 ” 匿名空间 "..., 可作为 " 堆内存 " 使用 ; 二、brk 系统调用 动态分配堆内存 ---- " brk 系统调用 “ 可以指定 ” 堆内存 “ 在 ” 虚拟内存空间 “ 的 ” 结束地址 " ; 如果要 "...扩张 " 堆内存 , 可以将 结束地址 " 大于当前值 " , 如果要 " 收缩 " 堆内存 , 可以将 结束地址 " 小于当前值 " ; brk 系统调用 源码在 Linux 源码中的 linux-5.6.18

5K20

Linux内核编程--内存映射和共享内存

文件的内存映射示意图: 对于用户进程和内核进程: 将用户进程的一段内存区域映射到内核进程,映射成功后,用户进程对这段内存区域的修改直接反映到内核空间,同样,内核进程对这段内存区域的修改也直接反映到用户空间...没有内存映射的I/O操作示意图: 磁盘->内核空间->用户空间 有内存映射的I/O操作示意图:少了一个copy操作 内存映射的优点: 减少了拷贝次数,节省I/O操作的开支 用户空间和内核空间可以直接高效交互...offset); start:用户进程中要映射的某段内存区域的起始地址,通常为NULL(由内核来指定) length:要映射的内存区域的大小 prot:期望的内存保护标志 flags:指定映射对象的类型...一般用信号量来同步共享内存的访问。 共享内存区在系统存储中的位置: 为什么要用共享内存: 对于涉及到内核操作的,内核和进程之间,经历了四次复制操作,开销很大。..., int shmflg) --shmid:共享内存区的标识id,shmget的返回值 --shmaddr:共享内存附加到本进程后在本进程地址空间的内存地址,若为NULL,由内核分配地址。

5.8K10

Linux 内核 VS 内存碎片 (下)

Linux 内核 VS 内存碎片 (上) 我们可以看到根据迁移类型进行分组只是延缓了内存碎片,而并不是从根本解决,所以随着时间的推移,当内存碎片过多,无法满足连续物理内存需求时,将会引起性能问题。...因此仅仅依靠此功能还不够,所以内核又引入了内存规整等功能。...,主要关注内存分配路径: [up-38369217a56524682afabccb202a52c5187.png] 基本流程:当申请分配页的时候,如果无法从伙伴系统的 freelist 中获得页面,则进入慢速内存分配路径...本文同时也介绍了基于 /proc 文件系统的监控接口和基于内核事件的工具,二者相辅相成,基于 /proc 的监控接口用起来简单,但存在无法定量分析和采样周期过大等问题,基于内核事件的工具可以解决这些问题...,但需要对内核相关子系统的工作原理要有一定理解,对客户的内核版本也有一定要求。

3.5K30

详解Linux内核内存管理架构

内存管理子系统可能是linux内核中最为复杂的一个子系统,其支持的功能需求众多,如页面映射、页面分配、页面回收、页面交换、冷热页面、紧急页面、页面碎片管理、页面缓存、页面统计等,而且对性能也有很高的要求...linux内存映射管理是通过页表来实现的,但是页表是放在内存中的,如果每次地址转换过程都需要访问一次内存,其效率是十分低下的。这里CPU通过TLB硬件单元来加速地址转换。...直接内存动态分配地址空间:因为访问效率等原因,内核内存采用简单的线性映射,但是因为32位CPU的寻址能力(4G大小)和内核地址空间起始的设置(3G开始),会导致内核的地址空间资源不足,当内存大于1GB...页管理层次结构:由冷热缓存、伙伴系统组成的两级结构。负责内存页的缓存、分配、回收。 对象管理层次结构:由per-cpu高速缓存、slab缓存、伙伴系统组成的三级结构。负责对象的缓存、分配、回收。...这里的对象指小于一页大小的内存块。 除了内存分配,内存释放也是按照此层次结构操作。如释放对象,先释放到per-cpu缓存,再释放到slab缓存,最后再释放到伙伴系统。 ?

3K42

Linux 内核 VS 内存碎片 (上)

(外部)内存碎片是一个历史悠久的 Linux 内核编程问题,随着系统的运行,页面被分配给各种任务,随着时间的推移内存会逐步碎片化,最终正常运行时间较长的繁忙系统可能只有很少的物理页面是连续的。...由于 Linux 内核支持虚拟内存管理,物理内存碎片通常不是问题,因为在页表的帮助下,物理上分散的内存在虚拟地址空间仍然是连续的 (除非使用大页),但对于需要从内核线性映射区分配连续物理内存的需求来说就会变的非常困难...,比如通过块分配器分配结构体对象 (在内核态很常见且频繁的操作),或对不支持 scatter/gather 模式的 DMA 缓冲器的操作等,会引起频繁的直接内存回收/规整,导致系统性能出现较大的波动,或分配失败...如果内核编程不再依赖线性地址空间的高阶物理内存分配,那么内存碎片问题就从根本上解决了,但对于 Linux kernel 这样庞大的工程来说,这样的修改显然是不可能的,所以从 Linux 2.x 版本至今...Linux 在经典算法的基础上做了一些个扩展: 分区的伙伴分配器; Per-CPU pageset; 根据迁移类型进行分组; 我们以前介绍过 Linux 内核使用 node, zone, page 来描述物理内存

3.4K40

Linux系统内核升级

Prepatch Prepatch 或 “RC” 内核是主要的内核预发行版本,主要针对内核开发人员和 Linux 爱好者。必须从源代码进行编译,并且通常包含必须在可以放入稳定版本之前进行测试的新功能。...-5.15.26.tar 配置内核功能 # 拷贝原有的内核配置文件,后续可在原有基础之上进行内核功能删减 [root@boy ~]# cd linux-5.15.26/ [root@boy linux...,开启文本界面的编译选项菜单窗口,可以对内核加载的模块编译选项进行调整,如修改编译后的内核名称、新添加之前系统缺少的模块等。...0 #0表示 /boot/grub2/grub.cfg 文件中排在第一位的 menuentry 段 # 重启系统 [root@boy ~]# reboot # 查看重启后的内核版本 [root@boy...compiler. make[1]: *** [checkbin] Error 1 make: *** [__sub-make] Error 2 vim .config CONFIG_RETPOLINE=n 内存不足

3.6K30

Linux 内核 内存管理】内存管理系统调用 ④ ( 代码示例 | mmap 创建内存映射 | munmap 删除内存映射 )

文章目录 一、mmap 创建内存映射代码示例 1、fopen 打开或创建文件 2、lseek 设置文件大小 3、mmap 函数使用 4、munmap 删除内存映射 二、完整代码示例 一、mmap 创建内存映射代码示例..., 该内存页的内容可以 读取 写入 MAP_SHARED : 指定映射关系 , 指的是该映射是进程的共享内存空间 fd : 文件描述符 , 被映射的文件 0 : 被映射文件的偏移量 , 从文件的哪个字节位置开始映射...// PROT_READ | PROT_WRITE : 内存保护的标志位 , 该内存页的内容可以 读取 写入 // MAP_SHARED : 指定映射关系 , 指的是该映射是进程的共享内存空间..., 该内存页的内容可以 读取 写入 // MAP_SHARED : 指定映射关系 , 指的是该映射是进程的共享内存空间 // fd : 文件描述符 , 被映射的文件 //..., 该内存是文件映射内存 // 拷贝内存的同时 , 也会修改文件内容 memcpy((*(p_student + i)).name, &name_char, 1);

1.4K10

Linux 内核系统架构

这篇文章从进程调度,内存管理,设备驱动,文件系统,网络等方面讲解Linux内核系统架构。...Linux系统架构是一个经典的设计,它优秀的分层和模块化,融合了数量繁多的设备和不同的物理架构,让世界各地的内核开发者能够高效并行工作。先来看看Linus在多年前公开Linux的邮件。...Linux系统架构图 架构非常清晰,从硬件层,硬件抽象层,内核基础模块(进程调度,内存管理,网络协议栈等)到应用层,这个基本上也是各类软硬件结合的系统架构的基础设计,例如物联网系统(从单片机,MCU等小型嵌入式系统...TASK_SIZE可以配置,Linux系统默认配置3:1,应用程序使用3GB的空间,内核使用1GB的空间,这个划分并不依赖实际RAM的大小。...每个inode都有一个特别的号码用于唯一识别,文件名和inode的关联建立在该编号基础上。以内核查找/usr/bin/emacs为例,讲解inodes如何组成文件系统的目录结构。

5K72

Linux系统内核笔记

,它指的是系统内核,凡是使用这种内核的操作系统都叫作 Linux系统(发行板),严格意义上讲Linux指的是内核,隶属于GNU工程。...UNIX系统、免费开源,而Linux之父就是在参照这款操作 ,才写出第一个版本的Linux内核代码 GNU工程:是自由软件基金会所创立的一个开源组织,基本原则就是共享,主旨是发展出 一个有别于商业UNIX...C 调用POSIX brk/sbrk POSIX 调用Linux系统接口 mmap/munmap Linux 调用内核 Kmalloc/vmalloc 内核 调用驱动 get_free_page...addr:需要取消映射的内存首地址 length:需要映射的字节数 返回值:成功返回0,失败返回-1 /Linux文件操作**/ 一、文件描述符 UNIX/Linux系统绝大部分功能都是通过系统调用实现...,比如:open/close… UNIX/Linux系统调用都封装成了C函数的形式,但它们并不是标准C的一部分 标准库中的函数绝大部分时间都工作在用户态,但部分时间也需要切换到内核 (进行了系统调用

1.4K20

Linux 内核 内存管理】内存管理系统调用 ⑤ ( 代码示例 | 多进程共享 mmap 内存映射示例 )

文章目录 一、进程一描述 二、进程二描述 三、mmap 进程共享内存展示 一、进程一描述 ---- 在上一篇博客 【Linux 内核 内存管理】内存管理系统调用 ④ ( 代码示例 | mmap 创建内存映射...| munmap 删除内存映射 ) 中 , 完成了 进程一 的程序 , 在该进程中 , 创建并打开文件 , 为该文件设置大小 , 使用 mmap 创建 " 文件映射 " , 并通过直接访问内存的方式...在这段休眠的时间段 , 运行 进程二 , 在 进程二中 , 创建相同文件的 mmap " 文件映射 " , 读取在 进程一 中写入的文件内容 ; 二、进程二描述 ---- 进程二 的源码 , 与上一篇博客 【Linux...内核 内存管理】内存管理系统调用 ④ ( 代码示例 | mmap 创建内存映射 | munmap 删除内存映射 ) 中 进程一 源码类似 , 只是将写入 mmap 文件映射 数据 , 修改为 读取 该..., 该内存页的内容可以 读取 写入 // MAP_SHARED : 指定映射关系 , 指的是该映射是进程的共享内存空间 // fd : 文件描述符 , 被映射的文件 //

3.5K30

Linux 内核 内存管理】内存管理架构 ④ ( 内存分配系统调用过程 | 用户层 malloc free | 系统调用层 brk mmap | 内核层 kmalloc | 内存管理流程 )

文章目录 一、内存分配系统调用过程 ( 用户层 | 系统调用 | 内核层 ) 二、内存管理流程 一、内存分配系统调用过程 ( 用户层 | 系统调用 | 内核层 ) ---- " 堆内存 " 动态分配 的...函数之间的 桥梁 ; ③ 内核层调用 : 内核与用户层接口 的 内存管理函数 调用 " Linux 内核 " 中的 kmalloc vmalloc 函数 ; C 语言中使用 malloc free 等函数分配堆内存...函数用于分配内存 , munmap 函数用于回收内存 ; 可参考 【Linux 内核 内存管理】Linux 内核内存管理 ② ( 动态分配堆内存方式 | brk 系统调用 | mmap 系统调用 |..., 实现堆内存的 扩张或收缩 ; mmap 系统调用 : 向 Linux 操作系统 申请 " 虚拟地址空间 " 内存 , 并且将某个文件 " 映射 “ 到该申请的内存中 ; 如果 不需要映射文件...到该空间中 , 则该空间就是 ” 匿名空间 " , 可作为 " 堆内存 " 使用 ; ③ 内核层 ( 内核空间 ) 内存管理 : 在 Linux 内核中 , 通过 kmalloc vmalloc

64510

Linux 内核 内存管理】mmap 系统调用源码分析 ① ( mmap 与 mmap2 系统调用 | Linux 内核中的 mmap 系统调用源码 )

文章目录 一、mmap 与 mmap2 系统调用 二、Linux 内核中的 mmap 系统调用源码 一、mmap 与 mmap2 系统调用 ---- mmap 创建 " 内存映射 " 的 系统调用 有...mmap2 ; 2 者区别是 : mmap 偏移单位是 " 字节 " , mmap2 偏移单位是 " 页 " , 但是在 arm 64 体系架构中 , 没有实现 mmap2 , 只实现了 mmap 系统调用...; 二、Linux 内核中的 mmap 系统调用源码 ---- arm64 架构体系中 , 使用 mmap 系统调用 创建 " 内存映射 " , 调用 mmap 系统调用函数 , 执行如下操作 : 先检查..." 偏移 " 是否是 " 内存页大小 " 的 " 整数倍 " , 如果偏移不是内存页大小的整数倍 , 返回 -EINVAL 错误 ; 如果偏移是内存页大小的整数倍 , 则调用 sys_mmap_pgoff...return sys_mmap_pgoff(a.addr, a.len, a.prot, a.flags, a.fd, a.offset >> PAGE_SHIFT); } 参考路径 : linux

10.5K40

Linux 内核Linux 内核体系架构 ( 进程调度 | 内存管理 | 中断管理 | 设备管理 | 文件系统 )

包括 进程创建 , 销毁 , 线程组管理 , 内核线程管理 , 队列等待 ; 进程调度 位于 下图 Linux 内核整体架构图 中的 内核空间 ; 二、内存管理 ---- 内存管理 涉及到 物理内存管理...和 虚拟内存管理 , 是 Linux 内核中 最复杂的模块 ; 虚拟内存管理 包括 : 反向映射 , KSM , MMAP 映射 , 缺页中断 , 共享内存 , 进程虚拟地址空间管理 , 页面回收 ;...物理内存管理 包括 : 页面分配器 等 ; 内存管理 位于 下图 Linux 内核整体架构图 中的 内核空间 ; 三、中断管理 ---- 中断管理 包括 : 处理器异常处理 , 中断处理 ; 异常指的是...---- 文件系统应用场景 : F2FS EXT 2/3/4 XFS Linux 内核 为了支持各种文件系统 , 抽象出一个 虚拟文件系统 VFS , 这是一个文件系统的软件层 , 这样 Linux...内核可以很方便的集成各种文件系统 ; 文件系统 位于 下图 Linux 内核整体架构图 中的 内核空间 ;

1.8K30

聊聊Linux内核内存回收上篇

概述 内存回收是把已经使用过的的物理页帧重新放回到内核中的buddy系统(buddy系统用于申请空闲物理页帧的子系统)管理中,解决内存紧张的问题;内存回收的页帧包括未修改的文件页帧、修改且完成同步的文件页帧...回收过程就是接触这些页帧的使用,归还给buddy子系统。...内核对所有用户态进程消耗的RAW内存总量不做严格的约束,当系统负载相对较低的时候,内存大部分被磁盘高速缓存使用,随着系统负载增大,系统进程使用的内存越来越多,磁盘的高速缓存占用的内存就会被缩小,内存页帧的回收必须在消耗所有空闲页帧之前进行...内核中同时存在slab allocation,它用于内核数据结构的申请。slab分配器在频繁申请和释放的情况下效率比较高 基于LRU页帧链表 内存页帧是有映射的,映射到一个或者多个进程的虚拟空间。...内核一般用内存页帧的引用次数来表示页帧的活跃程度。一个内存区zone将空闲页帧和已经在使用的页帧分别用buddy系统和 zone的LRU链表管理。

1.7K30

Linux内核内存检测工具KASAN

KASAN 是 Kernel Address Sanitizer 的缩写,它是一个动态检测内存错误的工具,主要功能是检查内存越界访问和使用已释放的内存等问题。...KASAN 集成在 Linux 内核中,随 Linux 内核代码一起发布,并由内核社区维护和发展。本文简要介绍 KASAN 的原理及使用方法。 一、KASAN的原理和使用方法 1....伙伴系统分配的内存shadow memory值如何填充 (1) 从buddy system分配内存 ?...Step1:假如从buddy system分配4 pages,系统首先从order=2的链表中摘下一块内存; Step2:然后根据shadow memory address和memory address...二、总结 KASAN通过建立影子内存来管理内存访问的合法性,可以有效检测内存越界等问题,但无法发现因逻辑问题导致的合法内存的内容改写问题。

7.1K21

Linux 内核Linux 操作系统结构 ( Linux 内核在操作系统中的层级 | Linux 内核系统及关系 | 进程调度 | 内存管理 | 虚拟文件系统 | 网络管理 | 进程间通信 )

文章目录 一、Linux 内核在操作系统中的层级 二、Linux 内核系统 三、Linux 内核系统之间的关系 一、Linux 内核在操作系统中的层级 ---- Linux 内核 所在层级 : 整个计算机系统中..., 由下到上介绍 : 计算机硬件 处于最底层 ; 计算机硬件 上面一层是 Linux 内核 , 计算机的所有硬件操作都要经过内核 , 内核是 抽象资源操作 与 具体硬件操作细节 之间的接口 ; Linux...; 最上层是 应用程序 , 应用程序 是 运行于操作系统上的 软件集合 ; 如下图所示 : 二、Linux 内核系统 ---- Linux 内核的 5 个子系统 : 进程调度 ( Process...: 多个应用程序进程 安全地 访问内存 ; 该子系统分为 硬件有关部分 和 硬件无关部分 ; 硬件无关部分提供了内存映射与虚拟内存机制 , 硬件有关部分 就是 管理真实的内存硬件 ; 虚拟文件系统 (...网络硬件通信 ; 进程间通信 ( Inter-Process ommunication ) : 支持 进程间 的通信机制 ; 三、Linux 内核系统之间的关系 ---- 进程调度 依赖于 内存管理

3.3K20
领券