一 mmap系统调用 1.内存映射 所谓的内存映射就是把物理内存映射到进程的地址空间之内，这些应用程序就可以直接使用输入输出的地址空间，从而提高读写的效率。...Linux提供了mmap()函数，用来映射物理内存。...struct file *,struct vm_area_struct *); linux有2个方法建立页表: (1) 使用remap_pfn_range一次建立所有页表....因为保留页和在物理内存顶之上的物理地址内存管理系统的各个子模块管理不到。640 KB 和 1MB 是保留页可能映射，设备I/O内存也可以映射。...完成映射过程。remap_pfn_range不能对常规内存映射，只能对保留的内存与物理内存之外的进行映射。 2.在这里，要分清几个地址，一个是物理地址，这个很简单，就是物理内存的实际地址。
文章目录 一、内存映射概念 二、内存映射原理 1、分配虚拟内存页 2、产生缺页异常 3、分配物理内存页 三、共享内存 四、进程内存段的内存映射类型 一、内存映射概念 ---- 内存映射 概念 : "...内存映射 “ 就是在 进程的 ” 用户虚拟地址空间 " 中 , 创建一个 映射 , " 内存映射 " 有 2 种情况 , ① 文件映射 , ② 匿名映射 ; 文件映射 : 有 文件 支持 的 内存映射..." 物理内存空间 “ 映射到 ” 虚拟内存空间 " , 其中的数据是随机值 ; 二、内存映射原理 ---- 1、分配虚拟内存页 分配 虚拟内存页 : 在 Linux 系统中 创建 " 内存映射 “ 时..., 会在 ” 用户虚拟地址空间 “ 中 , 分配一块 ” 虚拟内存区域 " ; 2、产生缺页异常 缺页异常 : Linux 内核在分配 " 物理内存 “ 时 , 采用了 ” 延迟策略 “ , 即进程第一次访问..., 并且在 " 页表 “ 中 , 将 ” 虚拟内存页 " 映射到 ” 物理内存页 " ; 三、共享内存 ---- 内存映射 与 共享内存 关系 : 文件映射 : 在进程间的 " 共享内存 " 就是使用
1 高端内存与内核映射 尽管vmalloc函数族可用于从高端内存域向内核映射页帧(这些在内核空间中通常是无法直接看到的), 但这并不是这些函数的实际用途....重要的是强调以下事实 : 内核提供了其他函数用于将ZONE_HIGHMEM页帧显式映射到内核空间, 这些函数与vmalloc机制无关. 因此, 这就造成了混乱....虚拟内存中连续、但物理内存中不连续的内存区，可以在vmalloc区域分配. 该机制通常用于用户过程, 内核自身会试图尽力避免非连续的物理地址。...永久内存映射区 该区域可访问高端内存. 访问方法是使用alloc_page(_GFP_HIGHMEM)分配高端内存页或者使用kmap函数将分配到的高端内存映射到该区域....即内核对于低端内存, 不需要特殊的映射机制, 使用直接映射即可以访问普通内存区域, 而对于高端内存区域, 内核可以采用三种不同的机制将页框映射到高端内存 : 分别叫做永久内核映射、临时内核映射以及非连续内存分配
文件的内存映射示意图： 对于用户进程和内核进程： 将用户进程的一段内存区域映射到内核进程，映射成功后，用户进程对这段内存区域的修改直接反映到内核空间，同样，内核进程对这段内存区域的修改也直接反映到用户空间...没有内存映射的I/O操作示意图： 磁盘->内核空间->用户空间 有内存映射的I/O操作示意图：少了一个copy操作 内存映射的优点： 减少了拷贝次数，节省I/O操作的开支 用户空间和内核空间可以直接高效交互...step2: 进程a通过磁盘文件创建内存映射区 step3: 进程b通过磁盘文件创建内存映射区 step4: 进程a和进程b共同修改内存映射区实现进程通信 *基于内存映射区的进程间通信，是非阻塞的。...2.文件读写操作 step1: 读磁盘文件，获得文件描述符 step2: 基于文件描述符建立进程的内存映射区 step3: 利用进程进行内存映射区的读写操作 step4: 释放内存映射区，关闭文件描述符...： 内存映射和共享内存的区别： 1.内存映射与文件关联，共享内存不需要与文件关联，把共享内存理解为内存上的一个匿名片段。
一直都对内存映射文件这个概念很模糊，不知道它和虚拟内存有什么区别，而且映射这个词也很让人迷茫，今天终于搞清楚了。。。...()实现，所以建立内存映射的效率很高。...图1.内存映射原理 既然建立内存映射没有进行实际的数据拷贝，那么进程又怎么能最终直接通过内存操作访问到硬盘上的文件呢？那就要看内存映射之后的几个相关的过程了。...这个过程与内存映射无关。...这个过程与内存映射无关。 如果在拷贝数据时，发现物理内存不够用，则会通过虚拟内存机制（swap）将暂时不用的物理页面交换到硬盘上，如图1中过程4所示。这个过程也与内存映射无关。
文章目录 一、mmap 创建内存映射代码示例 1、fopen 打开或创建文件 2、lseek 设置文件大小 3、mmap 函数使用 4、munmap 删除内存映射 二、完整代码示例 一、mmap 创建内存映射代码示例..., 相关参数作用如下 : NULL : 映射区的开始地址 sizeof(student) * 1 : 文件映射区的长度 PROT_READ | PROT_WRITE : 内存保护的标志位 , 该内存页的内容可以...// PROT_READ | PROT_WRITE : 内存保护的标志位 , 该内存页的内容可以 读取 写入 // MAP_SHARED : 指定映射关系 , 指的是该映射是进程的共享内存空间..., 该内存页的内容可以 读取 写入 // MAP_SHARED : 指定映射关系 , 指的是该映射是进程的共享内存空间 // fd : 文件描述符 , 被映射的文件 //..., 该内存是文件映射内存 // 拷贝内存的同时 , 也会修改文件内容 memcpy((*(p_student + i)).name, &name_char, 1);
mmap也可以直接映射匿名内存块，无需提供文件fd，直接申请一块内存给当前进程使用，也可以选择继承给子进程。注意匿名映射不会真的创建文件，只是拿到了一块填充0的内存。...与共享内存这种传统IPC相比，mmap匿名内存更为灵活，Postgresql使用的共享内存全部是用mmap申请的，只用共享内存申请一个PGShmemHeader结构的大小。...MAP_LOCKED 将映射区域锁定住，这表示该区域不会被置换（swap）。 MAP_HUGETLB 使用内存大页。...子进程继承父进程的映射。 当共享映射的其他人在共享映射上写入时，没有fork的copy-on-write机制：写的就是一份数据。...匿名映射的优点： 没有虚拟地址空间碎片，取消映射后，内存立即归还给系统。 与全局堆分开。 可以给子进程继承使用。 匿名映射的缺点： 不能调整大小！
1 固定映射 1.1 数据结构 linux高端内存中的临时内存区为固定内存区的一部分, 对于固定内存在linux内核中有下面描述 x86 arm arm64 arch/x86/include/asm/fixmap.h...由于对应于ioremap的内存空间是有限的, 所以对于ioremap空间的使用遵照使用结束马上释放的原则....v=4.7#L55 void *kmap_atomic(struct page *page) page是一个指向高端内存页的管理结构的指针, 而早期的内核中, 增加了一个类型为enum km_type的...在很多体系结构中, 除非激活了内核抢占, 否则kunmap_atomic根本无事可做, 因为只有在下一个临时映射到来前上一个临时映射才有效....因此, 内核完全可以”忘掉”kmap_atomic映射, kunmap_atomic也无需做什么实际的事情. 下一个原子映射将自动覆盖前一个映射.
重要的是强调以下事实 : 内核提供了其他函数用于将ZONE_HIGHMEM页帧显式映射到内核空间, 这些函数与vmalloc机制无关. 因此, 这就造成了混乱....虚拟内存中连续、但物理内存中不连续的内存区，可以在vmalloc区域分配. 该机制通常用于用户过程, 内核自身会试图尽力避免非连续的物理地址。...持久映射用于将高端内存域中的非持久页映射到内核中 固定映射是与物理地址空间中的固定页关联的虚拟地址空间项，但具体关联的页帧可以自由选择....它与通过固定公式与物理内存关联的直接映射页相反，虚拟固定映射地址与物理内存位置之间的关联可以自行定义，关联建立后内核总是会注意到的. ?...永久内存映射区 该区域可访问高端内存. 访问方法是使用alloc_page(_GFP_HIGHMEM)分配高端内存页或者使用kmap函数将分配到的高端内存映射到该区域.
Linux下的进程间通信也可以使用mmap的内存共享映射来实现，mmap的作用就是把磁盘文件的一部分直接映射到进程的内存中，那么进程就可以直接对该内存文件进行操作，mmap也设置了两种机制...：共享和私有，如果是共享映射，那么在内存中对文件进行修改，磁盘中对应的文件也会被修改，相反，磁盘中的文件有了修改，内存中的文件也被修改。...如果是私有映射，那么内存中的文件是独立的，二者进行修改都不会对对方造成影响。...通过这样的内存共享映射就相当于是进程直接对磁盘中的文件进行读写操作一样，那么如果有两个进程来mmap同一个文件，就实现了进程间的通信。...当进程终止时，该进程的映射内存会自动解除，也可以调用munmap解除映射，解除成功返回0，出错返回-1。那么这些参数对应着下图： ?
4、mmap 创建内存映射 二、mmap 创建内存映射 与 普通文件操作 对比 一、mmap 创建内存映射 与 malloc 申请内存对比 ---- 1、malloc 函数原型 C 标准库 stdlib.h...调用 " Linux 内核 " 中的 kmalloc vmalloc 函数 ; 参考 【Linux 内核 内存管理】内存管理架构 ④ ( 内存分配系统调用过程 | 用户层 malloc free |...小于 划分阈值 , glibc 库 的 ptmalloc " 内存分配器 " 会使用 brk 系统调用 , 向 Linux 内核申请内存 ; 使用 mmap 系统调用 : 如果 应用程序 申请的内存大小...大于等于 划分阈值 , glibc 库 的 ptmalloc " 内存分配器 " 会使用 mmap 系统调用 , 向 Linux 内核申请内存 ; 4、mmap 创建内存映射 mmap 可以直接向 Linux...“ 类型的 ” 内存映射 “ , 进而实现了 ” 共享内存操作 " ;
今天我们来谈谈Linux的内存机制。 首先我们理一下概念 一、什么是linux的内存机制？...Linux的内存管理采取的是分页存取机制，为了保证物理内存能得到充分的利用，内核会在适当的时候将物理内存中不经常使用的数据块自动交换到虚拟内存中，而将经常使用的信息保留到物理内存。...要深入了解linux内存运行机制，需要知道下面提到的几个方面： Linux系统会不时的进行页面交换操作，以保持尽可能多的空闲物理内存，即使并没有什么事情需要内存，Linux也会交换出暂时不用的内存页面...和 cached机制。...这里你可以这么理解，当我将这个buffer_pool_size设置得过大，跟操作系统内存一样大的时候，我使用mysql,会在一段时间内调用大量的数据进内存，由于linux的内存机制，再根据最近最优的原则
文章目录 一、mmap 创建内存映射 二、munmap 删除内存映射 三、mprotect 设置虚拟内存区域访问权限 一、mmap 创建内存映射 ---- mmap 系统调用函数 , 用于 创建 " 内存映射..." ; 该 " 系统调用 " 函数工作原理如下 : 首先 , 创建 " 匿名内存映射 “ , 将 ” 物理内存页 “ 映射到 进程的 ” 用户虚拟地址空间 " 中 ; 然后 , 将 指定文件 的 指定数据区间...映射到 " 用户虚拟地址空间 " 中 ; 此时 , 可以通过 指针 访问 内存的方式 , 访问文件 ; mmap 函数原型如下 : #include void* mmap(void...对比 : 传统的文件操作 , 首先调用 fopen 函数打开文件 , 然后调用 fread fwrite 等函数操作文件 , 这些操作 在 用户模式 下调用 , 然后需要 切换到 内核模式 下调用 Linux...“ 类型的 ” 内存映射 “ , 进而实现了 ” 共享内存操作 " ; 二、munmap 删除内存映射 ---- munmap 系统调用 的作用是 删除内存映射 , 其函数原型如下 : #include
DPDK巨页地址管理/Linux内核内存管理/内存映射/pagemap/rdma内存/注册术语PFN: 物理地址对应的页帧号：pfn = pte_pfn(*pte)INFINIBAND_USER_MEM...default_hugepagesz”指定，例如：default_hugepagesz=4M，指定default_hstate_size的大小为4M，其内核实现如下：mmapLinux中的Mmap（Memory Map）是一种内存映射机制...这种直接访问的方式可以提高读写效率，并且简化了程序逻辑mmap与shm对比mmap的机制如：就是在磁盘上建立一个文件，每个进程存储器里面，单独开辟一个空间来进行映射。...shm的机制：每个进程的共享内存都直接映射到实际物理存储器里面。...进程内存用量分析之内存映射篇(58): https://www.jianshu.com/p/bff46f531920Linux proc文件系统: https://www.kernel.org/doc/
最近在看代码的时候发现了Qt的内存映射，原来只知道MFC有内存映射机制，可以在读取大数据文件时节约读取的时间，原来Qt中也有相应的机制，其用法更简单，下面用一个小例子演示其用法 #include <QtCore...argv); QFile file("1.txt"); file.open(QIODevice::ReadWrite); qDebug() << QStringLiteral("内存大小
1 页式管理 1.1 分段机制存在的问题 分段，是指将程序所需要的内存空间大小的虚拟空间，通过映射机制映射到某个物理地址空间(映射的操作由硬件完成)。...分段映射机制解决了之前操作系统存在的两个问题： 地址空间没有隔离 程序运行的地址不确定 不过分段方法存在一个严重的问题：内存的使用效率低。...分页机制解决了上面分段方法所存在的一个内存使用效率问题；其核心思想是系统为程序执行文件中的第x页分配了内存中的第y页，同时y页会添加到进程虚拟空间地址的映射表中(页表)，这样程序就可以通过映射访问到内存页...虚拟内存的实现需要硬件的支持，从Virtual Address到Physical Address的映射，通过一个叫MMU(Memory Mangement Unit)的部件来完成 2 分页机制支持 2.1...但是Linux并没有采用这种机制 正如前面所述，通过设置页目录项的Page Size标志启用扩展分页功能。在这种情况下，分页单元把32位线性地址分成两个字段： Directory：最高10位。
文章目录 一、文件映射 虚拟内存区域 1、文件映射 虚拟内存区域 的 vm_ops 成员 2、文件映射 虚拟内存区域 的 vm_file 成员 3、文件映射 虚拟内存区域 图示 二、匿名映射 虚拟内存区域...一、文件映射 虚拟内存区域 ---- " 文件映射 " 的 " 虚拟内存区域 " vm_area_struct 结构体 的 数据结构表示形式如下 ; 1、文件映射 虚拟内存区域 的 vm_ops 成员...deal with this struct. */ const struct vm_operations_struct *vm_ops; 参考 【Linux 内核 内存管理】内存映射相关数据结构 ④...we map to (can be NULL). */ 参考 【Linux 内核 内存管理】内存映射相关数据结构 ⑤ ( vm_area_struct 结构体成员分析 | vm_pgoff 成员 |...vm_file 成员 | vm_private_data ) 博客 ; 3、文件映射 虚拟内存区域 图示 二、匿名映射 虚拟内存区域 ---- 在 " 匿名映射 " 虚拟内存区域 中 , 与 " 文件映射
linux内存管理卷帙浩繁，本文只能层层递进地带你领略冰山轮廓，通过本文你将了解到以下内容： 为什么需要管理内存 linux段页管理机制 内存碎片的产生机理 为什么需要管理内存 老子的著名观点是无为而治...段页机制加持下的逻辑地址和物理地址的映射关系简图，也就是虚拟地址到物理地址的对应关系： ?...内存管理单元( MMU Memory Management Unit )是硬件层组件，主要提供将虚拟地址映射为物理地址。...linux的内存管理采取的是分页存取机制，为了保证物理内存能得到充分的利用，内核会在适当的时候将物理内存中不经常使用的数据块自动交换到虚拟内存中，而将经常使用的信息保留到物理内存。...Linux和Windows在内存管理机制上的区别 在Linux系统使用过程中，你会发现，无论你的电脑内存配置多么优越，仍然不时的发生可用内存吃紧的现象，感觉内存不够用了，其实不然。
前言 本文涉及的硬件平台是X86，如果是其他平台的话，如ARM，是会使用到MMU，但是没有使用到分段机制； 最近在学习Linux内核，读到《深入理解Linux内核》的内存寻址一章。...20位实际地址的转换，或者叫“映射”。...在IA32的保护模式下，这个逻辑地址不是被直接送到内存总线而是被送到内存管理单元（MMU）。MMU由一个或一组芯片组成，其功能是把逻辑地址映射为物理地址，即进行地址转换，如图所示。 ?...参考资料 《深入分析Linux内核源码》 在上一篇文章Linux内存寻址之分段机制中，我们了解逻辑地址通过分段机制转换为线性地址的过程。下面，我们就来看看更加重要和复杂的分页机制。...最后分享两篇linux内存寻址的实验文档，结合实例更容易理解。 Linux内存地址映射 Linux内核在x86_64 CPU中地址映射
1 分页机制 在虚拟内存中，页表是个映射表的概念, 即从进程能理解的线性地址(linear address)映射到存储器上的物理地址(phisical address)....很显然，这个页表是需要常驻内存的东西, 以应对频繁的查询映射需要(实际上，现代支持VM的处理器都有一个叫TLB的硬件级页表缓存部件，本文不讨论）。...当然我们并不需要映射所有的线性地址空间(32位机器上线性地址空间为4GB), 内核通常只为进程实际使用的那些虚拟内存区请求页表来减少内存使用量. 1.3 64位系统中的分页 正常来说, 对于32位的系统两级页表已经足够了...其他内容请参照博主的另外两篇博客, 我就不罗嗦了 深入理解计算机系统-之-内存寻址（五）–页式存储管理, 详细讲解了传统的页式存储管理机制 深入理解计算机系统-之-内存寻址（六）–linux中的分页机制..., 详细的讲解了Linux内核分页机制的实现机制 3 Linux分页机制的演变 3.1 Linux的页表实现 由于程序存在局部化特征, 这意味着在特定的时间内只有部分内存会被频繁访问，具体点，进程空间中的
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
