一 mmap系统调用 1.内存映射 所谓的内存映射就是把物理内存映射到进程的地址空间之内，这些应用程序就可以直接使用输入输出的地址空间，从而提高读写的效率。...Linux提供了mmap()函数，用来映射物理内存。...struct file *,struct vm_area_struct *); linux有2个方法建立页表: (1) 使用remap_pfn_range一次建立所有页表....因为保留页和在物理内存顶之上的物理地址内存管理系统的各个子模块管理不到。640 KB 和 1MB 是保留页可能映射，设备I/O内存也可以映射。...完成映射过程。remap_pfn_range不能对常规内存映射，只能对保留的内存与物理内存之外的进行映射。 2.在这里，要分清几个地址，一个是物理地址，这个很简单，就是物理内存的实际地址。
文章目录 一、内存映射概念 二、内存映射原理 1、分配虚拟内存页 2、产生缺页异常 3、分配物理内存页 三、共享内存 四、进程内存段的内存映射类型 一、内存映射概念 ---- 内存映射 概念 : "...内存映射 “ 就是在 进程的 ” 用户虚拟地址空间 " 中 , 创建一个 映射 , " 内存映射 " 有 2 种情况 , ① 文件映射 , ② 匿名映射 ; 文件映射 : 有 文件 支持 的 内存映射..." 物理内存空间 “ 映射到 ” 虚拟内存空间 " , 其中的数据是随机值 ; 二、内存映射原理 ---- 1、分配虚拟内存页 分配 虚拟内存页 : 在 Linux 系统中 创建 " 内存映射 “ 时..., 会在 ” 用户虚拟地址空间 “ 中 , 分配一块 ” 虚拟内存区域 " ; 2、产生缺页异常 缺页异常 : Linux 内核在分配 " 物理内存 “ 时 , 采用了 ” 延迟策略 “ , 即进程第一次访问..., 并且在 " 页表 “ 中 , 将 ” 虚拟内存页 " 映射到 ” 物理内存页 " ; 三、共享内存 ---- 内存映射 与 共享内存 关系 : 文件映射 : 在进程间的 " 共享内存 " 就是使用
永久内存映射区 该区域可访问高端内存. 访问方法是使用alloc_page(_GFP_HIGHMEM)分配高端内存页或者使用kmap函数将分配到的高端内存映射到该区域....即内核对于低端内存, 不需要特殊的映射机制, 使用直接映射即可以访问普通内存区域, 而对于高端内存区域, 内核可以采用三种不同的机制将页框映射到高端内存 : 分别叫做永久内核映射、临时内核映射以及非连续内存分配...在这种情况下, 还调用 flush_all_zero_pkmaps函数刷出CPU高速缓存（读者稍后会看到这一点）。 修改内核的页表，将该页映射在指定位置。但尚未更新TLB....因为对使用计数器进行了额外的加1操作, 正如前文的讨论, 这是为确保CPU高速缓存的正确处理. 也在上文提到的flush_all_zero_pkmaps是最终释放映射的关键....flush_cache_kmaps在内核映射上执行刷出(在需要显式刷出的大多数体系结构上，将使用flush_cache_all刷出CPU的全部的高速缓存), 因为内核的全局页表已经修改.
文件的内存映射示意图： 对于用户进程和内核进程： 将用户进程的一段内存区域映射到内核进程，映射成功后，用户进程对这段内存区域的修改直接反映到内核空间，同样，内核进程对这段内存区域的修改也直接反映到用户空间...没有内存映射的I/O操作示意图： 磁盘->内核空间->用户空间 有内存映射的I/O操作示意图：少了一个copy操作 内存映射的优点： 减少了拷贝次数，节省I/O操作的开支 用户空间和内核空间可以直接高效交互...step2: 进程a通过磁盘文件创建内存映射区 step3: 进程b通过磁盘文件创建内存映射区 step4: 进程a和进程b共同修改内存映射区实现进程通信 *基于内存映射区的进程间通信，是非阻塞的。...参数取值： MS_ASYNC：异步写 MS_SYNC：同步写 MS_INVALIDATE：使高速缓存的数据失效 *MS_ASYNC和MS_SYNC的区别，一旦写操作已经由内核排入队列，MS_ASYNC...： 内存映射和共享内存的区别： 1.内存映射与文件关联，共享内存不需要与文件关联，把共享内存理解为内存上的一个匿名片段。
一直都对内存映射文件这个概念很模糊，不知道它和虚拟内存有什么区别，而且映射这个词也很让人迷茫，今天终于搞清楚了。。。...()实现，所以建立内存映射的效率很高。...图1.内存映射原理 既然建立内存映射没有进行实际的数据拷贝，那么进程又怎么能最终直接通过内存操作访问到硬盘上的文件呢？那就要看内存映射之后的几个相关的过程了。...这个过程与内存映射无关。...这个过程与内存映射无关。 如果在拷贝数据时，发现物理内存不够用，则会通过虚拟内存机制（swap）将暂时不用的物理页面交换到硬盘上，如图1中过程4所示。这个过程也与内存映射无关。
Java 中的内存映射缓存区（Memory-mapped buffer）是一种将文件或文件的一部分直接映射到程序内存中的技术。...为了更好地理解内存映射缓存区，我将从底层实现和使用场景两个方面进行说明。...相比之下，内存映射缓存区提供了一种更高效、更便捷的调用文件数据的方法。它利用了虚拟内存管理机制，让操作系统将一部分磁盘文件映射到进程地址空间的一块连续区域当中。...2、多进程共享：当多个进程需要共享某个文件的数据时，内存映射缓存区可以在不同的进程之间共享相同的虚拟内存。...3、IO 的优化：内存映射缓存区提供了一种更加有效的方式来管理磁盘文件和读写操作。在像 Web 系统或数据库服务器这样涉及到较大量的数据读写的场景下，使用内存映射缓存区可以带来更高的效率。
文章目录 一、mmap 创建内存映射代码示例 1、fopen 打开或创建文件 2、lseek 设置文件大小 3、mmap 函数使用 4、munmap 删除内存映射 二、完整代码示例 一、mmap 创建内存映射代码示例..., 相关参数作用如下 : NULL : 映射区的开始地址 sizeof(student) * 1 : 文件映射区的长度 PROT_READ | PROT_WRITE : 内存保护的标志位 , 该内存页的内容可以...// PROT_READ | PROT_WRITE : 内存保护的标志位 , 该内存页的内容可以 读取 写入 // MAP_SHARED : 指定映射关系 , 指的是该映射是进程的共享内存空间..., 该内存页的内容可以 读取 写入 // MAP_SHARED : 指定映射关系 , 指的是该映射是进程的共享内存空间 // fd : 文件描述符 , 被映射的文件 //..., 该内存是文件映射内存 // 拷贝内存的同时 , 也会修改文件内容 memcpy((*(p_student + i)).name, &name_char, 1);
学习系列：《APUE14.8》《CSAPP9.8.4》 1 总结 memory-mapped io可以将文件映射到内存中的buffer，当我们从buffer读写数据时，其实操作的是对应文件中的数据...mmap也可以直接映射匿名内存块，无需提供文件fd，直接申请一块内存给当前进程使用，也可以选择继承给子进程。注意匿名映射不会真的创建文件，只是拿到了一块填充0的内存。...与共享内存这种传统IPC相比，mmap匿名内存更为灵活，Postgresql使用的共享内存全部是用mmap申请的，只用共享内存申请一个PGShmemHeader结构的大小。...MAP_LOCKED 将映射区域锁定住，这表示该区域不会被置换（swap）。 MAP_HUGETLB 使用内存大页。...匿名映射的优点： 没有虚拟地址空间碎片，取消映射后，内存立即归还给系统。 与全局堆分开。 可以给子进程继承使用。 匿名映射的缺点： 不能调整大小！
1 固定映射 1.1 数据结构 linux高端内存中的临时内存区为固定内存区的一部分, 对于固定内存在linux内核中有下面描述 x86 arm arm64 arch/x86/include/asm/fixmap.h...由于对应于ioremap的内存空间是有限的, 所以对于ioremap空间的使用遵照使用结束马上释放的原则....v=4.7#L55 void *kmap_atomic(struct page *page) page是一个指向高端内存页的管理结构的指针, 而早期的内核中, 增加了一个类型为enum km_type的...在很多体系结构中, 除非激活了内核抢占, 否则kunmap_atomic根本无事可做, 因为只有在下一个临时映射到来前上一个临时映射才有效....因此, 内核完全可以”忘掉”kmap_atomic映射, kunmap_atomic也无需做什么实际的事情. 下一个原子映射将自动覆盖前一个映射.
持久映射用于将高端内存域中的非持久页映射到内核中 固定映射是与物理地址空间中的固定页关联的虚拟地址空间项，但具体关联的页帧可以自由选择....它与通过固定公式与物理内存关联的直接映射页相反，虚拟固定映射地址与物理内存位置之间的关联可以自行定义，关联建立后内核总是会注意到的. ?...永久内存映射区 该区域可访问高端内存. 访问方法是使用alloc_page(_GFP_HIGHMEM)分配高端内存页或者使用kmap函数将分配到的高端内存映射到该区域....它允许分配无法直接映射的高端内存....那么内存分配可以从该内存域或更低的内存域进行, 该函数定义在include/linux/gfp.h?
前言 内存映射中，我们经常讨论的是由虚拟内存定位物理内存（也就是folio或者page），实际上在很多场景中（比如内存回收），会涉及反向的操作，也就是反向映射。...所谓反向映射，就是给定一个folio（page），将映射它的PTE（页表项）找出来。接下来我们来详细分析一下它的原理吧（本文仅分析匿名映射部分）。...我们从mmap返回，vma还没有映射任何物理页的情景说起。 第一次访问vma区间的地址，导致缺页异常。内核调用do_anonymous_page，申请一页内存，完成映射。...在新进程创建的过程中，有些情况会调用dup_mmap复制原进程的内存空间，dup_mmap会复制vma，然后调用anon_vma_fork。...再考虑COW的场景，缺页异常申请新的一页，将原页的内存复制到新页中，然后使用新页更新映射，根据前文中“需要注意的第2点”可以得出图4中的结果。
Linux下的进程间通信也可以使用mmap的内存共享映射来实现，mmap的作用就是把磁盘文件的一部分直接映射到进程的内存中，那么进程就可以直接对该内存文件进行操作，mmap也设置了两种机制...：共享和私有，如果是共享映射，那么在内存中对文件进行修改，磁盘中对应的文件也会被修改，相反，磁盘中的文件有了修改，内存中的文件也被修改。...如果是私有映射，那么内存中的文件是独立的，二者进行修改都不会对对方造成影响。...通过这样的内存共享映射就相当于是进程直接对磁盘中的文件进行读写操作一样，那么如果有两个进程来mmap同一个文件，就实现了进程间的通信。...当进程终止时，该进程的映射内存会自动解除，也可以调用munmap解除映射，解除成功返回0，出错返回-1。那么这些参数对应着下图： ?
Linux 内核使用 vm_area_struct 结构来表示一个独立的虚拟内存区域，由于每个不同质的虚拟内存区域功能和内部机制都不同，因此一个进程使用多个 vm_area_struct 结构来分别表示不同类型的虚拟内存区域...调页过程先在交换缓存空间（swap cache）中寻找需要访问的内存页，如果没有则调用 nopage 函数把所缺的页从磁盘载入主存。...由于页缓存处在内核空间，不能被用户进程直接寻址，所以还需要将页缓存中数据页再次拷贝到用户空间内存。这样，通过了两次数据拷贝，才能完成进程对文件内容的获取任务。...对文件的读写跨过了内核页缓存，减少数据拷贝次数，提高了文件读写效率。 下面在这个例子中，我们将文件映射到内存中，然后使用内存中的数据进行读写。最后，解除映射并关闭文件。...Linux的虚拟内存详解（MMU、页表结构） When would you use mmap - Stack Overflow
4、mmap 创建内存映射 二、mmap 创建内存映射 与 普通文件操作 对比 一、mmap 创建内存映射 与 malloc 申请内存对比 ---- 1、malloc 函数原型 C 标准库 stdlib.h...调用 " Linux 内核 " 中的 kmalloc vmalloc 函数 ; 参考 【Linux 内核 内存管理】内存管理架构 ④ ( 内存分配系统调用过程 | 用户层 malloc free |...小于 划分阈值 , glibc 库 的 ptmalloc " 内存分配器 " 会使用 brk 系统调用 , 向 Linux 内核申请内存 ; 使用 mmap 系统调用 : 如果 应用程序 申请的内存大小...大于等于 划分阈值 , glibc 库 的 ptmalloc " 内存分配器 " 会使用 mmap 系统调用 , 向 Linux 内核申请内存 ; 4、mmap 创建内存映射 mmap 可以直接向 Linux...“ 类型的 ” 内存映射 “ , 进而实现了 ” 共享内存操作 " ;
文章目录 一、mmap 创建内存映射 二、munmap 删除内存映射 三、mprotect 设置虚拟内存区域访问权限 一、mmap 创建内存映射 ---- mmap 系统调用函数 , 用于 创建 " 内存映射..." ; 该 " 系统调用 " 函数工作原理如下 : 首先 , 创建 " 匿名内存映射 “ , 将 ” 物理内存页 “ 映射到 进程的 ” 用户虚拟地址空间 " 中 ; 然后 , 将 指定文件 的 指定数据区间...映射到 " 用户虚拟地址空间 " 中 ; 此时 , 可以通过 指针 访问 内存的方式 , 访问文件 ; mmap 函数原型如下 : #include void* mmap(void...对比 : 传统的文件操作 , 首先调用 fopen 函数打开文件 , 然后调用 fread fwrite 等函数操作文件 , 这些操作 在 用户模式 下调用 , 然后需要 切换到 内核模式 下调用 Linux...“ 类型的 ” 内存映射 “ , 进而实现了 ” 共享内存操作 " ; 二、munmap 删除内存映射 ---- munmap 系统调用 的作用是 删除内存映射 , 其函数原型如下 : #include
DPDK巨页地址管理/Linux内核内存管理/内存映射/pagemap/rdma内存/注册术语PFN: 物理地址对应的页帧号：pfn = pte_pfn(*pte)INFINIBAND_USER_MEM...主机内存缓存 (HMC) 负责缓存和管理这些上下文对象。...如果驱动程序碰巧分配了物理连续的内存块，或者操作系统支持 2 MB 页面，此模式可以防止额外的地址查找并提高性能9.3.2 对象缓存 RDMA 的主机内存缓存分为两个缓存。...由此可以看出，使用内 存映射文件处理存储于磁盘上的文件时，将不必再对文件执行I/O操作，这意味着在对文件进行处理时将不必再为文件申请并分配缓存，所有的文件缓存操作均由 系统直接管理，由于取消了将文件数据加载到内存...进程内存用量分析之内存映射篇(58): https://www.jianshu.com/p/bff46f531920Linux proc文件系统: https://www.kernel.org/doc/
最近在看代码的时候发现了Qt的内存映射，原来只知道MFC有内存映射机制，可以在读取大数据文件时节约读取的时间，原来Qt中也有相应的机制，其用法更简单，下面用一个小例子演示其用法 #include <QtCore...argv); QFile file("1.txt"); file.open(QIODevice::ReadWrite); qDebug() << QStringLiteral("内存大小
文章目录 一、文件映射 虚拟内存区域 1、文件映射 虚拟内存区域 的 vm_ops 成员 2、文件映射 虚拟内存区域 的 vm_file 成员 3、文件映射 虚拟内存区域 图示 二、匿名映射 虚拟内存区域...一、文件映射 虚拟内存区域 ---- " 文件映射 " 的 " 虚拟内存区域 " vm_area_struct 结构体 的 数据结构表示形式如下 ; 1、文件映射 虚拟内存区域 的 vm_ops 成员...deal with this struct. */ const struct vm_operations_struct *vm_ops; 参考 【Linux 内核 内存管理】内存映射相关数据结构 ④...we map to (can be NULL). */ 参考 【Linux 内核 内存管理】内存映射相关数据结构 ⑤ ( vm_area_struct 结构体成员分析 | vm_pgoff 成员 |...vm_file 成员 | vm_private_data ) 博客 ; 3、文件映射 虚拟内存区域 图示 二、匿名映射 虚拟内存区域 ---- 在 " 匿名映射 " 虚拟内存区域 中 , 与 " 文件映射
对比Guava Cache Caffeine是在Guava Cache的基础上做一层封装，性能有明显提高，二者同属于内存级本地缓存。...，存储与内存部分的缓存数据丢失；存储与硬盘部分的数据继续存在 缓存配置存在两种模式：一种是纯内存型，一种是可持久化到磁盘 Caffeine 附着于业务进程，业务系统重启，缓存数据全部丢失 纯内存型 内存型缓存的理解...：缓存都是使用内存作为存储媒介的，各种缓存服务的区别如下：Caffeine是内存型缓存是指缓存与调用者属于同一个应用，准确的说属于同一个JVM；Redis是指另外一个独立进程的内存型，缓存数据存储在Redis...数据库的内存中，而不是在调用服务所属的内存中。...过期时间是不同CacheName间缓存配置的重要区别。 3、Key 内存型缓存，无可视化界面，因此首要满足键值的唯一性，键值唯一是正确使用业务缓存的基础保证。
当linux频繁读取文件后,物理内存会很快被用完,当程序结束后,内存不会被正常释放,而是一直caching,因此有必要手动清理系统缓存释放内存。...sync 命令将所有未写的系统缓冲区写到磁盘中，包含已修改的 i-node、已延迟的块 I/O 和读写映射文件 手动释放内存的命令 > echo 3>/proc/sys/vm/drop_caches drop_caches...的值可以是0-3之间的数字，代表不同的含义：0：不释放（系统默认值） 1：释放页缓存 2：释放dentries和inodes 查看内存 > free -h total——总物理内存 used——已使用内存...，一般情况这个值会比较大，因为这个值包括了cache+应用程序使用的内存 free——完全未被使用的内存 shared——应用程序共享内存 buffers——缓存，主要用于目录方面,inode值等（ls...大目录可看到这个值增加） cached——缓存，用于已打开的文件 恢复默认设置 缓存可以提升系统的运行效率,如果发现系统内存经常不够用,应该考虑添加内存,而不是经常清理 > echo 0>/proc/sys
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
