mmap是linux中提高文件读写效率的一种手段，这里简单整理一下mmap的原理和使用。 高速页缓存 在介绍文件读写之前需要先了解下页缓存的机制，有助于理解文件读写的底层实现。...在linux文件读写中，内核会将文件内容缓存到物理内存中，以页为单位进行映射。...看一下在文件的读写过程中操作系统都做了哪些操作： [af0c4045173bbff9a9f03c5fdf961c8e.jpeg] 可以看到在一次文件读写的过程中，发生了两次系统调用（四次内核态与用户态的上下文切换...在对磁盘文件做内存映射的方式中，文件读写实际上是跟缓存打交道，数据的变化并不会实时的反馈到磁盘中的文件，调用msync()可以强制将修改的数据写回磁盘。...在mmap中，无论是文件缓存还是内存映射都是以页为单位的。
Linux mmap原理 前言 Linux段页式内存管理 mmap mmap内存映射原理 文字概述 mmap函数参数介绍 源码解析 1. 文件映射 2....缺页异常 mmap 和常规文件操作的区别 mmap 使用的细节 小结 ---- 前言 mmap是linux操作系统提供给用户空间调用的内存映射函数，很多人仅仅只是知道可以通过mmap完成进程间的内存共享和减少用户态到内核态的数据拷贝次数...本文想要和大家一起来聊聊mmap的原理，本文整体脉络如下: linux段页式内存管理回顾 mmap原理 ---- Linux段页式内存管理 这里的段页式内存管理主要基于linux 0.11进行讲解...，因此在linux 0.11中多个进程可以共享一套页表。...mmap的实现不是基于linux 0.11的虚拟内存管理方式，而是更复杂的方式，这里大家需要记住上面标红的那段话。
文章目录 一、mmap 与 mmap2 系统调用 二、Linux 内核中的 mmap 系统调用源码 一、mmap 与 mmap2 系统调用 ---- mmap 创建 " 内存映射 " 的 系统调用 有...2 种实现 , mmap 和 mmap2 ; 2 者区别是 : mmap 偏移单位是 " 字节 " , mmap2 偏移单位是 " 页 " , 但是在 arm 64 体系架构中 , 没有实现 mmap2..., 只实现了 mmap 系统调用 ; 二、Linux 内核中的 mmap 系统调用源码 ---- arm64 架构体系中 , 使用 mmap 系统调用 创建 " 内存映射 " , 调用 mmap 系统调用函数...函数 , 继续向下执行 ; mmap 系统调用代码如下 : SYSCALL_DEFINE1(old_mmap, struct mmap_arg_struct __user *, arg) { struct...>> PAGE_SHIFT); } 参考路径 : linux-4.12\mm\mmap.c#1534
Linux提供了mmap()函数，用来映射物理内存。...在驱动程序中，应用程序以设备文件为对象，调用mmap()函数，内核进行内存映射的准备工作，生成vm_area_struct结构体，然后调用设备驱动程序中定义的mmap函数。...而是保持共享区域，直到通信完毕为止，这样，数据内容一直保存在共享内存中，并没有写回文件。共享内存中的内容往往是在解除映射时才写回文件的。因此，采用共享内存的通信方式效率是非常高的。...（2）使用特殊文件提供匿名内存映射：适用于具有亲缘关系的进程之间；由于父子进程特殊的亲缘关系，在父进程中先调用mmap()，然后调用fork()。...struct file *,struct vm_area_struct *); linux有2个方法建立页表: (1) 使用remap_pfn_range一次建立所有页表.
mmap() 系统调用介绍 mmap() 系统调用能够将文件映射到内存空间，然后可以通过读写内存来读写文件。...在 32位的 Linux 内核中，每个进程都独有 4GB 的虚拟内存空间，但所有进程却共用相同的物理内存空间。...vm_area_struct 结构 在Linux内核中，虚拟内存是用过结构体 vm_area_struct 来管理的，通过 vm_area_struct 结构体可以把虚拟内存划分为多个用途不相同的内存区...每个进程都由 task_struct 结构进行管理，task_struct 结构中的 mm 成员指向了每个进程的内存管理结构 mm_struct，而 mm_struct 结构的 mmap 成员记录了进程虚拟内存空间各个内存区的...对文件的读写 像 read()/write() 这些系统调用，首先需要进行内核空间，然后把文件内容读入到缓存中，然后再对缓存进行读写操作，最后由内核定时同步到文件中。过程如下图： ?
class QLabel; class QLineEdit; class QPushButton;
~/Downloads/research/linux-5.15.4/include/linux/mm_types.h struct page { unsigned long flags;
如果进程使用的内存过大，比如1GB，这样会在页表中占用 1GB / 4KB = 262144个页表项，而系统TLB可以容纳的页表项远小于这个数量。...预留192个大页 # sysctl vm.nr_hugepages=192 #查看是否预留成功 # cat /proc/meminfo |grep -i huge 2.2 通过系统调用来从预留的大页内存中申请大页...memory.h> int main(int argc, char *argv[]) { char *m; size_t s = (8UL * 1024 * 1024); m = mmap
在内存映射的过程中，并没有实际的数据拷贝，文件没有被载入内存，只是逻辑上被放入了内存，具体到代码，就是建立并初始化了相关的数据结构（struct address_space），这个过程有系统调用mmap...（也就是该文件从来没有被读入内存的情况），则会通过mmap()建立的映射关系，从硬盘上将文件读取到物理内存中，如图1中过程3所示。...原因是read()是系统调用，其中进行了数据拷贝，它首先将文件内容从硬盘拷贝到内核空间的一个缓冲区，如图2中过程1，然后再将这些数据拷贝到用户空间，如图2中过程2，在这个过程中，实际上完成了 两次数据拷贝...；而mmap()也是系统调用，如前所述，mmap()中没有进行数据拷贝，真正的数据拷贝是在缺页中断处理时进行的，由于mmap()将文件直接映射到用户空间，所以中断处理函数根据这个映射关系，直接将文件从硬盘拷贝到用户空间...图2.read系统调用原理 下面这个程序，通过read和mmap两种方法分别对硬盘上一个名为“mmap_test”的文件进行操作，文件中存有10000个整数，程序两次使用不同的方法将它们读出，加1，再写回硬盘
作者：freeboy1015 来源：http://lib.csdn.net/article/linux/62126 一. mmap系统调用 1. mmap系统调用 mmap将一个文件或者其它对象映射进内存...而是保持共享区域，直到通信完毕为止，这样，数据内容一直保存在共享内存中，并没有写回文件。共享内存中的内容往往是在解除映射时才写回文件的。因此，采用共享内存的通信方式效率是非常高的。...：适用于具有亲缘关系的进程之间；由于父子进程特殊的亲缘关系，在父进程中先调用mmap()，然后调用fork()。...下面是struct vm_area_struct结构体的定义： #include /* This struct defines a memory VMM memory...结构的成员: int (*mmap)(struct file *,struct vm_area_struct *); linux有2个方法建立页表: (1) 使用remap_pfn_range一次建立所有页表
文章目录 一、do_mmap 函数执行流程 二、do_mmap 函数源码 调用 mmap 系统调用 , 先检查 " 偏移 " 是否是 " 内存页大小 " 的 " 整数倍 " , 如果偏移是内存页大小的整数倍..., 则调用 sys_mmap_pgoff 函数 , 继续向下执行 ; 在 sys_mmap_pgoff 系统调用函数 中 , 最后调用了 vm_mmap_pgoff 函数 , 继续向下执行 ; 在 vm_mmap_pgoff...函数 中 , 核心处理过程就是调用 do_mmap 函数 , 这是 " 内存映射 " 创建的主要函数逻辑 ; 一、do_mmap 函数执行流程 ---- do_mmap 函数 , 主要功能是 创建 "..." 内存映射 " 主要是 do_mmap 函数实现的 , 该函数定义在 Linux 内核源码的 linux-4.12\mm\mmap.c#1320 位置 ; do_mmap 函数源码如下 : /*...(flags & (MAP_POPULATE | MAP_NONBLOCK)) == MAP_POPULATE)) *populate = len; return addr; } 源码路径 : linux
作者：freeboy1015 来源：http://lib.csdn.net/article/linux/62126 一. mmap系统调用 1. mmap系统调用 mmap将一个文件或者其它对象映射进内存...而是保持共享区域，直到通信完毕为止，这样，数据内容一直保存在共享内存中，并没有写回文件。共享内存中的内容往往是在解除映射时才写回文件的。因此，采用共享内存的通信方式效率是非常高的。...（2）使用特殊文件提供匿名内存映射：适用于具有亲缘关系的进程之间；由于父子进程特殊的亲缘关系，在父进程中先调用mmap()，然后调用fork()。...结构的成员: int (*mmap)(struct file *,struct vm_area_struct *); linux有2个方法建立页表: (1) 使用remap_pfn_range一次建立所有页表...当实际访问新映射的页面时的操作(由缺页中断完成) (1) page cache及swap cache中页面的区分：一个被访问文件的物理页面都驻留在page cache或swap cache中，一个页面的所有信息由
mmap是一种虚拟内存映射文件的方法，即可以将一个文件或者其它对象映射到进程的地址空间，实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系。...普通文件被映射到虚拟地址空间后，程序可以像操作内存一样操作文件，可以提高访问效率，适合处理超大文件 一个简单的例子： import mmap # write a simple example file...") with open("hello.txt", "r+b") as f: # memory-map the file, size 0 means whole file mm = mmap.mmap...# close the map mm.close() 参考文献：https://docs.python.org/2/library/mmap.html
失败时，munmap返回-1，errno 返回标志和 mmap 一致。 该调用在进程地址空间中解除一个映射关系，addr是调用mmap()时返回的地址，len是映射区的大小。...3.mmap和常规文件操作的区别 我们首先简单回顾一下常规文件系统操作（调用read/fread等类函数）中，函数的调用过程： 1.进程发起读文件请求。...这样造成读文件时需要先将文件页从磁盘拷贝到页缓存中，由于页缓存处在内核空间，不能被用户进程直接寻址，所以还需要将页缓存中数据页再次拷贝到用户空间内存。...而 mmap 操作文件，只需要从磁盘到用户主存的一次数据拷贝，效率更高。 4.作用 mmap 主要有两点作用： 文件映射，减少数据拷贝，提高 IO 效率。 将文件映射到进程的地址空间。...参考文献 认真分析mmap：是什么为什么怎么用- 胡潇
如果偏移是内存页大小的整数倍 , 则调用 sys_mmap_pgoff 函数 , 继续向下执行 ; 在 sys_mmap_pgoff 系统调用函数 中 , 最后调用了 vm_mmap_pgoff 函数..., 继续向下执行 ; 一、vm_mmap_pgoff 函数执行流程 ---- 在 vm_mmap_pgoff 函数中 , 首先 , 以 " 写者 " 身份 , 向 Linux 内核申请 读写 " 信号量..., 直接进行处理即可 , 在 物理地址空间 分配 内存页 , 并将 虚拟地址空间 的 内存页 映射到 物理内存页 中 ; 二、vm_mmap_pgoff 函数源码 ---- vm_mmap_pgoff...函数定义在 Linux 内核源码中的 linux-4.12\mm\util.c#296 位置 ; vm_mmap_pgoff 函数源码如下 : unsigned long vm_mmap_pgoff(struct...(mm, &uf); if (populate) mm_populate(ret, populate); } return ret; } 源码路径 : linux-4.12\mm\util.c
是否是 " 内存页大小 " 的 " 整数倍 " , 如果偏移是内存页大小的整数倍 , 则调用 sys_mmap_pgoff 函数 , 继续向下执行 ; 在 sys_mmap_pgoff 系统调用函数 中..., 最后调用了 vm_mmap_pgoff 函数 , 继续向下执行 ; 在 vm_mmap_pgoff 函数 中 , 核心处理过程就是调用 do_mmap 函数 , 这是 " 内存映射 " 创建的主要函数逻辑...; 在 do_mmap 函数中 , 调用了 mmap_region 函数 , 创建 " 虚拟内存区域 " ; 一、mmap_region 函数执行流程 ---- 1、检查内存申请是否合法 在 mmap_region..., prev, rb_link, rb_parent); 源码路径 : linux-4.12\mm\mmap.c#1710 vma_set_page_prot(vma); 源码路径 : linux-4.12...\mm\mmap.c#1743 二、mmap_region 函数源码 ---- mmap_region 函数源码 定义在 Linux 内核源码的 linux-4.12\mm\mmap.c#1602 位置
改进的方法就是让程序可以直接读写驱动程序中的buffer，这可以通过mmap实现(memory map)，把内核的buffer映射到用户态，让APP在用户态直接读写。...二级页表地址旺射的最小单位有4K、1K，Linux使用4K。...是否使用cache、是否使用buffer，就有4种组合(Linux内核文件arch\arm\include\asm\pgtable-2level.h)： 第1种是不使用cache也不使用buffer，...3.3, 驱动程序要做的事 驱动程序要做的事情有3点： ① 确定物理地址 ② 确定属性：是否使用cache、buffer ③ 建立映射关系 参考Linux源文件，示例代码如下： 还有一个更简单的函数：...9.4 驱动编程 我们在驱动程序中申请一个8K的buffer，让APP通过mmap能直接访问。
改进的方法就是让程序可以直接读写驱动程序中的buffer，这可以通过mmap实现(memory map)，把内核的buffer映射到用户态，让APP在用户态直接读写。...二级页表地址旺射的最小单位有4K、1K，Linux使用4K。 一级页表项里的内容，决定了它是指向一块物理内存，还是指问二级页表，如下图： ?...是否使用cache、是否使用buffer，就有4种组合(Linux内核文件arch\arm\include\asm\pgtable-2level.h)： ?...3.3, 驱动程序要做的事 驱动程序要做的事情有3点： ① 确定物理地址 ② 确定属性：是否使用cache、buffer ③ 建立映射关系 参考Linux源文件，示例代码如下： ?...4,驱动编程 我们在驱动程序中申请一个8K的buffer，让APP通过mmap能直接访问。 ① 使用哪一个函数分配内存？
Linux下的进程间通信也可以使用mmap的内存共享映射来实现，mmap的作用就是把磁盘文件的一部分直接映射到进程的内存中，那么进程就可以直接对该内存文件进行操作，mmap也设置了两种机制...：共享和私有，如果是共享映射，那么在内存中对文件进行修改，磁盘中对应的文件也会被修改，相反，磁盘中的文件有了修改，内存中的文件也被修改。...如果是私有映射，那么内存中的文件是独立的，二者进行修改都不会对对方造成影响。...通过这样的内存共享映射就相当于是进程直接对磁盘中的文件进行读写操作一样，那么如果有两个进程来mmap同一个文件，就实现了进程间的通信。...磁盘中的文件通过mmap函数来实现映射，然后通过munmap函数取消映射。
文章目录 一、sys_mmap_pgoff 系统调用函数执行流程 二、sys_mmap_pgoff 系统调用函数源码 调用 mmap 系统调用 , 先检查 " 偏移 " 是否是 " 内存页大小 " 的...函数中 , 首先 , 进行 " 文件映射 " , 进程 中 维护了一个 打开文件 列表 , 根据 " 文件描述符 " 在上述列表 中查找 文件实例 ; 然后 , 执行 " 匿名巨型页映射 " , 在...hugetlbfs 文件系统中 , 创建文件 " 巨型页 " , 即 anon_hugepage ; 最后 , 调用了 vm_mmap_pgoff 函数 , 继续向后执行 ; 二、sys_mmap_pgoff...系统调用函数源码 ---- 该 sys_mmap_pgoff 系统调用函数源码 , 定义在 Linux 内核源码的 linux-4.12\mm\mmap.c#1475 位置 ; sys_mmap_pgoff...(file, addr, len, prot, flags, pgoff); out_fput: if (file) fput(file); return retval; } 源码路径 : linux
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
