POSIX文件操作(二)

前言

上一篇中,我们学习了POSIX在<fcntl.h>帮助下的文件读写操作。主要使用writeread两个方法,以文件流的形式,进行读写。这一方法固然没有问题。但由于每次都需要I/O操作,在高频读写的场景,可能就会捉襟见肘了。

Linux为我们提供了mmap来解决这个场景下的问题。

基础知识

mmap是一种内存映射文件的方法,即将一个文件或者其它对象映射到进程的地址空间,实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系。实现这样的映射关系后,进程就可以采用指针的方式读写操作这一段内存,而系统会自动回写脏页面到对应的文件磁盘上,即完成了对文件的操作而不必再调用read,write等系统调用函数。相反,内核空间对这段区域的修改也直接反映用户空间,从而可以实现不同进程间的文件共享。

初看起来,这个概念十分复杂。其实真的很复杂。。。简单来说,mmap通过一种方法将文件映射到内存中,我们修改内存即是修改文件。具体它与一般I/O操作有什么区别,可以参考:

从内核文件系统看文件读写过程 认真分析mmap:是什么 为什么 怎么用

使用范例

#include <iostream>
#include <stdio.h>
#include <stdlib.h>
#include <sys/mman.h>
#include <fcntl.h>
#include <unistd.h>
#include <sys/stat.h>

#define FILE_NAME "./test.txt"

int main(int argc, const char * argv[]) {
    
    int fd_open_create;
    char* buf;
    
    if((fd_open_create=open(FILE_NAME,O_CREAT|O_RDWR,0644))==-1)
    {
        perror("open");
    }
    printf("the %s file descriptor is:%d\n",FILE_NAME,fd_open_create);
    
    //取得文件状态)相关函数 fstat,lstat,chmod,chown,readlink,utime
    struct stat statbuf;
    if(stat(FILE_NAME,&statbuf)==-1)
    {
        //文件不存在
        perror("fail to get stat");
        exit(1);
    }
    // 建立内存映射,)用来将某个文件内容映射到内存中,对该内存区域的存取即是直接对该文件内容的读写。
    // 获取mmap映射内存
    buf=(char*)mmap(NULL,statbuf.st_size,PROT_WRITE|PROT_READ,MAP_SHARED,fd_open_create,0);
    if(buf==MAP_FAILED)
    {
        perror("fail to mmap");
        exit(1);
    }
    // 直接修改mmap映射内存
    buf[0]='6';
    //解除内存映射(在解除之前,文件已被修改,但系统并不保证已修改同步完成,可以自行加死循环验证)
    if(munmap(buf,statbuf.st_size)==-1)
    {
        perror("fail to munmap");
        exit(1);
    }
    // 采用read方式读取,验证文件内容
    char bufr[128];
    if( read(fd_open_create, bufr, statbuf.st_size) == 0)
    {
        perror("read");
    }
    
    printf("the %s file read content :\n%s\n",FILE_NAME , bufr);
    close(fd_open_create);
    return (EXIT_SUCCESS);
}

以上,就是mmap的基本使用。但是mmap并不是银弹。

mmap的场景

  • mmap之所以快,是因为建立了页到用户进程的虚地址空间映射,以读取文件为例,避免了页从内核态拷贝到用户态。
  • mmap映射的页和其它的页并没有本质的不同. 所以得益于主要的3种数据结构的高效,其页映射过程也很高效: (1) radix tree,用于查找某页是否已在缓存. (2) red black tree ,用于查找和更新vma结构. (3) 双向链表,用于维护active和inactive链表,支持LRU类算法进行内存回收.
  • (1) 对变长文件不适合. (2) 如果更新文件的操作很多,mmap避免两态拷贝的优势就被摊还,最终还是落在了大量的脏页回写及由此引发的随机IO上. 所以在随机写很多的情况下,mmap方式在效率上不一定会比带缓冲区的一般写快.

以上就是关于mmap的基本使用和一些基础知识,如有问题,欢迎指正。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏FreeBuf

技术讨论 | Windows 10进程镂空技术(木马免杀)

在Win10 x64环境下替换正常的进程,是一个比较高超的技术。使用该技术,可以内存执行病毒、木马。在文件层面实现免杀。可以把一个木马使用DES加密,放在资源里...

931
来自专栏WindCoder

《Linux内核分析》之操作系统是如何工作的 实验总结

实验阶段,由于学校网速等条件限制,未能在真机上搭建出实验环境。在实验楼中,将代码粘贴进去出现严重的缩进错位,最终未能完成编译新的。本文以分析关键代码为主。

713
来自专栏debugeeker的专栏

gdb加载python脚本的方法

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/xuzhina/article/detai...

672
来自专栏前端小栈

mongoDB 基础教程笔记

从mongoDB官网 下载 MongoDB 的最新版本,直接一路next,如果想自定义安装Choose Setup Type处选择Custon

724
来自专栏有趣的django

8.Flask-Script

 Flask-script的作用是可以通过命令行的形式操作flask。安装方式:pip install flask-script

944
来自专栏java 成神之路

Spring mvc 启动配置文件加载两遍问题

3746
来自专栏http://www.cnblogs.com

python3 logging模块

很多程序都有记录日志的需求,并且日志包含的信息有正常的程序访问日志还可能有错误,警告等信息输出,python的logging模块提供了标准的日志接口,可以通过它...

41510
来自专栏灯塔大数据

Python-解决Cx_Oracle查询时UnicodeDecodeError的问题

近期在项目中,要对1张100多万条记录的表进行查询,然后进行一些数据的统计,但是在这个过程中,发现只查询出来几条数据就出现了UnicodeDecodeErro...

2696
来自专栏NetCore

保护连接字符串

保护连接字符串 摘自MSDN 保护对数据源的访问是安全应用程序最重要的目标之一。为了帮助限制对数据源的访问,必须保护连接信息(例如用户标识、密码和数据源名称)的...

1785
来自专栏开源优测

接口测试 | 25 requests + pytest测试实例

概述 本文主要分享如何将pytest和requests结合一起使用,让大家有个初步的了解。 主要内容有: pytest简介 pytest + requests示...

4579

扫码关注云+社区