POSIX文件操作(二)

前言

上一篇中,我们学习了POSIX在<fcntl.h>帮助下的文件读写操作。主要使用writeread两个方法,以文件流的形式,进行读写。这一方法固然没有问题。但由于每次都需要I/O操作,在高频读写的场景,可能就会捉襟见肘了。

Linux为我们提供了mmap来解决这个场景下的问题。

基础知识

mmap是一种内存映射文件的方法,即将一个文件或者其它对象映射到进程的地址空间,实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系。实现这样的映射关系后,进程就可以采用指针的方式读写操作这一段内存,而系统会自动回写脏页面到对应的文件磁盘上,即完成了对文件的操作而不必再调用read,write等系统调用函数。相反,内核空间对这段区域的修改也直接反映用户空间,从而可以实现不同进程间的文件共享。

初看起来,这个概念十分复杂。其实真的很复杂。。。简单来说,mmap通过一种方法将文件映射到内存中,我们修改内存即是修改文件。具体它与一般I/O操作有什么区别,可以参考:

从内核文件系统看文件读写过程 认真分析mmap:是什么 为什么 怎么用

使用范例

#include <iostream>
#include <stdio.h>
#include <stdlib.h>
#include <sys/mman.h>
#include <fcntl.h>
#include <unistd.h>
#include <sys/stat.h>

#define FILE_NAME "./test.txt"

int main(int argc, const char * argv[]) {
    
    int fd_open_create;
    char* buf;
    
    if((fd_open_create=open(FILE_NAME,O_CREAT|O_RDWR,0644))==-1)
    {
        perror("open");
    }
    printf("the %s file descriptor is:%d\n",FILE_NAME,fd_open_create);
    
    //取得文件状态)相关函数 fstat,lstat,chmod,chown,readlink,utime
    struct stat statbuf;
    if(stat(FILE_NAME,&statbuf)==-1)
    {
        //文件不存在
        perror("fail to get stat");
        exit(1);
    }
    // 建立内存映射,)用来将某个文件内容映射到内存中,对该内存区域的存取即是直接对该文件内容的读写。
    // 获取mmap映射内存
    buf=(char*)mmap(NULL,statbuf.st_size,PROT_WRITE|PROT_READ,MAP_SHARED,fd_open_create,0);
    if(buf==MAP_FAILED)
    {
        perror("fail to mmap");
        exit(1);
    }
    // 直接修改mmap映射内存
    buf[0]='6';
    //解除内存映射(在解除之前,文件已被修改,但系统并不保证已修改同步完成,可以自行加死循环验证)
    if(munmap(buf,statbuf.st_size)==-1)
    {
        perror("fail to munmap");
        exit(1);
    }
    // 采用read方式读取,验证文件内容
    char bufr[128];
    if( read(fd_open_create, bufr, statbuf.st_size) == 0)
    {
        perror("read");
    }
    
    printf("the %s file read content :\n%s\n",FILE_NAME , bufr);
    close(fd_open_create);
    return (EXIT_SUCCESS);
}

以上,就是mmap的基本使用。但是mmap并不是银弹。

mmap的场景

  • mmap之所以快,是因为建立了页到用户进程的虚地址空间映射,以读取文件为例,避免了页从内核态拷贝到用户态。
  • mmap映射的页和其它的页并没有本质的不同. 所以得益于主要的3种数据结构的高效,其页映射过程也很高效: (1) radix tree,用于查找某页是否已在缓存. (2) red black tree ,用于查找和更新vma结构. (3) 双向链表,用于维护active和inactive链表,支持LRU类算法进行内存回收.
  • (1) 对变长文件不适合. (2) 如果更新文件的操作很多,mmap避免两态拷贝的优势就被摊还,最终还是落在了大量的脏页回写及由此引发的随机IO上. 所以在随机写很多的情况下,mmap方式在效率上不一定会比带缓冲区的一般写快.

以上就是关于mmap的基本使用和一些基础知识,如有问题,欢迎指正。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏张善友的专栏

Mix 10 上的asp.net mvc 2的相关Session

Beyond File | New Company: From Cheesy Sample to Social Platform Scott Hansel...

2587
来自专栏Golang语言社区

【Golang语言社区】GO1.9 map并发安全测试

var m sync.Map //全局 func maintest() { // 第一个 YongHuomap := make(map[st...

4778
来自专栏闻道于事

js登录滑动验证,不滑动无法登陆

js的判断这里是根据滑块的位置进行判断,应该是用一个flag判断 <%@ page language="java" contentType="text/html...

6948
来自专栏陈仁松博客

ASP.NET Core 'Microsoft.Win32.Registry' 错误修复

今天在发布Asp.net Core应用到Azure的时候出现错误InvalidOperationException: Cannot find compilati...

4868
来自专栏魂祭心

原 canvas绘制clock

4164
来自专栏我和未来有约会

Kit 3D 更新

Kit3D is a 3D graphics engine written for Microsoft Silverlight. Kit3D was inita...

2576
来自专栏我和未来有约会

Silverlight第三方控件专题

这里我收集整理了目前网上silverlight第三方控件的专题,若果有所遗漏请告知我一下。 名称 简介 截图 telerik 商 RadC...

4045
来自专栏C#

DotNet加密方式解析--非对称加密

    新年新气象,也希望新年可以挣大钱。不管今年年底会不会跟去年一样,满怀抱负却又壮志未酬。(不过没事,我已为各位卜上一卦,卦象显示各位都能挣钱...)...

4928
来自专栏杨龙飞前端

scrollto 到指定位置

2524
来自专栏pangguoming

Spring Boot集成JasperReports生成PDF文档

由于工作需要,要实现后端根据模板动态填充数据生成PDF文档,通过技术选型,使用Ireport5.6来设计模板,结合JasperReports5.6工具库来调用渲...

1.2K7

扫码关注云+社区