专栏首页落影的专栏iOS的文件内存映射——mmap

iOS的文件内存映射——mmap

前言

mmap在日常开发中偶尔会遇到的一个关键词,最常用到的场景是MMKV,其次用到的是日志打印。虽然都已经被封装好,但也需要了解下mmap的基本原理和过程。

正文

进程是App运行的基本单位,进程之间相对独立。iOS系统中App运行的内存空间地址是虚拟空间地址,存储数据是在各自的沙盒。 当我们在App中去读写沙盒中的文件时,我们会使用NSFileManager去查找文件,然后可以使用NSData去加载二进制数据。文件操作的更底层实现过程,是使用linux的read()write()函数直接操作文件句柄(也叫文件描述符、fd)。 在操作系统层面,当App读取一个文件时,实际是有两步:先将文件从磁盘读取到物理内存,再从系统空间拷贝到用户空间(可以认为是复制到系统给App统一分配的内存)。 iOS系统使用页缓存机制,通过MMU(Memory Management Unit)将虚拟内存地址和物理地址进行映射,并且由于进程的地址空间和系统的地址空间不一样,所以还需要多一次拷贝。

而mmap将磁盘上文件的地址信息与进程用的虚拟逻辑地址进行映射,建立映射的过程与普通的内存读取不同:正常的是将文件拷贝到内存,mmap只是建立映射而不会将文件加载到内存中。 这样做的注意事项:

  • 1、牺牲较大的虚拟内存,映射区域有多大就需要虚拟内存有多大;(故而太大的文件不适合映射整个文件,32位虚拟内存最大是4GB,可以只映射部分)
  • 2、因为映射有额外的性能消耗,所以适用于频繁读操作的场景;(单次使用的场景不建议使用)
  • 3、因为每次操作内存会同步到磁盘,所以不适用于移动磁盘或者网络磁盘上的文件;
  • 4、变长文件不适用;

iOS中的mmap

官网的demo为例,其他的代码很简明直接,核心就在于mmap函数。

void* mmap(void* start,size_t length,int prot,int flags,int fd,off_t offset);

*outDataPtr = mmap(NULL,
                   size,
                   PROT_READ|PROT_WRITE,
                   MAP_FILE|MAP_SHARED,
                   fileDescriptor,
                   0);

start:映射开始地址,设置NULL则让系统决定映射开始地址; length:映射区域的长度,单位是Byte; prot:映射内存的保护标志,主要是读写相关,是位运算标志;(记得与下面fd对应句柄打开的设置一致) flags:映射类型,通常是文件和共享类型; fd:文件句柄; off_toffset:被映射对象的起点偏移;

用官网的代码做参考,写了一个读写的例子:

#import "ViewController.h"
#import <sys/mman.h>
#import <sys/stat.h>

int MapFile(const char * inPathName, void ** outDataPtr, size_t * outDataLength, size_t appendSize)
{
    int outError;
    int fileDescriptor;
    struct stat statInfo;
    
    // Return safe values on error.
    outError = 0;
    *outDataPtr = NULL;
    *outDataLength = 0;
    
    // Open the file.
    fileDescriptor = open( inPathName, O_RDWR, 0 );
    if( fileDescriptor < 0 )
    {
        outError = errno;
    }
    else
    {
        // We now know the file exists. Retrieve the file size.
        if( fstat( fileDescriptor, &statInfo ) != 0 )
        {
            outError = errno;
        }
        else
        {
            ftruncate(fileDescriptor, statInfo.st_size + appendSize);
            fsync(fileDescriptor);
            *outDataPtr = mmap(NULL,
                               statInfo.st_size + appendSize,
                               PROT_READ|PROT_WRITE,
                               MAP_FILE|MAP_SHARED,
                               fileDescriptor,
                               0);
            if( *outDataPtr == MAP_FAILED )
            {
                outError = errno;
            }
            else
            {
                // On success, return the size of the mapped file.
                *outDataLength = statInfo.st_size;
            }
        }
        
        // Now close the file. The kernel doesn’t use our file descriptor.
        close( fileDescriptor );
    }
    
    return outError;
}


void ProcessFile(const char * inPathName)
{
    size_t dataLength;
    void * dataPtr;
    char *appendStr = " append_key";
    int appendSize = (int)strlen(appendStr);
    if( MapFile(inPathName, &dataPtr, &dataLength, appendSize) == 0) {
        dataPtr = dataPtr + dataLength;
        memcpy(dataPtr, appendStr, appendSize);
        // Unmap files
        munmap(dataPtr, appendSize + dataLength);
    }
}

@interface ViewController ()

@end

@implementation ViewController

- (void)viewDidLoad {
    [super viewDidLoad];
    // Do any additional setup after loading the view.
    NSString *path = [NSHomeDirectory() stringByAppendingPathComponent:@"test.data"];
    NSLog(@"path: %@", path);
    NSString *str = @"test str";
    [str writeToFile:path atomically:YES encoding:NSUTF8StringEncoding error:nil];
    
    ProcessFile(path.UTF8String);
    NSString *result = [NSString stringWithContentsOfFile:path encoding:NSUTF8StringEncoding error:nil];
    NSLog(@"result:%@", result);
}

MMKV和mmap

NSUserDefault是常见的缓存工具,但是数据的同步有时会不及时,比如说在crash前保存的值很容易出现保存失败的情况,在App重新启动之后读取不到保存的值。 MMKV很好的解决了NSUserDefault的局限,具体的好处可以见官网。 但是同样由于其独特设计,在数据量较大、操作频繁的场景下,会产生性能问题。 这里的使用给出两个建议: 1、不要全部用defaultMMKV,根据业务大的类型做聚合,避免某一个MMKV数据过大,特别是对于某些只会出现一次的新手引导、红点之类的逻辑,尽可能按业务聚合,使用多个MMKV的对象; 2、对于需要频繁读写的数据,可以在内存持有一份数据缓存,必要时再更新到MMKV;

NSData与mmap

NSData是我们常用类,有一个静态方法和mmap有关系。

+ (id)dataWithContentsOfFile:(NSString *)path options:(NSDataReadingOptions)readOptionsMask error:(NSError **)errorPtr;
NSDataReadingOptions有一个参数是NSDataReadingMappedIfSafe。
Mapped的意思是使用mmap,这个ifSafe是什么意思呢?和另外一个参数NSDataReadingMappedAlways有什么区别?

先看看这三个参数具体的意思: NSDataReadingUncached : 不要缓存,如果该文件只会读取一次,这个设置可以提高性能; NSDataReadingMappedIfSafe : 在保证安全的前提下使用mmap; NSDataReadingMappedAlways : 使用mmap;

如果使用mmap,则在NSData的生命周期内,都不能删除对应的文件。 如果文件是在固定磁盘,非可移动磁盘、网络磁盘,则满足NSDataReadingMappedIfSafe。对iOS而言,这个NSDataReadingMappedIfSafe=NSDataReadingMappedAlways

那什么情况下应该用对应的参数? 如果文件很大,直接使用dataWithContentsOfFile方法,会导致load整个文件,出现内存占用过多的情况;此时用NSDataReadingMappedIfSafe,则会使用mmap建立文件映射,减少内存的占用。 使用场景举例——视频加载,视频文件通常比较大,但是使用的过程中不会同时读取整个视频文件的内容,可以使用mmap优化。

总结

mmap就是文件的内存映射,通常读取文件是将文件读取到内存,会占用真正的物理内存;而mmap是用进程的内存虚拟地址空间去映射实际的文件中,这个过程由操作系统处理。mmap不会为文件分配物理内存,而是相当于将内存地址指向文件的磁盘地址,后续对这些内存进行的读写操作,会由操作系统同步到磁盘上的文件。 iOS中使用mmap可以用c方法的mmap(),也可以使用NSData的接口带上NSDataReadingMappedIfSafe参数。前者自由度更大,后者用于读取数据。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • OpenGL ES实践教程(六)全景视频获取焦点

    教程 OpenGL ES实践教程1-Demo01-AVPlayer OpenGL ES实践教程2-Demo02-摄像头采集数据和渲染 OpenGL ES实践...

    落影
  • iOS开发笔记(四)

    前言 最近遇到一个苦恼的问题,寻找了漫长的时间才解决。 起因是项目需要fork一个新的分支到新的git,于是把代码复制到新的git,创建git库,然后推送,一...

    落影
  • GPUImage详细解析(八)视频合并混音

    回顾 GPUImage源码解析、图片模糊、视频滤镜、视频水印、文字水印和动态图片水印GPUImage的大多数功能已经介绍完毕,这次的demo是源于简书的一位简友...

    落影
  • iOS文件内存映射——MMAP

    最近一段项目上总是出现一些因为文件没有及时保存而产生的问题,因此小编就在网上寻找到了这个文件存储方法mmap,这里为大家进行下简单的介绍。

    用户5521279
  • POSIX文件操作(二)

    Oceanlong
  • Java文件映射(mmap)全接触

    前言 我们在平时的工作中大多都会需要处理像下面这样基于Key-Value的数据: ? 其中UID是数据唯一标识,FIELD[1]是属性值。以QQ用户的Sess...

    用户1263954
  • 数据驱动决策的13种思维

    “数据驱动决策”,为了不让这句话成为空话,请先装备以下13种思想武器,相信将来你一定能用上!

    华章科技
  • 数据驱动决策的13种思维

    “数据驱动决策”,为了不让这句话成为空话,请先装备以下13种思想武器,相信将来你一定能用上! 第一、信度与效度思维 这部分也许是全文最难理解的部分,但我觉得也...

    小莹莹
  • 干货 :数据驱动决策的13种思维

    “数据驱动决策”,为了不让这句话成为空话,请先装备以下13种思想武器,相信将来你一定能用上! 第一、信度与效度思维 这部分也许是全文最难理解的部分,但我觉得也...

    灯塔大数据
  • 【数据】数据驱动决策的13种思维

    小编邀请您,先思考: 1 如何让数据驱动决策? “数据驱动决策”,为了不让这句话成为空话,请先装备以下13种思想武器,相信将来你一定能用上! 1. 信度与效度...

    陆勤_数据人网

扫码关注云+社区

领取腾讯云代金券