mmap函数详解与代码实操
mmap函数详解与代码实操
icon1.jpg
mmap 函数是 unix/linux下的系统调用。
当存在客户－服务程序中复制文件时候，其数据流如下，要经历四次数据复制，开销很大。
image.png
果采用共享内存的方式，那么将大大优化IO操作，数据流变成了如下，数据只复制两次：
image.png
mmap 函数映射文件或设备到内存中，取消映射就是munmap函数。
C语言mmap()函数：建立内存映射
摘自：http://c.biancheng.net/cpp/html/138.html
- 头文件：
#include <unistd.h> #include <sys/mman.h> - 定义函数：
void *mmap(void *start, size_t length, int prot, int flags, int fd, off_t offsize); - 函数说明：
mmap()用来将某个文件内容映射到内存中，对该内存区域的存取即是直接对该文件内容的读写。
参数说明：
参数 | 说明 |
|---|---|
start | 指向欲对应的内存起始地址，通常设为NULL，代表让系统自动选定地址，对应成功后该地址会返回。 |
length | 代表将文件中多大的部分对应到内存。 |
prot | 代表映射区域的保护方式，有下列组合：PROT_EXEC 映射区域可被执行；PROT_READ 映射区域可被读取；PROT_WRITE 映射区域可被写入；PROT_NONE 映射区域不能存取。 |
flags | 会影响映射区域的各种特性：MAP_FIXED 如果参数 start 所指的地址无法成功建立映射时，则放弃映射，不对地址做修正。通常不鼓励用此旗标。MAP_SHARED 对应射区域的写入数据会复制回文件内，而且允许其他映射该文件的进程共享。MAP_PRIVATE 对应射区域的写入操作会产生一个映射文件的复制，即私人的"写入时复制" (copy on write)对此区域作的任何修改都不会写回原来的文件内容。MAP_ANONYMOUS 建立匿名映射，此时会忽略参数fd，不涉及文件，而且映射区域无法和其他进程共享。MAP_DENYWRITE 只允许对应射区域的写入操作，其他对文件直接写入的操作将会被拒绝。MAP_LOCKED 将映射区域锁定住，这表示该区域不会被置换(swap)。在调用mmap()时必须要指定MAP_SHARED 或MAP_PRIVATE。 |
fd | open()返回的文件描述词，代表欲映射到内存的文件。 |
offset | 文件映射的偏移量，通常设置为0，代表从文件最前方开始对应，offset必须是分页大小的整数倍。 |
返回值：若映射成功则返回映射区的内存起始地址，否则返回MAP_FAILED(-1)，错误原因存于errno 中。
错误代码：
- EBADF 参数fd 不是有效的文件描述词。
- EACCES 存取权限有误。如果是MAP_PRIVATE 情况下文件必须可读，使用MAP_SHARED 则要有 PROT_WRITE 以及该文件要能写入。
- EINVAL 参数start、length 或offset 有一个不合法。
- EAGAIN 文件被锁住，或是有太多内存被锁住。
- ENOMEM 内存不足。
C语言munmap()函数：解除内存映射
摘自：http://c.biancheng.net/cpp/html/139.html
- 头文件：
#include <unistd.h> #include <sys/mman.h> - 定义函数：
int munmap(void *start, size_t length); - 函数说明：
munmap()用来取消参数start所指的映射内存起始地址，参数length则是欲取消的内存大小。- 当进程结束或利用
exec相关函数来执行其他程序时，映射内存会自动解除，但关闭对应的文件描述词时不会解除映射。
- 当进程结束或利用
- 返回值：如果解除映射成功则返回0，否则返回－1。错误原因存于
errno中错误代码EINVAL参数start或length不合法。
MacOC下实测
命令行生成固定大小文件
有时我们需要不同大小的测试文件 我们可以使用终端创建一些指定大小的文件
mkfile -n size[b|k|m|g] 文件名例如：创建一个1G的文件Demo.pdf
mkfile -n 1g ~/Desktop/Demo.pdf这个命令在Mac下是OK的。
共享映射
修改共享内存中的文件内容：
#include <sys/mman.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
int main (int argc, char **argv)
{
int fd, nread, i;
struct stat sb;
char *mapped;
if ( argc <= 1 ) {
printf("%s: Need file path! \n",argv[0]);
exit(-1);
}
/* 打开文件 */
if ((fd = open (argv[1], O_RDWR)) < 0) {
perror ("open");
}
/* 获取文件的属性 */
if ((fstat (fd, &sb)) == -1) {
perror ("fstat");
}
/* 将文件映射至进程的地址空间 */
if ((mapped = (char *) mmap (NULL, sb.st_size, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0)) == (void *) -1) {
perror ("mmap");
}
/* 映射完后, 关闭文件也可以操纵内存 */
close (fd);
printf ("%s", mapped);
/* 修改一个字符,同步到磁盘文件 */
mapped[0] = '0';
if ((msync ((void *) mapped, sb.st_size, MS_SYNC)) == -1) {
perror ("msync");
}
/* 释放存储映射区 */
if ((munmap ((void *) mapped, sb.st_size)) == -1) {
perror ("munmap");
}
return 0;
}- 编译：
$ gcc -c lianxi1.c - 链接:
$ gcc -o out1 lianxi1.o执行, 参数为一个文件全路径。例如在/Desktop下创建一个hello1.txt,存入hello单词:$ ./out1 /Desktop/hello1.txt执行完毕后发现文件中的第一个字母h变成了0。 程序将文件映射到了内存中，并将第一个字符进行了修改并同步到了磁盘文件中。
父子进程通信
使用fork创建进程，父子进程分别往共享内存中写入各自字符串，并读出。
#include <sys/mman.h>
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#define BUF_SIZE 100
int main (int argc, char **argv)
{
char *p_map;
/* 匿名映射,创建一块内存供父子进程通信 */
p_map = (char *) mmap (NULL, BUF_SIZE, PROT_READ | PROT_WRITE, MAP_SHARED | MAP_ANONYMOUS, -1, 0);
if (fork () == 0) {
sleep (1); //可以修改此处睡眠时间，看看不同的输出。
printf ("child got a message: %s\n", p_map);
sprintf (p_map, "%s", "from u son");
munmap (p_map, BUF_SIZE); //实际上，进程终止时，会自动解除映射。
exit (0);
}
sprintf (p_map, "%s", "from u father");
sleep (2); //可以修改此处睡眠时间，看看不同的输出。
printf ("parent got a message: %s\n", p_map);
return 0;
}- 编译：
$ gcc -c lianxi2.c - 链接:
$ gcc -o out2 lianxi2.o - 执行:
$ ./out2这段代码，根据父子进程的sleep时间长短不同，输出会有不同。
child got a message: from u father
parent got a message: from u son内存访问溢出
linux采用的是页式管理机制，使用mmap()映射普通文件后，进程会在自己的地址空间新增一块空间，空间大小由mmap()的len参数指定。但是，进程并不一定能够对全部新增空间都能进行有效访问。进程能够访问的有效地址大小取决于文件被映射部分的大小。决定进程能访问的大小是容纳文件被映射部分的最小页面数。如下图。
image.png
#include <sys/mman.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <stdio.h>
int main (int argc, char **argv)
{
int fd;
int pagesize, offset;
int len, size;
char *p_map;
struct stat sb;
/* 取得page size */
pagesize = sysconf (_SC_PAGESIZE);
printf ("pagesize is %d\n", pagesize);
/* 打开文件 */
fd = open (argv[1], O_RDWR, 00777);
fstat (fd, &sb);
len = pagesize * 2;
size = sb.st_size;
printf("映射内存长度: %d; 文件大小: %d\n", len, size);
offset = 0;
//映射两页内存
p_map = (char *) mmap (NULL, len, PROT_READ | PROT_WRITE, MAP_SHARED, fd, offset);
close (fd);
printf("开始测试\n");
printf("访问超过映射大小内存地址\n");
//p_map[len] = '9'; /* 导致段错误 */
if(size < pagesize) { //文件大小小于一页大小
printf("文件大小小于一页大小\n");
printf("访问文件大小内存地址\n");
p_map[size] = '9'; /* 正常访问 */
printf("访问一页大小内存地址\n");
p_map[pagesize - 1] = '9'; /* 正常访问 */
printf("访问超过一页大小内存地址\n");
p_map[pagesize] = '9'; /* 导致总线错误 */
printf("访问映射大小内存地址\n");
p_map[len - 1] = '9'; /* 导致总线错误 */
} else if(size > pagesize) { //文件大小大于一页大小
printf("文件大小大于一页大小\n");
printf("访问文件大小内存地址\n");
p_map[size] = '9'; /* 正常访问 */
printf("访问一页大小内存地址\n");
p_map[pagesize - 1] = '9'; /* 正常访问 */
printf("访问超过一页大小内存地址\n");
p_map[pagesize] = '9'; /* 正常访问 */
printf("访问映射大小内存地址\n");
p_map[len - 1] = '9'; /* 正常访问 */
} else { //文件大小等于一页大小
printf("文件大小等于一页大小\n");
printf("访问文件大小内存地址\n");
p_map[size] = '9'; /* 导致总线错误 */
printf("访问一页大小内存地址\n");
p_map[pagesize - 1] = '9'; /* 正常访问 */
printf("访问超过一页大小内存地址\n");
p_map[pagesize] = '9'; /* 导致总线错误 */
printf("访问映射大小内存地址\n");
p_map[len - 1] = '9'; /* 导致总线错误 */
}
munmap (p_map, len);
return 0;
}- 编译：
$ gcc -c lianxi3.c - 链接:
$ gcc -o out3 lianxi3.o - 执行,
参数为一个文件全路径。例如在
/Desktop下创建三个文件。- 分别对应文件大小大于一页内存大小的dayu.txt；
- 文件大小小于一页内存大小的xiaoyu.txt,；
- 文件大小等于一页内存大小的dengyu.txt:
./out3 dayu.txt ./out3 xiaoyu.txt