首页
学习
活动
专区
工具
TVP
发布

Linux申请内存(mmap)

---- 1.为什么要使用内存   了解操作系统内存管理的人一般都知道操作系统对内存采用多级表和分页进行管理,操作系统每个默认大小为4KB。...操作系统默认支持的是2MB,当使用1GB内存时,在表中将占用 1GB / 2MB = 512个表项,可以大大提升TLB命中率,进而提升应用性能。...---- 2.怎样使用内存 2.1 先预留一定量的内存 #先查看系统有多少已经预留的内存 # cat /proc/meminfo |grep -i huge #预留192个 # sysctl...\n"); getchar(); munmap(m, s); return 0; } ---- 3.最后的话 内存的好处不仅是减少TLB未命中次数,而且内存分配的是物理内存,不会被操作系统的内存管理换出到磁盘上...,因此不会出现缺页中断,也就不会引入访问磁盘的时延,另外,内存在物理上是连续的,对于大内存访问也有一定的加速效果。

11.3K110
您找到你想要的搜索结果了吗?
是的
没有找到

Linux 标准和透明大

Huge pages ( 标准 ) 和 Transparent Huge pages( 透明大 ) 在 Linux 中大分为两种:Huge pages ( 标准 ) 和 Transparent...内存是以块即的方式进行管理的,当前大部分系统默认的大小为 4096 bytes 即 4K。1MB 内存等于 256 ;1GB 内存等于 256000 。...Huge Pages Huge pages 是从 Linux Kernel 2.6 后被引入的,目的是通过使用内存来取代传统的 4kb 内存页面, 以适应越来越大的系统内存,让操作系统可以支持现代硬件架构的页面容量功能...这两者最大的区别在于: 标准管理是预分配的方式,而透明大管理则是动态分配的方式。...标准的页面大小 [root@localhost ~]# grep Hugepagesize /proc/meminfo Hugepagesize: 2048 kB 注:THP 目前只能映射异步内存区域

4.8K50

Linux 透明大 THP 和标准 HP

作者 | JiekeXu 大家好,我是JiekeXu,很高兴又和大家见面了,今天和大家一起来看看 Linux 透明大 THP 和标准 HP 目 录 标准(HugePages) 透明大(Transparent...在 Linux 中大分为两种: Huge pages (标准) 和 Transparent Huge pages(透明大)。...标准(HugePages) 标准(HugePages)是从 Linux Kernel 2.6 后被引入的,Huge Pages 可以称为大内存或者页面,有时候也翻译成大/标准/传统...当数据库启动时会分配共享内存段大小,即数据库启动状态时可以使用官方推荐的 hugepages_settings.sh 脚本计算 nr_hugepages 大小。...标准只能用于共享内存段等少量类型的内存,一旦将物理内存作为标准分配,就不能再将其作为私有内存使用,故不能占用过大的内存,一般情况下以 Oracle 数据库的 SGA 为参考,一个基本公式为:

2.2K20

DPDK巨地址管理Linux内核内存管理内存映射pagemaprdma内存注册

DPDK巨地址管理/Linux内核内存管理/内存映射/pagemap/rdma内存/注册术语PFN: 物理地址对应的帧号:pfn = pte_pfn(*pte)INFINIBAND_USER_MEM...请阅读有关Linux 内核文档,以获取有关如何保留的更多信息。...,也可以通过该文件配置页面的数目,如:  echo 20 > /proc/sys/vm/nr_hugepages另外,hugepage的默认大小也可以通过配置内核启动参数“default_hugepagesz...不用担心交换——在 Linux 中,页面无论如何都不能被换出。...请求特定大小的页面您可以在调用 mmap() 时通过传递一个标志来手动指定所需的页面大小:mmap内存映射原理mmap内存映射的实现过程,总的来说可以分为三个阶段:(一)进程启动映射过程,并在虚拟地址空间中为映射创建虚拟映射区域

16110

Linux 内核 内存管理】物理内存组织结构 ⑥ ( 物理 page 简介 | 物理 page 与 MMU 内存管理单元 | 内存节点 pglist_data 与 物理 page 联系 )

文章目录 一、物理 page 简介 1、物理 page 引入 2、物理 page 与 MMU 内存管理单元 3、物理 page 结构体 4、Linux 内核源码中的 page 结构体 二、内存节点...pglist_data 与 物理 page 联系 内存管理系统 3 级结构 : ① 内存节点 Node , ② 内存区域 Zone , ③ 物理 Page , Linux 内核中 , 使用 上述..., 就是 " 内存区域 " zone , " 内存区域 " 再向下划分 , 就是 " 物理 " page ; 2、物理 page 与 MMU 内存管理单元 在 Linux 内核中 , MMU 内存管理单元...结构体 " 物理 " page 是 Linux 内核 " 内存管理 " 中的 最小单位 , 物理 中的 " 物理地址 " 是连续的 , 每个 " 物理 " 使用 struct page 结构体...SPARSEMEM */ // 描述数组 struct page *node_mem_map; #endif } 参考 【Linux 内核 内存管理】物理内存组织结构 ③ ( 内存管理系统三级结构

6.6K10

零拷贝内存 or 锁定内存

这是一个小实验,在于验证GPU上使用零拷贝内存锁定内存的性能差别。使用的是点积计算,数据量在100M左右。...实验步骤很简单,分别在主机上开辟普通内存锁定内存以及进行零拷贝内存的操作,看三者哪个完成的时间比较快,具体的代码在最后,这里是实验结果: ?...但是,锁定内存相比于零拷贝内存到底慢在哪里呢,当然是慢在从主机内存拷贝到显存的时间了,注释掉锁定的拷贝语句之后,可以得到以下结果: ?...ps:但是,奇怪的是,如果只将a,b内存拷贝的语句注释掉,锁定内存仍旧可以得到正确的结果,暂时想不明白是为什么 这时就要问了,看起来零拷贝比锁定要快啊,那还要这个锁定干嘛呢,当然是有用的,因为...,零拷贝的内容不能缓存在显存里,如果内容要被反复使用,零拷贝就要不停地从内存里取值,增加总线压力,这样相比锁定也就处于劣势。

1.9K50

Linux 内核 内存管理】物理释放 ( 物理释放 __free_pages 函数 )

文章目录 一、物理释放 __free_pages 函数 一、物理释放 __free_pages 函数 ---- 分配器 提供了 释放 物理的 函数 __free_pages , 该函数定义在 Linux...内核源码的 linux-4.12\mm\page_alloc.c#4083 位置 ; __free_pages 函数参数分析 : struct page *page 参数 表示 要释放的 物理 page...的 虚拟空间地址 ; unsigned int order 参数 表示 要释放的 物理 的 " 阶数 " , 也就是 要释放的物理大小 ; 阶 ( Order ) : 物理 的 数量单位 ,...n 阶块 指的是 2^n 个 连续的 " 物理 " ; 参考 【Linux 内核 内存管理】伙伴分配器 ① ( 伙伴分配器引入 | 块、阶 | 伙伴 ) __free_pages 函数源码...order == 0) free_hot_cold_page(page, false); else __free_pages_ok(page, order); } } 源码路径 : linux

12.5K20

Linux 内核 内存管理】内存管理架构 ③ ( Linux 内核中的内存管理模块 | 分配器 | 不连续分配器 | 内存控制组 | 硬件设备内存管理 | MMU | 表缓存 | 高速缓存 )

文章目录 一、Linux 内核中的内存管理模块 二、硬件设备内存管理 一、Linux 内核中的内存管理模块 ---- Linux 内核还需要处理如下内容 : ① 错误异常处理 ② 表管理 ③ 引导内存分配器...: 分配器 , 块分配器 , 不连续分配器 , 连续内存分配器 , 每处理器内存分配器 ; " 分配器 " 负责分配 内存物理 , 使用的是 " 伙伴分配器 " ; " 不连续分配器 " 提供了...vmalloc 函数 用于分配内存 , vfree 函数 用于 释放内存 ; 申请的 " 不连续物理 “ 可以 映射到 ” 连续的虚拟 " ; ④ 内存碎片整理 ⑤ 内存耗尽处理 ⑥ 内存控制组...: 控制管理 被 进程 占用的 内存 ; 碎片整理 : 如果 " 内存碎片化 " 严重 , 没有连续物理 , 需要通过 整理内存碎片 并迁移数据 得到 连续的 物理 ; 内存回收 : 内存不足时 ,...回收内存 ; ⑦ 回收处理 二、硬件设备内存管理 ---- 硬件设备内存管理 : ① CPU 处理器 中的 " 内存管理单元 " ( MMU ) 和 高速缓存 ; ② 物理内存 在 " 内存管理单元

1.4K40

性能优化:Linux环境下合理配置大内存

实际上32位Linux中的进程通常不会那么表。进程不可能用完所有的4GB大小地址空间,甚至有1GB虚拟地址空间分给了内核。...同时Linux不会为进程一次性建立那么表,只有进程在分配和访问内存时,操作系统才会为进程建立相应地址的映射。 这里只描述了最简单情况下的分页映射。实际上页表目录连同表一共有四级。...因此,决定先使用大内存来调优系统的内存使用。 大内存是一种统称,在低版本的Linux中为Large Page,而当前主流的Linux版本中为Huge Page。...那么数据库启动后,会根据SGA_MAX_SIZE分配HugePage内存,这里为10GB,真正Free的HugePage内存为11-10=1G。...另外值得高兴的是,新版本的Linux内核提供了Transparent Huge Pages,以便运行在Linux上的应用能更广泛更方便地使用大内存,而不仅仅是只有共享内存这类内存才能使用大内存

4.5K50

高端内存映射之vmalloc分配内存中不连续的--Linux内存管理(十九)

1 内存中不连续的的分配 根据上文的讲述, 我们知道物理上连续的映射对内核是最好的, 但并不总能成功地使用. 在分配一内存时, 可能竭尽全力也无法找到连续的内存块....分配到其中的可能位于物理内存中的任何地方. 通过修改负责该区域的内核表, 即可做到这一点. ? ?...因为用于vmalloc的内存总是必须映射在内核地址空间中, 因此使用ZONE_HIGHMEM内存域的要优于其他内存域. 这使得内核可以节省更宝贵的较低端内存域, 而又不会带来额外的坏处....其中依次映射了3个(假想的)物理内存, 在物理内存中的位置分别是1 023、725和7 311....接下来从物理内存分配各个 最后将这些连续地映射到vmalloc区域中, 分配虚拟内存的工作就完成了.

2.9K10

系统内存管理:虚拟内存内存分段与分页、表缓存TLB以及Linux内存管理

内存分页内存分页是将整个虚拟和物理内存空间划分为固定大小的连续内存块,称为(Page)。在Linux下,每一的大小通常为4KB。...如果有100个进程,就需要400MB的内存来存储表,这对于内存来说是相当的开销,更不用说64位环境下了。...这是因为程序执行过程中,访问的表项相对固定。通过利用TLB,可以大大提高地址转换的速度,加快程序的执行效率。Linux内存管理Linux内存管理涉及逻辑地址和线性地址的转换。...逻辑地址是程序使用的地址,而线性地址是通过段式内存管理映射的地址,也称为虚拟地址。Linux的虚拟地址空间分为内核空间和用户空间两部分。...Linux内存管理涉及逻辑地址和线性地址的转换,将虚拟地址空间分为内核空间和用户空间,方便进程访问内核空间内存。我正在参与2023腾讯技术创作特训营第三期有奖征文,组队打卡瓜分大奖!

42280

Linux 内核 内存管理】内存映射原理 ② ( 内存映射概念 | 文件映射 | 匿名映射 | 内存映射原理 | 分配虚拟内存 | 产生缺页异常 | 分配物理内存 | 共享内存 | 进程内存 )

文章目录 一、内存映射概念 二、内存映射原理 1、分配虚拟内存 2、产生缺页异常 3、分配物理内存 三、共享内存 四、进程内存段的内存映射类型 一、内存映射概念 ---- 内存映射 概念 : "..." 物理内存空间 “ 映射到 ” 虚拟内存空间 " , 其中的数据是随机值 ; 二、内存映射原理 ---- 1、分配虚拟内存 分配 虚拟内存 : 在 Linux 系统中 创建 " 内存映射 “ 时..., 会在 ” 用户虚拟地址空间 “ 中 , 分配一块 ” 虚拟内存区域 " ; 2、产生缺页异常 缺页异常 : Linux 内核在分配 " 物理内存 “ 时 , 采用了 ” 延迟策略 “ , 即进程第一次访问...缺页异常 " 后 , 会 分配 " 物理内存 “ , 并且将 要映射的文件 的 部分数据 读取到 该 ” 物理内存 " 中 ; 匿名映射 : 对于 " 匿名映射 " , 直接分配 " 物理内存 “..., 并且在 " 表 “ 中 , 将 ” 虚拟内存 " 映射到 ” 物理内存 " ; 三、共享内存 ---- 内存映射 与 共享内存 关系 : 文件映射 : 在进程间的 " 共享内存 " 就是使用

8.1K20

Linux-3.14.12内存管理笔记【建立内核表(3)

前面已经分析了内核表的准备工作以及内核低端内存表的建立,接着回到init_mem_mapping()中,低端内存表建立后紧随着还有一个函数early_ioremap_page_table_range_init...temporary kernel mappings */ FIX_KMAP_END = FIX_KMAP_BEGIN+(KM_TYPE_NR*NR_CPUS)-1, 其中KM_TYPE_NR表示“窗口”数量,在高端内存的任意一个框都可以通过一个...“窗口”映射到内核地址空间,调用kmap_atomic可以搭建起“窗口”到高端内存的关系,即建立临时内核映射。...,是从表缓冲空间中申请还是通过memblock算法申请内存。...值得注意的是,与低端内存表初始化不同的是,这里的表只是被分配,相应的PTE项并未初始化,这个工作将会交由以后各个固定映射区部分的相关代码调用set_fixmap()来将相关的固定映射区表与物理内存关联

1.5K11

全网最硬核 JVM 内存解析 - 3.分配 UseLargePages

开始) Linux 分配方式 - Huge Translation Lookaside Buffer Page (hugetlbfs) Linux 分配方式 - Transparent...我们要么缩小程序所需内存,要么增大大小。我们一般会考虑增加大小,这就分配的由来,JVM 对于堆内存分配也支持分配,用于优化大堆内存的分配。那么 Linux 环境中有哪些分配的方式呢?...UseHugeTLBFS:明确指定是否使用前面第一种分配方式 hugetlbfs 并且通过 mmap 系统调用分配内存。在 linux 下默认为 false。...UseSHM:明确指定是否使用前面第一种分配方式 hugetlbfs 并且通过 shmget,shmat 系统调用分配内存。在 linux 下默认为 false。...如果启动参数明确指定 UseLargePages 不启用,那么也不会启用分配。

64210
领券