文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Linux内存页分配策略

伙伴系统分配算法 在上一节, 我们介绍了Linux内核怎么管理系统中的物理内存....但有时候内核需要分配一些物理内存地址也连续的内存页, 所以Linux使用了 伙伴系统分配算法 来管理系统中的物理内存页....上一节说过, 内核使用 alloc_pages() 函数来分配内存页, 而 alloc_pages() 函数最后会调用 rmqueue() 函数来分配内存页, rmqueue() 函数原型如下: static...在Linux内核中, 把两个物理地址相邻的内存页当作成伙伴, 因为Linux是以页面号来管理内存页的, 所以就是说两个相邻页面号的页面是伙伴关系....所以, 使用伙伴系统算法只能分配 2order (order为0,1,2,3...)个页面. 那么order是不是无限大呢? 当然不是, 在Linux内核中, order的最大值是 10.

3.2K10

linux内核的冷热页分配器

先说说cpu的cache，和cpu的cache比起来访问主内存是非常慢的，为了加快速度根据本地性原则，cpu在访问主内存的时候会把附近的一块数据都加载到cpu的cache里，之后读写这块数据都是在cache...linux本来有伙伴系统分配内存页，为了加快单个内存页的分配linux在每个node里为每个cpu分配了一个per_cpu_pageset（暂且叫他页缓存吧）。...这主要是因为内核用free_pages释放单个内存页的时候会调用free_hot_page。...刚释放的内存页大概率还在cpu的cache里，也就是说热页缓存里的页很可能还在cpu的cache里，所以申请热页缓存并且立即使用会直接访问cpu的cache速度会比较快。...其他情况就用冷页缓存，冷页缓存里的页在主内存里，需要重新加载到cpu的cache，速度会慢一些。

94510
您找到你想要的搜索结果了吗？
是的
没有找到

Linux分区页框分配器

我们现在知道物理内存是以页框为最小单位存在的，那么内核中分配页框的方法是什么呢？...分区页框分配器 页框分配在内核里的机制我们叫做分区页框分配器(zoned page frame allocator)，在linux系统中，分区页框分配器管理着所有物理内存，无论你是内核还是进程，都需要请求分区页框分配器...，这时才会分配给你应该获得的物理内存页框。...有时候目标管理区不一定有足够的页框去满足分配，这时候系统会从另外两个管理区中获取要求的页框，但这是按照一定规则去执行的，如下： 如果要求从DMA区中获取，就只能从ZONE_DMA区中获取。...其函数接口 内核中根据不同的分配需求有6个函数接口来请求页框，最终都会调用到__alloc_pages_nodemask。 ?

1.4K30

Linux分区页框分配器之水位

我们讲页框分配器的时候讲到了快速分配和慢速分配，其中伙伴算法是在快速分配里做的，忘记的小伙伴我们再看下： static struct page * get_page_from_freelist(gfp_t...我们知道在内存分配时，只有low和min之间的区域才是kswapd活动的区域。而linux中默认的low与min之间的值又比较小，所以就很容易造成direct reclaim的情况。...「extra_free_kbytes」: 源于此，安卓在linux水位的基础上增加了extra_free_kbytes的变量，这个extra时额外加在low和min之间的，它在min不变的情况下，让low...「watermark_scale_factor」: 内核总是在进步的，在linux内核4.6版本中，又诞生了一种新的调节水位的方式，即watermark_scale_factor系数，其默认值是10，对应内存占比...至此，页框分配器中的快速分配方式已经结束，下一篇让我们进入页框分配器的慢速分配方式：__alloc_pages_slowpath，涉及到内存碎片的整理和内存回收。

1.2K30

【Linux 内核 内存管理】内存管理架构 ③ ( Linux 内核中的内存管理模块 | 页分配器 | 不连续页分配器 | 内存控制组 | 硬件设备内存管理 | MMU | 页表缓存 | 高速缓存 )

文章目录 一、Linux 内核中的内存管理模块 二、硬件设备内存管理 一、Linux 内核中的内存管理模块 ---- Linux 内核还需要处理如下内容 : ① 页错误异常处理 ② 页表管理 ③ 引导内存分配器...: 页分配器 , 块分配器 , 不连续页分配器 , 连续内存分配器 , 每处理器内存分配器 ; " 页分配器 " 负责分配 内存物理页 , 使用的是 " 伙伴分配器 " ; " 不连续页分配器 " 提供了...vmalloc 函数 用于分配内存 , vfree 函数 用于 释放内存 ; 申请的 " 不连续物理页 “ 可以 映射到 ” 连续的虚拟页 " ; ④ 内存碎片整理 ⑤ 内存耗尽处理 ⑥ 内存控制组...: 控制管理 被 进程 占用的 内存 ; 碎片整理 : 如果 " 内存碎片化 " 严重 , 没有连续物理页 , 需要通过 整理内存碎片 并迁移数据 得到 连续的 物理页 ; 内存回收 : 内存不足时 ,..." ( MMU ) 中 , 还有一个 " 页表缓存 " ; 页表缓存 中缓存了 最近使用的 " 页表映射 “ , 该映射的作用是 将 ” 物理地址 " 映射为 " 虚拟地址 " ; CPU 处理器

1.4K40

Linux从头学16：操作系统-如何把【页目录和页表】当做普通物理页进行操作的？

如果你看过 Linux 内核相关书籍，一定对下面这张图又熟悉、又恐惧： 这是 Linux 系统中，页处理单元的多级页表查询方式。...这篇文章，我们继续通过图片+实例的方式，一起来研究一下内核代码一般都是如何来进行这些“自操作”的。 把这里面的操作机制研究透彻之后，再去看 Linux 内核代码时，就不会晕头转向了。...; 操作系统读取程序结束后，为所有的地址构造好了页目录和页表; 如下图所示： 页目录和页表的每一个有效表项中，存储的地址都是一个个实实在在的物理页的前 20 位(因为一个物理页的长度固定是 4KB，在分配时都是对齐的...例如本文开头的第一张图中，Linux 使用了4级表格来查找，并且中间的两个表格还可以省略不用。 如何跨过中间的这两个表格，Linux 内核代码中的代码更复杂一些，但是策略都是一样的。...对页表进行寻址 既然已经弄明白了操作系统是如何操作页目录的，那么对页表的操作就不是什么大问题了。

1.5K20

Linux页框分配器之内存碎片化整理

页框分配器在慢速分配中包括内存碎片化整理和内存回收，代码如下： static inline struct page * __alloc_pages_slowpath(gfp_t gfp_mask, unsigned...什么是内存碎片化 Linux物理内存碎片化包括两种：内部碎片化和外部碎片化。 内部碎片化： 指分配给用户的内存空间中未被使用的部分。...例如进程需要使用3K bytes物理内存，于是向系统申请了大小等于3Kbytes的内存，但是由于Linux内核伙伴系统算法最小颗粒是4K bytes，所以分配的是4Kbytes内存，那么其中1K bytes...碎片化整理算法 Linux内存对碎片化的整理算法主要应用了内核的页面迁移机制，是一种将可移动页面进行迁移后腾出连续物理内存的方法。 假设存在一个非常小的内存域如下： ?...蓝色表示空闲的页面，白色表示已经被分配的页面，可以看到如上内存域的空闲页面（蓝色）非常零散，无法分配大于两页的连续物理内存。

2.6K20

Mysql分库分表，你如何分，怎样分？

分表和表分区的目的就是减少数据库的负担，提高数据库的效率，通常点来讲就是提高表的增删改查效率。 什么是分表？...2.分表和分区不矛盾，可以相互配合的，对于那些大访问量，并且表数据比较多的表，我们可以采取分表和分区结合的方式（如果merge这种分表方式，不能和分区配合的话，可以用其他的分表试），访问量不大，但是表数据很多的表...1.分表 在分表之前，首先要选中合适的分表策略（以哪个字典为分表字段，需要将数据分为多少张表），使数据能够均衡的分布在多张表中，并且不影响正常的查询。...在确定分表策略后，当数据进行存储及查询时，需要确定到哪张表里去查找数据， 数据存放的数据表 = 分表字段的内容 % 分表数量 2.分库 分表能够解决单表数据量过大带来的查询效率下降的问题...，但是不能给数据库的并发访问带来质的提升，面对高并发的写访问，当Master无法承担高并发的写入请求时，不管如何扩展Slave服务器，都没有意义了。

1.9K20

【Linux 内核 内存管理】伙伴分配器 ① ( 伙伴分配器引入 | 页块、阶 | 伙伴 )

文章目录 一、伙伴分配器引入 二、页块、阶 三、伙伴 一、伙伴分配器引入 ---- Linux 内核 初始化 完成之后 , 就会 丢弃 引导内存分配器 , 如 : bootmem 分配器 , memblock...分配器 ; 此时 , 使用 " 页分配器 “ 管理 ” 物理页 " , " 伙伴分配器 “ 就是 ” 页分配器 " , 其特点是 算法简单 , 性能高效 ; 二、页块、阶 ---- 伙伴分配器 有如下概念...: 页块 ( Page Block ) : 英文名称 Page Block , 指的是 连续的 " 物理页 " ; 阶 ( Order ) : 物理页 的 数量单位 , n 阶页块 指的是 2^...n 个 连续的 " 物理页 " ; 如 : 0 阶页块是 2^0 = 1 个 连续的 " 物理页 " ; 1 阶页块是 2^1 = 2 个 连续的 " 物理页 " ; 2 阶页块是 2...1 个物理页 页号 是 2^n 的整数倍 ; ③ 合并页块 : 如果需要合并这两个 n 阶页块为 n + 1 阶页块 , 则第 1 页的 物理页 页号必须是 2^{n + 1}

94420

Linux内核页表管理-那些鲜为人知的秘密

，而页表管理是在虚拟内存管理中尤为重要，本文主要以回答几个页表管理中关键性问题来解析Linux内核页表管理，看一看页表管理中那些鲜为人知的秘密。...2）使用多级页表结构优劣： 优势： 1.节省内存 2.可以按需分配各级页表 3.可以离散存储页表 劣势： 需要遍历多级页表，需要多次访问内存，实现复杂度高点 3）Linux内核综合考虑： 典型的以时间换空间...1）应用程序 访问虚拟内存即可如执行指令、读写内存, 没有权限管理页表 不管虚拟内存如何转换为物理内存，对应用来说透明。...2）Linux内核 填写页表，将页表基地址告诉mmu 内核初始化建立内核页表，实现缺页异常等机制为用户任务按需分配并映射页表。 当然，内核也可以遍历页表，如缺页异常时遍历进程页表。 10....>pgd 用户进程fork的时候分配私有的pgd页，用于保存pgd表项（仅仅分配了第一级页表）。

1.7K21

多级页表的好处

，如果只使用了一个页表，一个表项的大小为4byte，32位系统有4GB的物理空间（一个进程看到是4GB大小的虚拟空间），每一个表项对应着物理空间的第xxx页(4KB大小的页)，那么应该有4GB/4KB=...如果是二级页表，规则就会改变，让二级页表对应到物理内存上的4KB大小的页，一级页表此时变成映射为物理地址的4MB（这样子是无法定位到具体的页（4KB）的，所以二级页表再去找），这样先找到一级页表，一级页表再和二级页表进行结合...，二级页表相当于一级页表4MB分成了1024个（1KB个）4KB，找完后二级页表充当了offset的角色，此时定位到具体的4KB的页面，再用一级页表的offset一结合定位到具体物理地址。...这样一个进程浪费掉的空间是一级页表占用的:（4GB/4MB）*4byte=4KB，二级页表浪费掉的是1kb（1个一级页表占用这么多）*1kb（此时有1kb（4GB/4MB）个一级页表）=4MB，加起来是...4MB+4KB，比光用一级页表要多4KB，但是2级页表是可以不存在的，比如此时程序只用了%20的页，那么4MB就需要乘以%20，这样一下子就比只有一级页表时少了。

1.6K30

数据库是如何分库，如何分表的？

垂直分表是基于数据库中的"列"进行，某个表字段较多，可以新建一张扩展表，将不经常用或字段长度较大的字段拆分出去到扩展表中。...在字段很多的情况下（例如一个大表有100多个字段），通过"大表拆小表"，更便于开发与维护，也能避免跨页问题，MySQL底层是通过数据页存储的，一条记录占用空间过大会导致跨页，造成额外的性能开销。...水平切分分为库内分表和分库分表，是根据表内数据内在的逻辑关系，将同一个表按不同的条件分散到多个数据库或多个表中，每个表中只包含一部分数据，从而使得单个表的数据量变小，达到分布式的效果。...这样的好处是：毫秒数在高位，生成的ID整体上按时间趋势递增；不依赖第三方系统，稳定性和效率较高，理论上QPS约为409.6w/s（1000*2^12），并且整个分布式系统内不会产生ID碰撞；可根据自身业务灵活分配...不到万不得已不用轻易使用分库分表这个大招，避免"过度设计"和"过早优化"。分库分表之前，不要为分而分，先尽力去做力所能及的事情，例如：升级硬件、升级网络、读写分离、索引优化等等。

83310

SAP RETAIL分配表的查询报表

SAP RETAIL分配表的查询报表 SAP零售系统针对分配表，也提供了报表查询功能。本文就SAP提供的2个常用的分配表查询报表做一个简单的说明。...输入分配表的编号(这个字段居然弄成了必输字段，感觉不太科学，不太合理)。 输入采购组织，采购组，物料号，供应商，分配表Type等参数。...执行，得到如下报表结果， 报表的上半部分显示分配表的header等信息，下半部分显示具体的item的信息， 2, 事务代码 WA30 - Allocation table for objects 执行事务代码...在结果界面里还可以点击按钮‘Change allocation table’去修改某个分配表。...比如鼠标点一下分配表1，然后点击这个按钮，就能进入分配表1的修改界面，如下图: 可以发现事务代码WA30不仅仅只是报表查询功能。 -完- 写于2011-11-09。

41800

MySQL分库分表浅谈一、分库分表类型二、分库分表查询三、分库分表的问题四、分库分表策略

一、分库分表类型 1、单库单表 所有数据都放在一个库，一张表。 2、单库多表 数据在一个库，单表水平切分多张表。 3、多库多表 数据库水平切分，表也水平切分。...二、分库分表查询 通过分库分表规则查找到对应的表和库的过程： 如分库分表的规则是acc_id mod 4的方式，当用户新注册了一个账号，账号id的123,我们可以通过acc_id mod 4的方式确定此账号应该保存到...Acc_0003表中。...当用户123登录的时候，我们通过123 mod 4后确定记录在Acc_0003中。 三、分库分表的问题 分库分表需要按不同维度记录数据，否则无法满足业务场景不同维度的查询。...四、分库分表策略 1、按时间分表； 2、分主表和详细信息表； 3、按数据区间分表； 4、取模映射； 5、一致性Hash分表； 6、二叉树分表。

3.9K50

高端内存映射之vmalloc分配内存中不连续的页--Linux内存管理(十九)

在用户空间中这不是问题，因为普通进程设计为使用处理器的分页机制, 当然这会降低速度并占用TLB. 在内核中也可以使用同样的技术. 内核分配了其内核虚拟地址空间的一部分, 用于建立连续映射....这一段具有线性地址空间的所有性质. 分配到其中的页可能位于物理内存中的任何地方. 通过修改负责该区域的内核页表, 即可做到这一点. ? ?...接下来从物理内存分配各个页 最后将这些页连续地映射到vmalloc区域中, 分配虚拟内存的工作就完成了...._32分配的区域，而vunmap用于释放由vmap或ioremap创建的映射。...unmap_vm_area使用找到的vm_area实例，从页表删除不再需要的项。与分配内存时类似，该函 数需要操作各级页表，但这一次需要删除涉及的项。它还会更新CPU高速缓存。

2.9K10

如何优雅地玩转分库分表

垂直分表 垂直分表在日常开发和设计中比较常见，通俗的说法叫做“大表拆小表”，拆分是基于关系型数据库中的“列”（字段）进行的。...某种意义上也能避免“跨页”的问题（MySQL、MSSQL底层都是通过“数据页”来存储的，“跨页”问题可能会造成额外的性能开销，这里不展开，感兴趣的朋友可以自行查阅相关资料进行研究）。...水平分库分表 水平分库分表与上面讲到的水平分表的思想相同，唯一不同的就是将这些拆分出来的表保存在不同的数据中。这也是很多大型互联网公司所选择的做法。如下图： ?...同时，这也会带来一些复杂的技术问题和挑战（例如：跨分片的复杂查询，跨分片事务等） 分库分表的难点 垂直分库带来的问题和解决思路： 跨库join的问题 在拆分之前，系统中很多列表和详情页所需的数据是可以通过...有些库和表原本是可以合并的，却单独保存着。还有些表，看起来放在A库中也OK，放在B库中也合理。 如何设计和权衡，这个就看实际情况和架构师/开发人员的水平了。 3.

70620
点击加载更多

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

更多标签

活动推荐

    运营活动

    活动名称
    广告关闭

    腾讯云开发者

    扫码关注腾讯云开发者

    扫码关注腾讯云开发者

    领取腾讯云代金券

    热门产品

    热门推荐

    更多推荐

    Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

    深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

    腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287

    领券