linux下的页_linux内存页硬盘页的关系_linux 页 - 腾讯云开发者社区 - 腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Linux下访问匿名页发生的神奇“化学反应”

Linux中有后备文件支持的页称为文件页，如属于进程的代码段、数据段的页，内存回收的时候这些页面只需要做脏页的同步即可（干净的页面可以直接丢弃掉）。...反之为匿名页，如进程的堆栈使用的页，内存回收的时候这些页面不能简单的丢弃掉，需要交换到交换分区或交换文件。本文中，主要分析匿名页的访问将发生哪些可能颠覆我们认知的"化学反应"。...第四次提示执行free命令的时候，我们对于分配的匿名页面进行了写操作，此时发现free命令输出内存消耗大概为100M。 2.内核原理下面我们从Linux内核的层面来解析发生以上神奇现象的原理。...3标签处：判断是否没有禁止0页。 4标签处：就是对于没有禁止0页的匿名页读访问设置页表，这里通过0页的页帧号和mmap映射时指定的访问权限组合页表项的值。...5标签处：通过发生缺页的虚拟地址来计算出页表项的地址保存在 vmf->pte。最11标签处：将4标签初组合出的页表项的值写入到5标签初计算出的页表项中。

6051 0

Linux下访问匿名页发生的神奇“化学反应”

（除了用于管理虚拟内存区域的vma等结构内存的申请），当前虚拟内存和物理内存并没有建立页表映射关系，而真正的申请的匿名页所对应的物理页在实际访问的时候按需分配获得，所以此时我们看不到内存的消耗情况。...3标签处：判断是否没有禁止0页。 4标签处：就是对于没有禁止0页的匿名页读访问设置页表，这里通过0页的页帧号和mmap映射时指定的访问权限组合页表项的值。...5标签处：通过发生缺页的虚拟地址来计算出页表项的地址保存在 vmf->pte。最11标签处：将4标签初组合出的页表项的值写入到5标签初计算出的页表项中。...3.总结 1）mmap分配私有匿名内存时，会设置vma的vm_page_prot成员，去除掉页表的写访问标识。 2）第一次读匿名页时，对于可读可写的vma，虚拟页会以只读的方式映射到0页。...3）第一次写匿名页时，对于可读可写的vma，会申请物理页面，虚拟页以可读可写的方式映射到此物理页。

4834 0

您找到你想要的搜索结果了吗？

是的

没有找到

性能优化：Linux环境下合理配置大内存页

而本文就将从一个案例来详述这种缺陷，并使用Linux下的大内存页来解决这一问题。案例的引入客户的一套系统，出现了严重的性能问题。在问题出现时，系统基本不可使用，应用上所有的业务操作完全失去响应。...同时Linux不会为进程一次性建立那么大的页表，只有进程在分配和访问内存时，操作系统才会为进程建立相应地址的映射。这里只描述了最简单情况下的分页映射。实际上页表目录连同页表一共有四级。...因此，决定先使用大内存页来调优系统的内存使用。大内存页是一种统称，在低版本的Linux中为Large Page，而当前主流的Linux版本中为Huge Page。...数据库启用大内存页之后，本文描述的性能问题甚至是在增大了SGA的情况下也没有出现。...总结本文以一个案例，介绍了Linux操作系统下大内存页在性能提升方面的作用，以及如何设置相应的参数来启用大内存页。

5K5 0

Linux 匿名页的反向映射

我们知道LINUX的内存管理系统中有”反向映射“这一说，目的是为了快速去查找出一个特定的物理页在哪些进程中被映射到了什么地址，这样如果我们想把这一页换出（SWAP），或是迁移（Migrate）的时候，就能相应该更改所有相关进程的页表来达到这个目的...1、为什么要使用反向映射　　物理内存的分页机制，一个PTE（Page Table Entry）对应一个物理页，但一个物理页可以由多个PTE与之相对应，当该页要被回收时，Linux2.4的做法是遍历每个进程的所有...该方法显而易见效率极低，因为其为了查找某个页的关联PTE遍历了所有的PTE，我们不禁想：如果把每个页关联的PTE保存在页结构里面，每次只需要访问那些与之相关联的PTE不很方便吗？...Linux采用三级页表： PGD：顶级页表，由pgd_t项组成的数组，其中第一项指向一个二级页表。...PMD：二级页表，由pmd_t项组成的数组，其中第一项指向一个三级页表（两级处理器没有物理的PMD）。 PTE：是一个页对齐的数组，第一项称为一个页表项，由pte_t类型表示。

3.7K3 1

linux中透明巨页与巨页的区别

在Linux中，透明巨页（Transparent HugePage）和巨页（HugePage）是两种不同的内存管理技术。透明巨页是Linux内核中的一项特性，旨在提高内存的利用率和性能。...它通过将内存分配为更大的巨页（通常为2MB或1GB），减少了对内存页表的访问次数，从而提高了内存访问的效率。透明巨页是透明的，应用程序无需进行任何修改即可受益于这种内存管理技术。...而巨页是指一种更大尺寸的内存页，在Linux中可以使用不同的页面大小，常见的巨页大小是2MB或1GB。...巨页可以提供更高的内存访问性能，因为它减少了页表的数量，降低了TLB（Translation Lookaside Buffer）缓存的压力，从而减少了内存访问的开销。...巨页需要应用程序进行适当的修改和配置才能使用。因此，透明巨页和巨页都是通过增加内存页的尺寸来提高内存访问性能，但透明巨页不需要应用程序的修改，而巨页需要应用程序的支持和配置。

3871 0

Linux 标准大页和透明大页

Huge pages ( 标准大页 ) 和 Transparent Huge pages( 透明大页 ) 在 Linux 中大页分为两种：Huge pages ( 标准大页 ) 和 Transparent...内存是以块即页的方式进行管理的，当前大部分系统默认的页大小为 4096 bytes 即 4K。1MB 内存等于 256 页；1GB 内存等于 256000 页。...Huge Pages Huge pages 是从 Linux Kernel 2.6 后被引入的，目的是通过使用大页内存来取代传统的 4kb 内存页面，以适应越来越大的系统内存，让操作系统可以支持现代硬件架构的大页面容量功能...Transparent Huge Pages Transparent Huge Pages 缩写 THP ，这个是 RHEL 6 开始引入的一个功能，在 Linux6 上透明大页是默认启用的。...：在 RAC 环境下透明大页（ TransparentHugePages ）会导致异常节点重启，和性能问题；在单机环境中，透明大页（ TransparentHugePages ）也会导致一些异常的性能问题

5.4K5 0

InnoDB数据页结构下

Page Directory(页目录) 看完上篇是不是觉得n_owned这个为啥没提到，哈哈，今天我们来揭秘， n_owned与数据页的页目录关系非常大（重申下n_owned的含义是每个页的数据都会分成多个组...将每组最后一条记录的在页中的地址偏移量，按顺序存到靠近页尾的地方，这个地方就是page directory，这些偏移量称作槽（slot)。槽设定规则对于Infimum所在的槽上仅能有一条记录。...对于Supremum所在的槽上可以有1-8条直接的记录。其余的中间槽上可以有4-8条记录。新增数据时槽如何变化？初始情况下会有2个槽，也就是Infimum与Supremum所对应的。...每个页都通过上个页号与下个页号相连，可以理解为双向链表。页的类型分为一下几种。 File Trailer(文件尾部) 文件尾部只有两种数据。前4个字节代表的校验和。...正常情况下与检验和逻辑一致，只不过代表的是File Header中的 Fil_PAGE_LSN的后4位也是用于校验页的完整性。

3013 0

Linux内存页分配策略

伙伴系统分配算法在上一节, 我们介绍了Linux内核怎么管理系统中的物理内存....但有时候内核需要分配一些物理内存地址也连续的内存页, 所以Linux使用了伙伴系统分配算法来管理系统中的物理内存页....由于 rmqueue() 函数使用了伙伴系统算法, 所以下面先来介绍一下伙伴系统算法的原理. 伙伴系统算法的核心是伙伴, 那什么是伙伴呢?...在Linux内核中, 把两个物理地址相邻的内存页当作成伙伴, 因为Linux是以页面号来管理内存页的, 所以就是说两个相邻页面号的页面是伙伴关系....说明一下, 这里计算位图的大小时为每个内存块申请了一个位, 但事实上每个位记录的是一对伙伴内存块的关系, 所以需要除以2, 而现在明显浪费了一半的内存. 在后面的Linux版本中改进了这个问题.

3.3K1 0

linux内核的冷热页分配器

先说说cpu的cache，和cpu的cache比起来访问主内存是非常慢的，为了加快速度根据本地性原则，cpu在访问主内存的时候会把附近的一块数据都加载到cpu的cache里，之后读写这块数据都是在cache...linux本来有伙伴系统分配内存页，为了加快单个内存页的分配linux在每个node里为每个cpu分配了一个per_cpu_pageset（暂且叫他页缓存吧）。...这主要是因为内核用free_pages释放单个内存页的时候会调用free_hot_page。...刚释放的内存页大概率还在cpu的cache里，也就是说热页缓存里的页很可能还在cpu的cache里，所以申请热页缓存并且立即使用会直接访问cpu的cache速度会比较快。...其他情况就用冷页缓存，冷页缓存里的页在主内存里，需要重新加载到cpu的cache，速度会慢一些。

9811 0

Linux 透明大页 THP 和标准大页 HP

标准大页(HugePages) 标准大页(HugePages)是从 Linux Kernel 2.6 后被引入的，Huge Pages 可以称为大内存页或者大页面，有时候也翻译成大页/标准大页/传统大页...透明大页存在的问题： Oracle Linux team 在测试的过程中发现，如果 linux 开启透明大页 THP，则 I/O 读写性能降低 30%；如果关闭透明大页 THP，I/O 读写性能则恢复正常...Linux7 默认情况下是开启透明大页功能的。检查系统对应版本。...标准大页只能用于共享内存段等少量类型的内存，一旦将物理内存作为标准大页分配，就不能再将其作为私有内存使用，故不能占用过大的内存，一般情况下以 Oracle 数据库的 SGA 为参考，一个基本公式为：...而其他操作系统，比如 AIX，对于共享内存段这样的内存，进程共享相同的页表，避免了 Linux 的这种问题。 5、提高 Oracle 性能，减少 SGA 的页交换。

2.7K2 0

跨标签页通信的8种方式（下）

引言--跨标签页通信是指在浏览器中的不同标签页之间进行数据传递和通信的过程。在传统的Web开发中，每个标签页都是相互独立的，无法直接共享数据。...然而，有时候我们需要在不同的标签页之间进行数据共享或者实现一些协同操作，这就需要使用跨标签页通信来实现。...在发送消息的标签页中，我们向数据库中添加一条新消息。而在接收消息的标签页中，我们创建了一个定时器，每隔一段时间轮询数据库中的消息，并处理这些消息。处理完消息后，我们将其从数据库中删除。...请注意，在实际应用中，您可能需要更复杂的逻辑来处理跨标签页通信，并确保数据同步和一致性。此示例仅提供了一个基本的框架来演示如何使用 IndexedDB 实现跨标签页通信。...以上示例提供了一个基本的框架来演示如何使用 Cookie 实现跨标签页通信。在实际应用中，您可能需要更复杂的逻辑来处理跨标签页通信，并确保数据同步和一致性。

3741 0

linux vim查看下一页,Linux下vi和vim模式相互切换「建议收藏」

大家好，又见面了，我是你们的朋友全栈君。...vi和vim 常用的三种模式： 1，正常模式在这种模式下，可以使用【上下左右】按键来移动光标，也可使用【删除字符】【删除整行】来处理档案内容，也可使用【复制、粘贴】来处理文件数据。...3，命令行模式在这种模式下，可以提供相关指令，完成读取、存盘、替换、离开vim、显示行号等动作。...下图为vi和vim模式的相互切换：三种模式中常用得快捷键(【快捷键】)： 1，拷贝当前行【yy】,拷贝当前行向下3行【3yy】,粘贴【p】，在一般模式下可操作； 2，删除当前行【dd】,删除当前行向下...3行【3dd】； 3，在文件中查找某个关键字【命令行模式下，/关键字，回车查找，输入n查找下一个】； 4，设置文件的行号【:set nu】，取消文件行号【:set nonu】,都在命令模下可操作； 5，

1.3K1 0

Linux内核透明巨型页支持

在某些情况下，当启用大页面时，系统范围内，应用程序可能最终会分配更多的内存资源。...默认情况下，内核尝试在读取页面错误时使用巨型零页来进行匿名映射。...除了上面列出的策略之外，shmem_enabled还允许另外两个值: "deny": 用于在紧急情况下使用，以强制关闭所有挂载的大页选项; "force": 为所有人强制提供大页的选项——这对测试非常有用...当一个巨大的页面部分被unmap且分裂它将释放一些内存就会发生这种情况。分裂队列上的页将在内存压力下分裂。...如果您没有遍历页表，但是遇到了一个物理的大页，但是您不能在代码中原生地处理它，您可以通过调用split_huge_page(page)来分裂它。这就是Linux VM在尝试切换大页面之前所做的。

2.8K4 0

LINUX下的PHP

由于linux系统的稳定性，大部分的PHP服务器都被部署在linux上，而且像redis等扩展在linux能得到更好的支持，所以对于PHP程序员来说，使用linux的功底也相当重要，接下来总结一下我从一开始在...linux下安装配置linux的心得。...linux系统安装首先是选择linux操作系统，我使用的是Cent OS 6.7 ，它类似红帽系统，简单易接触，而且开源免费。...用过小巧的virtual box，在win7下安装要改theme主题文件，辛苦装好的环境因为未知原因(兼容问题排除后，猜测是BIOS设置的问题，可参考)打不开虚拟机而放弃后，终于选择了VM，VM下安装linux...说一下要注意的地方吧：虚拟机配置选择“桥接模式”，这样，虚拟机和主机就在同一个IP段下，可以很轻松地互相访问，VM下如图: ? 然后是我们经常要遇到的问题网络配置、和虚拟之间的交互、yum配置。

3.7K8 0

Linux申请大页内存(mmap)

如果进程使用的内存过大，比如1GB，这样会在页表中占用 1GB / 4KB = 262144个页表项，而系统TLB可以容纳的页表项远小于这个数量。...当多个内存密集型应用访问内存时，会造成过多的TLB未命中，因此在特定情况下会需要减少未命中次数，一个可行的办法就是增大每个页的尺寸。...---- 2.怎样使用大页内存 2.1 先预留一定量的大页内存 #先查看系统有多少已经预留的大页内存 # cat /proc/meminfo |grep -i huge #预留192个大页 # sysctl...\n"); getchar(); munmap(m, s); return 0; } ---- 3.最后的话大页内存的好处不仅是减少TLB未命中次数，而且大页内存分配的是物理内存，不会被操作系统的内存管理换出到磁盘上...，因此不会出现缺页中断，也就不会引入访问磁盘的时延，另外，大页内存在物理上是连续的，对于大内存访问也有一定的加速效果。

11.8K11 0

Linux如何禁用透明大页

，说明禁用了透明大页。...transparent_hugepage=never Once modified the line will read similar to the following example: title Oracle Linux...发现之前用的方法，同样也是MOS建议优先选择的方法，就是将transparent_hugepage=never添加到/etc/grub.conf中，但是是加到kenel那一行后面的，实际尝试后可行。.../sda default=0 timeout=5 splashimage=(hd0,0)/grub/splash.xpm.gz hiddenmenu title Red Hat Enterprise Linux...rd_NO_DM rhgb quiet transparent_hugepage=never initrd /initramfs-2.6.32-431.el6.x86_64.img 查看透明大页也是关闭的

4.9K2 0

Linux从头学16：操作系统-如何把【页目录和页表】当做普通物理页进行操作的？

如果你看过 Linux 内核相关书籍，一定对下面这张图又熟悉、又恐惧：这是 Linux 系统中，页处理单元的多级页表查询方式。...其中黄色背景部分：页上级目录索引和页中间目录索引，是 Linux 系统自己扩展的，在原本的 x86 处理器中是不存在的，这也是导致 Linux 中相关部分代码更加复杂的原因。...这篇文章，我们继续通过图片+实例的方式，一起来研究一下内核代码一般都是如何来进行这些“自操作”的。把这里面的操作机制研究透彻之后，再去看 Linux 内核代码时，就不会晕头转向了。...那么，问题来了：在页处理单元开启的情况下，处理器面对的是线性地址，那么操作系统在构造页目录中的每一个表项的时候，如何对这个表项进行寻址？...对页目录进行操作重新梳理一下思路：如果对一个普通物理页(下文简称为：普通页)里的一个地址处的数据进行操作，需要经过3次查表操作：从页表的某个表项中，找到的那个物理地址，就是最后要操作的普通物理页

1.6K2 0

linux下的rar命令,Linux下的压缩解压命令「建议收藏」

大家好，又见面了，我是你们的朋友全栈君。 1....Linux zip命令压缩 zip -r filename.zip ./* // 将当前目录下的所有文件和文件夹全部压缩成 filename.zip文件－r表示递归压缩子目录下所有文件...Linux tar命令 -c: 建立压缩档案 -x: 解压 -t: 查看内容 -j: 通过bzip2的支持进行压缩/解压，此时文件最好为*.tar.bz2 -z: 通过gzip的支持进行压缩/解压，此时文件最好为...Linux rar命令要在Linux下处理.rar文件，需要安装RAR for Linux yum install rar 压缩 rar a filename * //将所有的文件压缩成一个rar...包，名为filename.rar 解压 unrar e filename.rar test // 将filename.rar中的所有文件解压到.

18.7K3 0

Linux分区页框分配器

我们现在知道物理内存是以页框为最小单位存在的，那么内核中分配页框的方法是什么呢？...分区页框分配器页框分配在内核里的机制我们叫做分区页框分配器(zoned page frame allocator)，在linux系统中，分区页框分配器管理着所有物理内存，无论你是内核还是进程，都需要请求分区页框分配器...，这时才会分配给你应该获得的物理内存页框。...有时候目标管理区不一定有足够的页框去满足分配，这时候系统会从另外两个管理区中获取要求的页框，但这是按照一定规则去执行的，如下：如果要求从DMA区中获取，就只能从ZONE_DMA区中获取。...其函数接口内核中根据不同的分配需求有6个函数接口来请求页框，最终都会调用到__alloc_pages_nodemask。 ?

1.5K3 0

技术分享 | 浅谈一下大页

---1、Linux大内存页特性Linux下的大页分为两种类型：标准大页（Huge Pages）和透明大页（Transparent Huge Pages）。...Linux的内存管理采取的是分页存取机制，为了保证物理内存能得到充分的利用，内核会按照LRU算法在适当的时候将物理内存中不经常使用的内存页自动交换到虚拟内存中，而将经常使用的信息保留到物理内存。...通常情况下，Linux默认情况下每页是4K，这就意味着如果物理内存很大，则映射表的条目将会非常多，会影响CPU的检索效率。因为内存大小是固定的，为了减少映射表的条目，可采取的办法只有增加页的尺寸。...2、HugePages：2.1、概念介绍：1）HugePages是从Linux Kernel 2.6后被引入的。...在Linux下，page size默认是4K，如果使用HugePages，默认是2M；2）page table和TLB：page table 映射表：物理内存和swap的对应关系、访问内存是先读page

1.1K3 1

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭