文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Linux下多线程程序为什么消耗大量虚拟内存

，奇怪的是每次刚启动的时候占用的虚拟内存在2.3G，然后每次处理消息就增加64M，增加到4.4G就不再增加了，由于我们采用预分配的方式，在线程内部根本没有大块分内存，那么这些内存到底是从哪来的呢？...于是感觉人生都没有方向了，然后怀疑是不是文件缓存把虚拟内存占掉了，注释掉了代码中所有读写日志的代码，虚拟内存依然增加，排除了这个可能。...那就是如果进程创建了一个线程并且在该线程内分配一个很小的内存1k，整个进程虚拟内存立马增加64M，然后再分配，内存就不增加了。...14M，输入0，创建子线程，进程内存达到23M，这增加的10M是线程堆栈的大小（查看和设置线程堆栈大小可用ulimit -s），第一次输入1，程序分配1k内存，整个进程增加64M虚拟内存，之后再输入2，...glibc 版本大于2.11的都会有这个问题：在Redhat 的官方文档上： Red Hat Enterprise Linux 6 features version 2.11 of glibc, providing

2K30

Linux虚拟内存管理

Linux的内存管理分为 虚拟内存管理 和 物理内存管理，本文主要介绍 虚拟内存管理 的原理和实现。在介绍 虚拟内存管理 前，首先介绍一下 x86 CPU 内存寻址的具体过程。...由于Linux主要使用分页机制，所以下面重点介绍一下分页机制的原理。...虚拟内存地址管理 应用程序使用 malloc() 函数向Linux内核申请内存时，Linux内核会返回可用的虚拟内存地址给应用程序。...每个进程都可以使用4GB的虚拟内存地址，所以Linux内核需要为每个进程管理这4GB的虚拟内存地址。例如记录哪些虚拟内存地址是空闲的可以分配的，哪些虚拟内存地址已经被占用了。...为了加速查找虚拟内存区，Linux内核还为 vm_area_struct 结构构建了一个 AVL树（新版本为红黑树），有兴趣的可以查阅源码或相关资料。

3.9K30
您找到你想要的搜索结果了吗？
是的
没有找到

​Linux虚拟内存管理

摘要--本文旨在深入探讨Linux操作系统的虚拟内存管理机制。我们将从基本概念开始，逐步深入到内核级别的实现细节。为了达到这个目标，本文将结合理论讨论和实际的代码分析。...我们希望通过这种方式，使读者对Linux虚拟内存管理有更深入的理解。一、虚拟内存的基本概念在现代操作系统中，虚拟内存是一个非常重要的概念。...此外，虚拟内存还允许物理内存的超量使用，即所谓的“内存过量承诺”，这使得我们可以运行比物理内存还要大的程序。Linux操作系统采用了一种称为“分页”的技术来实现虚拟内存。...二、Linux虚拟内存管理的实现在Linux内核中，虚拟内存的管理主要涉及以下几个部分：页表管理、页面分配与回收、页面置换算法以及内存映射。1....三、代码分析为了更深入地理解Linux虚拟内存管理的实现，让我们来看一个简单的例子：一个创建新的内存映射的系统调用。这个例子的代码可以在mm/mmap.c文件中找到。

28300

linux 虚拟内存的作用？

虚拟内存可以用来管理物理内存，进程直接和虚拟内存进行打交道而不是物理内存，为什么这样设计？ 什么是虚拟内存？...虚拟内存的作用 利用磁盘起到的缓存的作用，提高进程访问磁盘的速度。 虚拟内存可以为进程提供独立的内存空间，并通过动态链接库共享内存。...通过增加虚拟内存，避免了程序直接访问任意内存，修改了其他程序使用的数据导致程序崩溃，虚拟内存可以将不同进程使用的虚拟地址彼此隔离。...目前linux系统，采用四层页表结构页表结构，每个9位，最低12位作为偏移量。...总 虚拟内存可以结合磁盘和物理内存的优势为进程提供看起来速度足够快并且容量足够大的存储； 虚拟内存可以为进程提供独立的内存空间并引入多层的页表结构将虚拟内存翻译成物理内存，进程之间可以共享物理内存减少开销

3.4K20

理解 Linux 的虚拟内存

前不久组内又有一次我比较期待的分享：“Linux 的虚拟内存”。是某天晚上加班时，我们讨论虚拟内存的概念时，leader 发现几位同事对虚拟内存认识不清后，特意给这位同学挑选的主题。...之后进行内存分配时，都以页为单位，那么虚拟内存页对应物理内存页的映射表就大大减小了，4G 内存，只需要 8M 的映射表即可，一些进程没有使用到的虚拟内存，也并不需要保存映射关系，而且Linux 还为大内存设计了多级页表...直接操作物理内存 操作系统使用了虚拟内存，我们想要直接操作内存该怎么办呢？ Linux 会将各个设备都映射到 /dev/ 目录下的文件，我们可以通过这些设备文件直接操作硬件，内存也不例外。...此外，Java 读取的文件也会被映射为虚拟内存，在虚拟机默认配置下 Java 每个线程栈会占用 1M 的虚拟内存。具体可以查看 为什么linux下多线程程序如此消耗虚拟内存。...常用管理命令 我们也可以自己来管理 Linux 的虚拟内存。

2.1K10

理解 Linux 的虚拟内存

前言 ---- 前不久组内又有一次我比较期待的分享：”Linux 的虚拟内存”。...之后进行内存分配时，都以页为单位，那么虚拟内存页对应物理内存页的映射表就大大减小了，4G 内存，只需要 8M 的映射表即可，一些进程没有使用到的虚拟内存，也并不需要保存映射关系，而且Linux 还为大内存设计了多级页表...直接操作物理内存 操作系统使用了虚拟内存，我们想要直接操作内存该怎么办呢？ Linux 会将各个设备都映射到 /dev/ 目录下的文件，我们可以通过这些设备文件直接操作硬件，内存也不例外。...此外，Java 读取的文件也会被映射为虚拟内存，在虚拟机默认配置下 Java 每个线程栈会占用 1M 的虚拟内存。具体可以查看 为什么linux下多线程程序如此消耗虚拟内存。...常用管理命令 ---- 我们也可以自己来管理 Linux 的虚拟内存。

3K20

Linux虚拟内存和缺页中断

Linux虚拟内存地址空间 为了防止不同进程同一时刻在物理内存中运行而对物理内存的争夺和践踏，采用了虚拟内存。 虚拟内存技术使得不同进程在运行过程中，它所看到的是自己独自占有了当前系统的4G内存。...事实上，在每个进程创建加载时，内核只是为进程“创建”了虚拟内存的布局，具体就是初始化进程控制表中内存相关的链表，实际上并不立即就把虚拟内存对应位置的程序数据和代码（比如.text .data段）拷贝到物理内存中...还有进程运行过程中，要动态分配内存，比如malloc时，也只是分配了虚拟内存，即为这块虚拟内存对应的页表项做相应设置，当进程真正访问到此数据时，才引发缺页异常。...请求分页系统、请求分段系统和请求段页式系统都是针对虚拟内存的，通过请求实现内存与外存的信息置换。 虚拟内存的好处： 扩大地址空间； 内存保护：每个进程运行在各自的虚拟内存地址空间，互相不能干扰对方。...在内存中可以保留多个进程，系统并发度提高 在程序需要分配连续的内存空间的时候，只需要在虚拟内存空间分配连续空间，而不需要实际物理内存的连续空间，可以利用碎片 虚拟内存的代价： 虚存的管理需要建立很多数据结构

6K10

Linux 虚拟内存，这理解很到位

之后进行内存分配时，都以页为单位，那么虚拟内存页对应物理内存页的映射表就大大减小了，4G 内存，只需要 8M 的映射表即可，一些进程没有使用到的虚拟内存，也并不需要保存映射关系，而且Linux 还为大内存设计了多级页表...，通过这种”交换”技术，Linux 可以让进程使用更多的内存。...直接操作物理内存 操作系统使用了虚拟内存，我们想要直接操作内存该怎么办呢？ Linux 会将各个设备都映射到 /dev/ 目录下的文件，我们可以通过这些设备文件直接操作硬件，内存也不例外。...此外，Java 读取的文件也会被映射为虚拟内存，在虚拟机默认配置下 Java 每个线程栈会占用 1M 的虚拟内存。具体可以查看 为什么linux下多线程程序如此消耗虚拟内存。...常用管理命令 我们也可以自己来管理 Linux 的虚拟内存。

2.6K10

Linux系统建立虚拟内存教程

虚拟内存是将硬盘规划出一个区间用来读取数据的空间，建立虚拟内存可以提高服务器的运行效率。...目前，大多数服务器操作系统都使用了虚拟内存，Windows系统一般称为“虚拟内存”;而Linux称作“交换空间”。 这里主要讲解Linux系统如何建立虚拟内存。...Linux系统建立虚拟内存，一般通过建立swap file完成。先建立swap这个装置或是档案后，将他格式化为swap格式，最后将他挂载到系统上即可。...方法如下： 　　一、 建立虚拟内存装置 　　直接再加一颗硬盘，并且将其中的某个分区规划为swap 的文件系统 　　1、(1) fdisk /dev/hd[a-d] 　　(2) 将该分区的ID改为82 ，...1-16] 　　将上面1中的分区格式化为swap的档案格式 　　3、swapon /dev/hd[a-d][1-16] 　　启动swap ,顺便说一下 关掉swap的命令为swapoff 　　二、建立虚拟内存档案

3.4K10

操作系统：Linux虚拟内存知识介绍

今天给大家分享Linux虚拟内存相关的知识，希望的对大家能有所帮助！ 1、虚拟内存 毋庸置疑，虚拟内存是操作系统中最重要的概念之一。我想主要是由于内存的重要”战略地位”。...之后进行内存分配时，都以页为单位，那么虚拟内存页对应物理内存页的映射表就大大减小了，4G 内存，只需要 8M 的映射表即可，一些进程没有使用到的虚拟内存，也并不需要保存映射关系，而且Linux 还为大内存设计了多级页表...8.2 直接操作物理内存 操作系统使用了虚拟内存，我们想要直接操作内存该怎么办呢？ Linux 会将各个设备都映射到 /dev/ 目录下的文件，我们可以通过这些设备文件直接操作硬件，内存也不例外。...此外，Java 读取的文件也会被映射为虚拟内存，在虚拟机默认配置下 Java 每个线程栈会占用 1M 的虚拟内存。具体可以查看 为什么linux下多线程程序如此消耗虚拟内存。...8.4 常用管理命令 我们也可以自己来管理 Linux 的虚拟内存。

2.5K20

十问 Linux 虚拟内存管理 ( 一 )

因此，需要深入学习 Linux 的虚拟内存管理方面的内容来解释这个现象。...Linux 的虚拟内存管理有几个关键概念： 每个进程有独立的虚拟地址空间，进程访问的虚拟地址并不是真正的物理地址 虚拟地址可通过每个进程上页表与物理地址进行映射，获得真正物理地址 如果虚拟地址对应物理地址不在物理内存中...基于以上认识，这篇文章通过本人以前对虚拟内存管理的疑惑由浅入深整理了以下十个问题，并通过例子和系统命令尝试进行解答。 Linux 虚拟地址空间如何分布？ 32 位和 64 位有何不同？...一.Linux 虚拟地址空间如何分布？ 32 位和 64 位有何不同？...这也是 Linux 虚拟内存管理的核心概念之一。 四. 如何查看进程虚拟地址空间的使用情况？ 进程地址空间被分为了代码段、数据段、堆、文件映射区域、栈等区域，那怎么查询这些虚拟地址空间的使用情况呢？

11.2K23

完全剖析 - Linux虚拟内存空间管理

所以，Linux 根据功能上的差异，来对虚拟内存空间进行管理。 今天，我们来介绍一下 Linux 对虚拟内存空间管理的细节。...段 之前我们说过，在 32 位的操作系统中，每个进程都拥有 4GB 的虚拟内存空间。Linux 根据功能上的差异，把整个虚拟内存空间划分为多个不同区间，称为 段。...我们先来看看 Linux 进程虚拟内存空间的布局图，如图 1 所示： ? 上图展示了 Linux 进程的虚拟内存空间布局情况，我们只关注 用户空间 的布局。...vm_next：Linux 会通过链表把进程的所有虚拟内存区连接起来，这个字段用于指向下一个虚拟内存区。 vm_page_prot：主要用于保存当前虚拟内存区所映射的物理内存页的读写权限。...总结 本文主要介绍了 Linux 内核是怎么加载应用程序，并且在虚拟内存中建立各个段的布局。

3.1K12

【Linux】多线程——线程概念|Linux下进程与线程|线程控制

重新理解前面我们所说的进程：内核视角：承担分配系统资源的基本实体 创建进程时，申请的PCB，虚拟内存空间，一堆的页表，还有加载到物理内存中的代码数据，花费CPU的资源创建进程初始化，浪费内存资源保存内核数据结构...所以在Linux中，可以把进程和线程做一个统一，CPU看到的task_struct称为轻量级进程 在Linux中，什么是线程：CPU调度的基本单位！...所以Linux中，没有给Linux"线程"去专门设计对应的数据结构！而是直接复用PCB！用PCB来表示Linux内部的“线程”！...也就是说，Linux内核中有没有真正意义的线程，严格上来说是没有的，Linux是用进程PCB来模拟线程的，是一种完全属于自己的一套线程方案。...，在Linux中，如果要实现多线程，必定要使用pthread库，如何看待C++11中的多线程：C++11的多线程，在Linux环境中本质就是对pthread库的封装。

27230

虚拟内存详解

之后进行内存分配时，都以页为单位，那么虚拟内存页对应物理内存页的映射表就大大减小了，4G内存，只需要8M的映射表即可，一些进程没有使用到的虚拟内存，也并不需要保存映射关系，而且Linux还为大内存设计了多级页表...内存与swap之间是按照内存页为单位来交换数据的，一般Linux中页的大小设置为4Kb。而内存与磁盘则是按照块来交换数据的。...但64位机器并没有64位总线，而且其最大内存还要受限于操作系统，Linux 目前支持最大256G内存。...导致这种问题的原因是Java使用Glibc的Arena内存池分配了大量的虚拟内存并没有使用。此外，Java读取的文件也会被映射为虚拟内存，在虚拟机默认配置下Java每个线程栈会占用1M的虚拟内存。...具体可以查看为什么linux下多线程程序如此消耗虚拟内存。 而真实占用的物理内存要看RES(resident)列，这一列的值才是真正被映射到物理内存的大小。

3.6K10

Linux多线程【线程池】

✨个人主页： 北 海 所属专栏： Linux学习之旅 操作环境： CentOS 7.6 腾讯云远程服务器 前言 线程池是一种管理线程的机制，它可以在需要时自动创建和销毁线程，以及分配和回收线程资源...总之多线程算是正式结束了，下一篇将会打开网络的大门 相关文章推荐 Linux多线程 =====:> 【初始多线程】、【线程控制】、【线程互斥与同步】、【生产者消费者模型】 Linux...进程信号 ===== :> 【信号产生】、【信号保存】、【信号处理】 Linux进程间通信 ===== :> 【消息队列、信号量】、【共享内存】、【命名管道】、【匿名管道】 Linux基础IO...】、【创建、终止、等待】 Linux进程学习 ===== :> 【进程地址】、【环境变量】、【进程状态】、【基本认知】 Linux基础 ===== :> 【gdb】、【git】、【gcc/g++...】、【vim】、Linux 权限理解和学习、听说Linux基础指令很多？

27040

虚拟内存

等等吧 于是衍生成了虚拟内存的技术, 虚拟内存将内存存储在磁盘中, 待到需要的时候再读取到物理内存中. 分段 计算机中的一切问题, 都可以通过增加一个中间层来解决....分页 于是人们想到, 如果在上面的基础上将虚拟内存再切割成一个一个小块, 用到哪块读哪块, 岂不是就解决这个问题了么. 于是有了这样的模型: ?...进程能够看到的仍然只有虚拟内存, 不过, 操作系统将虚拟内存按照4k(比如) 的大小分成了很多块, 每一块称为一页....其维护了虚拟内存中每一页到物理内存的映射关系, 这样就可以做到, 只将目前需要的部分内容读取到内存中....因为有了虚拟内存的存在, 才可以在一个物理内存128m 的机器上, 运行需要内存200m 的进程, 虽然相比直接运行在物理内存上, 速度上要有一些牺牲. 在32位机器上, 虚拟内存最大为4G.

2.2K20
点击加载更多

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

更多标签

活动推荐

    运营活动

    活动名称
    广告关闭

    腾讯云开发者

    扫码关注腾讯云开发者

    扫码关注腾讯云开发者

    领取腾讯云代金券

    热门产品

    热门推荐

    更多推荐

    Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

    深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

    腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287

    领券