了解系统的内存消耗是运维最基本的技能，但是Linux中关于内存消耗的指标很容易让人混淆，本文尝试把诸多概念解释清楚 概念 物理内存和虚拟内存 物理内存：不解释 虚拟内存：进程独享，由操作系统通过地址映射的方式 （这里的虚拟内存与操作系统使用中过程常见的虚拟内存概念不同，不要混淆了，如Linux中swap） 内存耗用指标 VSS – Virtual Set Size 虚拟耗用内存（包含共享库占用的内存） RSS S 17:12 0:00 [kthreadd] SMEM命令 smem命令可以得到USS, PSS，更能反映进程的真实内存消耗 $ smem PID User Command 实践 不用考虑VIRT耗费情况 一般也不要考虑RES内存消耗，除非一直在增大，则说明可能存在内存泄露 如果系统开始出现SWAP，就需要解决RES占用过多的问题 参考 操作系统 — 虚拟内存和物理内存的区别和联系 Linux 查看进程消耗内存情况总结 Java 进程占用 VIRT 虚拟内存超高的问题 Virtual Memory Usage from Java under Linux, too much memory
MySQL内存到底消耗在哪里？ 一说起MySQL使用的内存，你可能会想到各种buffer，最著名的莫过于innodb buffer pool了，它是内存使用的大户，还有sort buffer等等。 binlog_cache_size: 线程级别binlog缓冲大小 thread_stack: 每个线程的堆栈大小 内存分配器： 和其他数据库一样，MySQL的内存分配器也要长时间持有一部分内存，以供正常的内存销毁和分配 ，从而实现内存重复使用。 从公式中不难看出，当基础配置不变情况下，连接数很多的时候，MySQL占用的内存数据，就会上涨的比较快。 用户维度内存监控表 memory_summary_global_by_event_name 全局维度内存监控表 每张表都有很多字段，这里不再进行一一介绍。
2核2G云服务器 每月9.33元起，个人开发者专属3年机 低至2.3折
前言一次巡检过程中发现数据库使用内存有些过量，innodb_buffer_pool_size 设置值为 20G ，但实际物理内存消耗为 37G ，总虚拟内存消耗达 42G ，直接导致监控报警，于是开启了一次内存使用探究之旅 ，整理出来和大家分享一下----概要----发现问题巡检过程中发现mysql内存使用过量下面是 top 出来的信息，只截取了关键部分 PID USER PR NI VIRT RES
所以，如果你有 10GB 的内存，最好将 maxmemory 设置为 8 或者 9G 内存消耗划分 Redis 进程内消耗主要包括：自身内存 + 对象内存 + 缓冲内存 + 内存碎片，其中 Redis 对象内存消耗可以简单理解为这两个对象的内存消耗之和(还有类似过期之类的信息)。键对象都是字符串，在使用 Redis 时很容易忽略键对内存消耗的影响，应当避免使用过长的键。 子进程内存消耗 子进程内存消耗主要指执行 AOF 重写 或者进行 RDB 保存时 Redis 创建的子进程内存消耗。 当分别开启和关闭 THP 时，子进程内存消耗有天壤之别。所以，在高并发写的场景下开启 THP，子进程内存消耗可能是父进程的数倍，造成机器物理内存溢出。 所以说，Redis 产生的子进程并不需要消耗 1 倍的父进程内存，实际消耗根据期间写入命令量决定，所以需要预留一些内存防止溢出。
引擎所消耗的内存大小。 所以，如果你有 10GB 的内存，最好将 maxmemory 设置为 8 或者 9G 内存消耗划分 Redis 进程内消耗主要包括：自身内存 + 对象内存 + 缓冲内存 + 内存碎片，其中 Redis 对象内存消耗可以简单理解为这两个对象的内存消耗之和(还有类似过期之类的信息)。键对象都是字符串，在使用 Redis 时很容易忽略键对内存消耗的影响，应当避免使用过长的键。 子进程内存消耗 子进程内存消耗主要指执行 AOF 重写 或者进行 RDB 保存时 Redis 创建的子进程内存消耗。 所以说，Redis 产生的子进程并不需要消耗 1 倍的父进程内存，实际消耗根据期间写入命令量决定，所以需要预留一些内存防止溢出。
快捷键shift + m ： 将进程按照内存占用从大到小排序。
Oracle进程内存结构-如何察看Oracle进程消耗的内存Last Updated: Sunday, 2004-11-28 11:12 Eygle 经常有人问到如何在Unix下确定进程消耗的内存资源 实际上是Top输出显示的Oracle进程内存使用，包含了SGA部分。这也是SGA的意义所在。SGA可以被共享，可以被所有进程所访问，在进程的寻址空间里就包含了SGA的大小。 至于如何更为精确的确定进程的内存消耗，本文简要介绍如下（在QuickIO下，你可能无法看到本文描述情况）： 1.系统平台及数据库版本$ uname -aSunOS billing 5.8 Generic 1880K 1192K sleep 0:00 0 0.00% ksh 23498 oracle 1 58 0 323M 278M sleep 0:00 0 0.00% oracle3.Pmap输出及进程内存计算 :337360K - 266240K = 71,120k这就是一个进程所消耗的内存.4.用户进程内存使用举例 $ ps -ef|grep LOCAL oracle 10080 9872 0 11:00:
它提供了当前进程的快照以及详细信息，例如用户名、用户 ID、CPU 使用率、内存使用率、进程开始日期和时间等。 1）检查高 CPU 消耗进程在 Linux 上运行了多长时间的 Bash 脚本 该脚本将帮助你确定高 CPU 消耗进程在 Linux 上运行了多长时间。 nautilus 24:14 daygeek 6301 Web 57:40 ---------------------------------------------------- 2）检查高内存消耗进程在 Linux 上运行了多长时间的 Bash 脚本 该脚本将帮助你确定最大的内存消耗进程在 Linux 上运行了多长时间。
由于 innodb_buffer_pool_size 和 query_cache_size 都是我手动配置的，所以这个差异报告让我立刻注意到了 innodb_i...
testuser几个重要参数：innodb_buffer_pool_sizeinnodb_ibuf_max_size虽然最开始我的问题定位，锁定在配置上，但是我实在是找不出有什么参数配置问题，转而开始寻求内存泄漏方向的突破
在执行程序时，如果内存中有大量活动的对象，就可能出现内存问题，尤其是在可用内存总量有限的情况下。在本文中，我们将讨论缩小对象的方法，大幅减少Python所需的内存。 ? 000 16.8 Gb 不难看出，由于实例的字典很大，所以实例依然占用了大量内存。 带有__slots__的类实例 为了大幅降低内存中类实例的大小，我们可以考虑干掉__dict__和__weakref__。 这种方式减少内存的原理为：在内存中，对象的标题后面存储的是对象的引用（即属性值），访问这些属性值可以使用类字典中的特殊描述符： >>> pprint(Point. __new__(cls, (x, y, z)) 这种类所有的实例所占用的内存与元组完全相同。
分析问题初步推断有两种情况：参数配置不当内存泄漏关于参数配置不当，我分析完各种buffer，cache参数配置后没有发现异常或特别严重的错误，于是尝试从内存泄漏的角度来寻找突破口----分析工具pmap : 用来生成一个进程的内存使用报表The pmap command reports the memory map of a process or processes.pt-config-diff : Like standard Unix diff, there is no output if there are no differences.使用 pmap 生成mysql内存使用报表[root@abc
[[Address: 内存开始地址]\ [Kbytes: 占用内存的字节数（KB）]\ [RSS: 保留内存的字节数（KB）]\ [Dirty: 脏页的字节数（包括共享和私有的）（KB）] \ [Mode: 内存的权限：read、write、execute、shared、private (写时复制)]\ [Mapping: 占用内存的文件、或[anon]（分配的内存）、或[stack
PostgreSQL 查看内存使用的方法比较多, 大部分都是进入到POSTGRESQL 中进行查看的,今天从PostgreSQL 外部来查看内存的使用方式和方法. ,以及总体使用的内存数据量. 所以当有人问,POSTGRESQL 到底使用了多少内存,并且在这之后,你可以告诉他共享内存使用了多少, 进程独占使用了多少, 有那些进程已经开始使用了SWAP, 这对解决某些关于内存方面的问题,是有帮助的 VSS- Virtual Set Size 虚拟耗用内存（包含共享库占用的内存） RSS- Resident Set Size 实际使用物理内存（包含共享库占用的内存） PSS- Proportional Set Size 实际使用的物理内存（比例分配共享库占用的内存） USS- Unique Set Size 进程独自占用的物理内存（不包含共享库占用的内存）
innodb_ibuf_max_size 参数意义因为这个参数占用了那么多的内存21474836480/107374182402.0000000009663676416/48318382082.000000000
我注意到最后两项(内存消耗最大两项)，分别是 21.19G (22221844K/1024/1024) 和 7.44G (7801584K/1024/1024)怎么会有这么多的内存消耗呢~~非常奇怪!
因此，字符串对象可以轻松占用至少30％的内存。 显然，这些String对象的大部分都是重复的。 由于字符串重复，浪费了大量内存。 因此，为了优化重复字符串对象浪费的内存，JEP 192中增加了对重复字符串的优化。 JEP 192 ：G1的String去重 ? 当我们使用G1 GC时，它会从内存中删除垃圾对象。 HeapHero.io可以检测由于各种低效的编程实践而浪费的内存量，包括由于重复字符串而浪费掉的内存量。 由于“-XX：+ UseStringDeduplication”参数使内存消耗大大减少，它可以从应用程序中清除大量重复的字符串。 因此，鼓励大家多使用“-XX：+ UseG1GC -XX：+ UseStringDeduplication”，这样可以减少由于重复字符串而引起的内存浪费。这样做有可能能够降低应用程序的整体内存占用量。
生产环境中，经常会遇到内存的报警，在处理这些报警之前，你需要知道MySQL本身消耗内存最多的点在哪里，这样才能比较直观的判断出来你的MySQL服务占用的内存有多少，以及如何降低MySQL本身的内存消耗。 当然，如果你的服务器上还部署了其他的应用程序，那么你需要酌情减小这个比例，从而腾出内存。 重点来了： 在操作系统里面，MySQL占用的内存不仅仅是上述两个内存配置参数有关，通常情况下，我们计算MySQL占用的内存的时候，会使用下面4个值相加的方式： 1、innodb_buffer_pool_size 的时候，你需要考虑的另外一个关键因素是连接数是否超标了，一旦连接数过高，那么上述3、4这两部分消耗的内存将会非常多。 当然，上面列举的，是MySQL最主要占用内存的几个因素，除此之外，其他的内存消耗的地方，可以查看官方文档： https://dev.mysql.com/doc/refman/8.0/en/memory-use.html
云端获取和启用云服务器，并实时扩展或缩减云计算资源。云服务器 支持按实际使用的资源计费，可以为您节约计算成本。 腾讯云服务器（CVM）为您提供安全可靠的弹性云计算服务。只需几分钟，您就可以在云端获取和启用云服务器，并实时扩展或缩减云计算资源。云服务器 支持按实际使用的资源计费，可以为您节约计算成本。
扫码关注腾讯云开发者
领取腾讯云代金券
云服务器
网站备案
对象存储
云直播
实时音视频
