Linux开发一般会遇到“/proc/sys/vm/overcommit_memory”，即文件/etc/sysctl.conf中的vm.overcommit_memory，Overcommit的意思如同其字面意思，即进程可申请超出可用内存大小的内存（对进程而言实为虚拟内存，一个进程占用的虚拟内存空间通常比物理空间要大，甚至可能大许多）。overcommit_memory有三种取值（注：overcommit_memory并不控制OOM，是否开启OOM由panic_on_oom控制）：
Android应用建立在Java虚拟机之上的，Google为了保证同时多个APP运行并及时唤醒，就为每个虚拟机设置了最大可使用内存，通过adb命令可以查看相应的几个参数，
这篇文章其实之前发过，但是最近有位读者跟我反馈，我文章中的实验在 64 位操作系统、2 G 物理内存的场景，申请 8G 内存是没问题的，而他也是这个环境，为什么他就无法申请成功呢？
爱可生 DBA 团队成员，负责项目日常问题处理及公司平台问题排查。热爱 IT，喜欢在互联网里畅游，擅长摄影、厨艺，不会厨艺的 DBA 不是好司机，didi~
对于移动应用开发，不管是Android还是IOS，内存都是永远的痛。但是合理的编写代码，会避免OOM的出现。 相信一步步走过来的Android从业者，每个人都会遇到OOM的情况。如何避免和防范OOM的出现，对于每一个程序员来说确实是一门必不可少的能力。今天我们就谈谈在Android平台下内存的管理之道，开始今天的主题之前，先再次回顾两个概念。 内存泄漏：对象在内存heap堆中中分配的空间，当不再使用或没有引用指向的情况下，仍不能被GC正常回收的情况。多数出现在不合理的编码情况下，比如在Activity中
前几天我发了一篇文章：在 4GB 物理内存的机器上，申请 8G 内存会怎么样？，但是当时写的比较匆忙，文章中只考虑关闭 swap 的情况，没有提及开启 swap 的情况，有读者希望我补充这部分内容。
那个傻子是不是疯了？不知道作为所谓的“技术”人员，大家是如何面对的，如何解决？本文将聚焦于 Linux 内存结构、内存分析以及 OOM killer 等 3 个方面以及笔者多年的实践经验总结进行“吹牛逼”，当然，若吹的不好，欢迎大家扔砖、鸡蛋。
【1】ulimit 与 TCP backlog：1）、修改 ulimit：通过 ulimit 修改 open files 参数，redis 建议把 open files 至少设置成 10032，因为 maxclients 是10000 [客户端的数据是以文件的形式进行保存的] ，另外 redis 内部最多会使用 32 个文件描述符。
通常来看，Redis开发和运维人员更加关注的是Redis本身的一些配置优化，例如AOF和RDB的配置优化、数据结构的配置优化等，但是对于操作系统是否需要针对Redis做一些配置优化不甚了解或者不太关心，然而事实证明一个良好的系统操作配置能够为Redis服务良好运行保驾护航。
1.Master写内存快照，save命令调度rdbSave函数，会阻塞主线程的工作，当快照比较大时对性能影响是非常大的，会间断性暂停服务，所以Master最好不要写内存快照。
在《Java虚拟机规范》的规定里，除了程序计数器外，虚拟机内存的其他几个运行时区域都有发生 OutOfMemoryError 异常的可能。
之前在实习时，听了 OOM 的分享之后，就对 Linux 内核内存管理充满兴趣，但是这块知识非常庞大，没有一定积累，不敢写下，担心误人子弟，所以经过一个一段时间的积累，对内核内存有一定了解之后，今天才写下这篇文章记录，分享。
背景描述 某项目结构图如下(前端交互式体验及对象存储为主，Redis 及 rds 负载较小没有画出)： web1 和 web2 是两个 Apache，publisher1 和 publisher2 是
之前在实习时，听了 OOM 的分享之后，就对 Linux 内核内存管理充满兴趣，但是这块知识非常庞大，没有一定积累，不敢写下，担心误人子弟，所以经过一个一段时间的积累，对内核内存有一定了解之后，今天才写下这篇博客，记录以及分享。
来源:高效运维 ID:greatops 前言 之前在实习时，听了 OOM 的分享之后，就对 Linux 内核内存管理充满兴趣，但是这块知识非常庞大，没有一定积累，不敢写下，担心误人子弟，所以经过一个一段时间的积累，对内核内存有一定了解之后，今天才写下这篇博客，记录以及分享。 【OOM - Out of Memory】内存溢出 内存溢出的解决办法： 1、等比例缩小图片 2、对图片采用软引用，及时进行 recycle( ) 操作。 3、使用加载图片框架处理图片，如专业处理图片的 ImageLoader 图片加
我们知道外设访问内存需要通过DMA进行数据搬移，关于cpu, cache, device, dma, memory的关系可以通过下图说明：
这些参数主要是用来调整virtual memory子系统的行为以及数据的写出（从RAM到ROM）。 这些节点（参数）的默认值和初始化的过程大部分都可以在mm/swap.c中找到。 目前，/proc/sys/vm目录下有下面这些节点：
内核使用cgroup对进程进行分组，并限制进程资源和对进程进行跟踪。内核通过名为cgroupfs类型的虚拟文件系统来提供cgroup功能接口。cgroup有如下2个概念:
内存泄漏是指程序在申请内存后，无法释放已申请的内存空间，无用对象（不再使用的对象）持续占有内存或无用对象的内存得不到及时释放，从而造成内存空间的浪费。
Java 凭借着自身活跃的开源社区和完善的生态优势，在过去的二十几年一直是最受欢迎的编程语言之一。步入云原生时代，蓬勃发展的云原生技术释放云计算红利，推动业务进行云原生化改造，加速企业数字化转型。
所谓假死现象，是指 Linux 内核 Alive，但是其上的某个或所有操作的响应变得很慢的现象。
今天要探讨的是最近不知道为什么突然间火起来的面试题：当JAVA程序出现OOM之后，程序还能正常被访问吗？答案是可以的，很多时候他并不会直接导致程序崩溃，而是JVM会抛出一个error，告知你程序内存溢出了。当然也要分操作系统。
1、根据java的内存模型会出现内存溢出的内存有堆内存、方法区内存、虚拟机栈内存、native方法区内存； 2、一般说的OOM基本都是针对堆内存； 3、对于堆内存溢出主的根本原因有两种 （1）app进程内存达到上限 （2）手机可用内存不足，这种情况并不是我们app消耗了很多内存，而是整个手机内存不足 4、而我们需要解决的主要是app的内存达到上限 5、对于app内存达到上限只有两种情况 （1）申请内存的速度超出gc释放内存的速度 （2）内存出现泄漏，gc无法回收泄漏的内存，导致可用内存越来越少 6、对于申请内存速度超出gc释放内存的速度主要有2种情况 （1）往内存中加载超大文件 （2）循环创建大量对象 7、一般申请内存的速度超出gc释放内存基本不会出现，内存泄漏才是出现问题的关键所在 8、内存泄漏常见场景 （1）资源对象没关闭造成的内存泄漏（如： Cursor、File等） （2）全局集合类强引用没清理造成的内存泄漏（特别是 static 修饰的集合） （3）接收器、监听器注册没取消造成的内存泄漏，如广播，eventsbus （4）Activity 的 Context 造成的泄漏，可以使用 ApplicationContext （5）单例中的static成员间接或直接持有了activity的引用 （6）非静态内部类持有父类的引用，如非静态handler持有activity的引用 9、怎么对内存进行优化呢 三个方向 （1）为应用申请更大内存，把manifest上的largdgeheap设置为true （2）减少内存的使用 ①使用优化后的集合对象，比如SpaseArray； ②使用微信的mmkv替代sharedpreference； ③对于经常打log的地方使用StringBuilder来组拼，替代String拼接 ④统一带有缓存的基础库，特别是图片库，如果用了两套不一样的图片加载库就会出现2个图片各自维护一套图片缓存 ⑤给ImageView设置合适尺寸的图片，列表页显示缩略图，查看大图显示原图 ⑥优化业务架构设计，比如省市区数据分批加载，需要加载省就加载省，需要加载市就加载失去，避免一下子加载所有数据 （3）避免内存泄漏 编码规范上： ①资源对象用完一定要关闭，最好加finally ②静态集合对象用完要清理 ③接收器、监听器使用时候注册和取消成对出现 ④context使用注意生命周期，如果是静态类引用直接用ApplicationContext ⑤使用静态内部类 ⑥结合业务场景，设置软引用，弱引用，确保对象可以在合适的时机回收 建设内存监控体系： 线下监控： ①使用ArtHook检测图片尺寸是否超出imageview自身宽高的2倍 ②编码阶段Memery Profile看app的内存使用情况，是否存在内存抖动，内存泄漏，结合Mat分析内存泄漏 线上监控： ①上报app使用期间待机内存、重点模块内存、OOM率 ②上报整体及重点模块的GC次数，GC时间 ③使用LeakCannery自动化内存泄漏分析 10、真的出现低内存，设置一个兜底策略 低内存状态回调，根据不同的内存等级做一些事情，比如在最严重的等级清空所有的bitmap，关掉所有界面，直接强制把app跳转到主界面，相当于app重新启动了一次一样，这样就避免了系统Kill应用进程，与其让系统kill进程还不如浪费一些用户体验，自己主动回收内存
从 Linux 内核 2.6.25 开始，CGroup 支持对进程内存的隔离和限制，这也是 Docker 等容器技术的底层支撑。
参数1-6是针对yarn的设置。参数1是告诉集群本节点有多少内存资源。2和3设置单个container能够申请到的最小最大内存。4是是否物理开启内存监控，监控container实际占用内存是否超标，超标则直接kill掉。5和6分别设置虚拟内存监控开关以及虚拟内存大小。
Android 系统对每个app都会有一个最大的内存限制，如果超出这个限制，就会抛出 OOM，也就是Out Of Memory 。本质上是抛出的一个异常，一般是在内存超出限制之后抛出的。最为常见的 OOM 就是内存泄露(大量的对象无法被释放)导致的 OOM，或者说是需要的内存大小大于可分配的内存大小，例如加载一张非常大的图片，就可能出现 OOM。
在上一篇《Android性能优化（三）之内存管理》中我们对Android的内存管理有了一定的认识，本篇文章从实际出发对内存进行优化，主要包含以下部分：
代码明明简单，日常跑没问题，怎么一大促就卡死甚至进程挂掉？大多因为设计时，就没针对高并发、高吞吐量case考虑过内存管理。
在Android系统中，进程可以大致分为系统进程和应用进程两大类。
不允许容器消耗宿主机太多的内存是非常重要的。在 Linux 主机上，如果内核检测到没有足够的内存来执行重要的系统功能，它会抛出 OOME 或 Out of Memory 异常，并开始终止进程以释放内存。任何进程都会被杀死，包括 Docker 和其他重要的应用程序。如果杀错进程，可能导致整个系统瘫痪。
众所周知，程序需要加载到物理内存才能运行，多核时代会出现多个进程同时操作同一物理地址的情况，进而造成混乱和程序崩溃。计算机当中很多问题的解决都是通过引入中间层，为解决物理内存使用问题，虚拟内存作为中间层进入了操作系统，从此，程序不在直接操作物理内存，只能看到虚拟内存，通过虚拟内存，非常优雅的将进程环境隔离开来，每个进程都拥有自己独立的虚拟地址空间，且所有进程地址空间范围完全一致，也给编程带来了很大的便利，同时也提高了物理内存的使用率，可同时运行更多的进程。
在启动一个Springboot工程时，抛出一项“Cannot allocate memory”异常，很明显，是因为内存分配原因导致的OOM异常导致JVM宕掉。跟随log，查看JVM hs_err_pid24442.log文件。
作者简介：许庆伟，Linux Kernel Security Researcher & Performance Developer 众所周知，Linux内核和CPU处理器负责将虚拟内存映射到物理内存。为了提高效率，在一个称为页的内存组中创建一个内存映射，其中每个页的大小根据处理器的实际情况而来。尽管大多数处理器也支持更大的页，但默认通常是4 KB,。内核可以从页空闲列表中为物理内存页的申请提供分配，并且为了提高效率，为每个DRAM组和CPU均设计了维护这些请求的方案。内核程序可以通过分配器(比如slab分配
在《一文读懂 HugePages的原理》一文中介绍了 HugePages（大内存页）的原理和使用，现在我们来分析一下 Linux 内核是怎么实现 HugePages 分配的。
从 Linux 内核 VS 内存碎片 （上） 我们可以看到根据迁移类型进行分组只是延缓了内存碎片，而并不是从根本解决，所以随着时间的推移，当内存碎片过多，无法满足连续物理内存需求时，将会引起性能问题。因此仅仅依靠此功能还不够，所以内核又引入了内存规整等功能。
问题背景：一次启动本地应用，两分钟过后自动退出，通过日志并未发现任何异常状况，莫名其妙的应用就自动被杀掉了；
熟悉STL的同学始终都绕不过的一个地方，尤其是面试时也会被问及容器的知识点：vector。
前言： 前文《内存映射技术分析》描述了虚拟内存的管理、内存映射；《物理内存管理》介绍了物理内存管理。 本篇介绍一下内存回收。内存回收应该是整个Linux的内存管理上最难理解的部分了。 分析： 1，PFRA Page Frame Reclaim Algorithm，Linux的内存回收算法。 不过，PFRA和常规的算法不同。比如说冒泡排序或者快速排序具有固定的时间复杂度和空间复杂度，代码怎么写都差不多。而PFRA则不然，它不是一个具体的算法，而是一个策略---什么样的情况下需要做内存回收，什么样的page
放假这几天，温习了深入理解Java虚拟机的第二章， 整理了JVM发生OOM异常的几种情况，并分析原因以及解决方案，希望对大家有帮助。
最近一台 CentOS 服务器，发现内存无端损失了许多，free 和 ps 统计的结果相差十几个G，非常奇怪，后来Google了许久才搞明白。
Presto因其优秀的查询速度被我们所熟知，它本身基于MPP架构，可以快速的对Hive数据进行查询，同时支持扩展Connector，目前对Mysql、MongoDB、Cassandra、Hive等等一系列的数据库都提供了Connector进行支持。是我们常用的SQL on Hadoop的解决方案。那么我们今天就来看一下，当我们选择Presto作为我们的查询引擎之后，我们需要考虑的问题。
The OOM Killer 是内核中的一个进程，当系统出现严重内存不足时，它就会启用自己的算法去选择某一个进程并杀掉. 之所以会发生这种情况，是因为Linux内核在给某个进程分配内存时，会比进程申请的内存多分配一些. 这是为了保证进程在真正使用的时候有足够的内存，因为进程在申请内存后并不一定立即使用，当真正使用的时候，可能部分内存已经被回收了。
OOMDetector OOMDetector是一个iOS内存监控组件，应用此组件可以帮助你轻松实现OOM监控、大内存分配监控、内存泄漏检测等功能。 组件特性： OOM监控 监控OOM，Dump引起爆内存的堆栈 大内存分配监控 监控单次大块内存分配，提供分配堆栈信息 内存泄漏检测 可检测OC对象、Malloc堆内存泄漏，提供泄漏堆栈信息 iOS内存监控组件OOMDetector 正式开源 Github地址: https://github.com/Tencent/OOMDetector 请给 OOMDe
有时候我们会发现系统中某个进程会突然挂掉，通过查看系统日志发现是由于 OOM机制 导致进程被杀掉。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
云直播
对象存储
