为什么我的进程被kill掉了

先来看段代码:

这段代码非常简单,就是先用mmap的方式,为该进程分配10GiB的虚拟内存,然后再用page写的方式,让操作系统为这10GiB虚拟内存,分配对应的物理内存,最后sleep,等待我们测试。

运行下:

没啥问题,和我们预期的一样,正常执行。

打开另一个终端,执行以下命令,看下它的内存占用:

上图中的VSZ指的是虚拟内存,RSS指的是物理内存,单位都是KiB,所以该进程虚拟内存和物理内存的使用,都约等于10GiB,没问题。

我们再开个终端,再执行下这个程序:

第二次执行这个程序也没问题,但奇怪的是,此时第一次执行的那个程序却被kill掉了:

这是为什么呢?

上面我们说到,该程序的逻辑是分配10GiB的物理内存,所以运行两次,也就是要分配20GiB的物理内存。

但在我们的测试机器上,物理内存一共才16GiB,所以,运行两个这样的进程肯定是不行的。

在第二次执行该程序,且向操作系统申请物理内存时,操作系统会发现,物理内存已经没有了。

此时,为了防止整个系统crash掉,linux内核会触发 OOM/Out of Memory killing 机制,即按照一定的规则选择一个进程,将其kill掉,以便回收物理内存,以此来保证机器整体的稳定运行。

同时,该kill事件,也会被记录到内核日志中,且可通过dmesg命令等方式查看。

比如上面第一个进程被kill掉的事件记录如下:

看上面红色字体行,该行是说,进程14134因为out of memory被linux内核kill掉了,该进程正是上面我们第一次执行的那个程序。

linux内核的oom killing机制,其实是一种弃车保帅的做法,因为如果我们不kill掉某进程,来释放物理内存的话,那很有可能会导致后续系统级别的crash,两害相权取其轻,操作系统只能这样处理,归根结底,是我们对进程使用物理内存的规划不足,才导致了这种情况。

那为什么不在第二次执行该程序时,在调用mmap分配虚拟内存时就直接报错,返回无法分配内存呢?

这是因为,经过多年观察,linux内核的开发人员发现,绝大部分程序在分配了很大的虚拟内存之后,在大部分时间里,并不会一直使用这么多的物理内存。

所以,为了更合理更高效的利用物理内存资源,linux内核允许虚拟内存的overcommit,即,例如在上面执行mmap分配虚拟内存时,linux内核并不会严格检查,所有运行中的进程分配的虚拟内存加起来,是否超过了整个物理内存大小。

这也就解释了为什么上面第二次运行该程序时,mmap是没有报错的。

但是,虽然mmap的虚拟内存分配成功了,但当真正使用该内存时,比如上面的写内存,此时要分配物理内存,则是有可能失败的,因为虚拟内存的overcommit,很可能导致后续的物理内存不足。

如果真的发生了这种情况,就会触发linux内核的oom killing机制,即linux内核中的oom killer会按一定的规则,选一个进程,将其kill掉,这个上面我们已经演示过了。

那为什么不kill掉第二个进程,而是kill掉第一个呢?

这个和linux内核中oom killer的选择策略有关,我们直接看源码:

当进程请求操作系统为其分配物理内存时,如果此时物理内存已经没有了,则会触发上图中的out_of_memory函数。

该函数中,会使用select_bad_process选择要被kill掉的进程,然后使用oom_kill_process将其kill掉,来释放物理内存。

在看select_bad_process之前,我们先看下oom_kill_process:

该函数调用了__oom_kill_process:

在上面的函数中,通过向victim进程发送SIGKILL这个signal(我们平时使用的kill -9命令,就是用的这个signal),将其kill掉,然后该kill事件,会被记录到内核日志中。

注意,这里记录的日志格式,正好和我们上面用dmesg输出的,14134进程被kill掉事件日志格式完全一样。

kill掉进程的过程就是这样,我们再来看下select_bad_process函数是如何选择要被kill掉进程的:

在该函数中,会遍历系统中的所有进程,然后使用oom_evaluate_task这个函数,对各个进程进行评估:

oom_evaluate_task函数中,会使用oom_badness,计算某进程badness的点数,点数越高,越容易被kill掉。

如果badness的点数是LONG_MIN这个特殊值,则直接跳过该进程,即该进程不会成为被kill掉的对象,如果badness点数小于之前选择进程的badness点数,同样也跳过该进程,即被kill掉的进程badness点数要是最大的。

遍历中选择的进程,及其badness的点数,会被赋值到oc->chosen和oc->chosen_points里,oc->chosen最终指向的进程,就是上面oom_kill_process里kill掉的进程。

我们再来看下badness点数是如何计算的:

该函数主体逻辑分成两部分,一部分是,在某些情况下,该进程的badness点数直接返回LONG_MIN,即不会被kill掉。

这些情况包括,oom_score_adj的值为OOM_SCORE_ADJ_MIN,即-1000,或者该进程已经在被kill的过程中了,或者该进程在vfork过程中。

该函数逻辑的另外一部分就是计算进程的badness点数,其大致计算规则为:

points = 该进程占用的物理内存总数 + 总物理内存 * oom_score_adj值的千分比。

oom_score_adj的值,是进程独有的,是可以通过写 /proc/[pid]/oom_score_adj 的方式调整的,取值范围为 -1000 到 1000。

该值越大,进程总的badness点数就会越大,进程也就越容易被kill掉。

该值越小,进程总的badness点数就会越小,该进程也就越不容易被kill掉。

上面我们还提到oom_score_adj有一个特殊值为OOM_SCORE_ADJ_MIN,即-1000,表示该进程不能被kill掉。

各进程的oom_score_adj的值默认为0。

综上可知,linux内核中oom killer选择被kill进程的方式,就是看各进程badness点数的大小。

默认情况下,因为各进程的oom_score_adj的值都为0,所以进程占用的物理内存越大,其badness点数也就越大,其也就越容易被kill掉。

这也就解释了,为什么上面在第二次执行那个程序时,被kill掉的是第一次执行的那个进程,而不是第二次执行的进程,因为第一次执行的那个进程,占用的物理内存更大。

其实,调整linux内核中oom killer行为的方式有很多,不止修改oom_score_adj值这一种方法。

比如,通过修改 /proc/sys/vm/panic_on_oom 的值,可以让整个系统在物理内存不够时,直接panic,而不是选择性的kill掉某个进程。

比如,通过修改 /proc/sys/vm/overcommit_memory 的值,可以使上面第二次执行的测试程序,在使用mmap分配虚拟内存时,就直接报错,说内存不够。

比如,通过修改 /proc/[pid]/oom_adj 值的方式,同样可以达到修改 /proc/[pid]/oom_score_adj 的目的,不过这个在内核2.6.36版本之后已经不推荐使用。

oom killer行为调整的相关参数,其具体详解可以看proc的man文档:

https://man.archlinux.org/man/proc.5

聊了这么多,那理解linux内核的oom killer机制,对于我们实际应用有哪些帮助呢?

我们假设以下场景:

假如,我们有一台机器,上面跑着一个非常重要的服务,比如数据库,或者某个应用进程等。

它非常耗内存,但是正常情况下,它使用的物理内存肯定不会高于实际总物理内存大小。

有一天我们需要在这台机器上执行一项任务,如果这个任务也比较耗内存,那很可能在执行这项任务时,整台机器的物理内存就完全不够用了,此时,就会触发linux内核的oom killing机制。

又因为在不调整oom_score_adj值的情况下,linux内核中的oom killer默认kill掉的,就是占用物理内存最多的那个进程,一般来说,就是我们数据库进程,或其他应用进程,假设这个进程又是线上的一个重要服务,那它被kill掉了,你想一下这会是多么严重的一个事故。

那怎么避免呢?

此时,我们就可以使用上面提到的,用于调整进程badness点数的,oom_score_adj 这个参数。

比如,我们可以通过 echo -1000 > /proc/[pid]/oom_score_adj 命令,将oom_score_adj的值设置为-1000,即该进程不能被kill掉。

又比如,还是通过上面的echo命令,将oom_score_adj的值修改为一个较小的值,来降低它被kill掉的概率。

但是,这些方法其实都不是完美的解决方式。

虽然该机器上的这个重要服务不被kill掉了,但操作系统为了保证整个系统不crash,还是会kill掉其他各种进程。

如果那些进程不重要还好,万一重要的话,还是会相当严重的。

甚至,如果操作系统找不到可以kill掉的进程,那整个系统就会crash,这个就更严重了。

所以,最好的方式,还是人为去避免物理内存不足的情况,在机器上跑各种程序时,要提前对整个物理内存的使用,有个规划和预判,最好是能预留出一些内存,以防各种误操作。

好了,该篇文章就讲这些内容,如果以后你发现你的进程,莫名奇妙就没有了,可以通过dmesg等方式看下内核日志,确定下你的进程是否被oom kill掉了。

希望本文对你有所帮助,可以的话也帮忙点个赞

另外也欢迎关注我公众号,主要是结合实际,讲一些linux内核相关的知识。

本文分享自微信公众号 - Linux内核及JVM底层相关技术研究(ytcode),作者:KINGYT

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2021-04-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 为什么我的进程被kill掉了

    这段代码非常简单,就是先用mmap的方式,为该进程分配10GiB的虚拟内存,然后再用page写的方式,让操作系统为这10GiB虚拟内存,分配对应的物理内存,最后...

    Linux阅码场
  • MySQL 案例:为什么 kill 不掉线程

    在日常的使用过程中,时不时会遇到个别,或者大量的连接堆积在 MySQL 中的现象,这时一般会考虑使用 kill 命令强制杀死这些长时间堆积起来的连接,尽快释放连...

    王文安@DBA
  • MySQL为什么还有kill不掉的语句?

    在 MySQL 中有两个 kill 命令:一个是 kill query + 线程 id,表示终止这个线程中正在执行的语句;一个是 kill connection...

    码农架构
  • 我的程序被谁干掉了?

    终端产品一般部署在客户的环境中,那么奇奇怪怪的问题也就容易出现了。比如Windows产品进程为什么忽然停止了?这个时候稍微有些经验的程序员会做出以下判断:

    河边一枝柳
  • 为什么ABAP SE11里传送table entry的菜单项被禁掉了

    在line 381往上回溯即能发现原因是因为当前的user只有display的权限:

    Jerry Wang
  • Linux系统为什么要吃掉我的“内存”

    在Windows下资源管理器查看内存使用的情况,如果使用率达到80%以上,再运行大程序就能感觉到系统不流畅了,因为在内存紧缺的情况下使用交换分区,频繁地从磁盘上...

    砸漏
  • OOM Killer的一点分析

    最近线上遇到了好几次由于内存泄漏导致OOM的问题,且大部分都是整个模块被kill掉woker进程,只剩下接入的epoll进程和统计进程的情况,从而导致拨测程序在...

    暴雨一场
  • 还有kill -9杀不掉的进程?kill命令详解

    我们很多人对kill -9 非常熟悉,在工作中也经常用到。特别是你去重启服务的时候。但是所有的服务都能用kill -9来处理吗?kill -9能杀掉所有的进程吗...

    码农编程进阶笔记
  • 宋宝华: Linux僵尸进程可以被“杀死”吗?

    首先要明确一点,僵尸进程的含义是:子进程已经死了,但是父进程还没有wait它的一个中间状态,这个时候子进程是一个僵尸。正常情况下子死,父wait,清理掉子进程的...

    Linux阅码场
  • 【Linux随笔】Killall 、Kill 、Pkill三个命令之间的区别

    首先三个命令都是用于杀掉进程的,不过kill是杀掉单个进程,killall是杀掉所有同名进程,pkill是杀掉一类进程或者某个用户的所有进程。

    浩Coding
  • 【Linux随笔】Killall 、Kill 、Pkill三个命令之间的区别

    首先三个命令都是用于杀掉进程的,不过kill是杀掉单个进程,killall是杀掉所有同名进程,pkill是杀掉一类进程或者某个用户的所有进程。

    浩Coding
  • PostgreSQL KILL -9 用户连接进程 , OMG 胆真肥

    首先我们需要理解一下postgresql 在 linux中的运行机制,system call and fork() system call ,其中

    AustinDatabases
  • 如何让service不被杀死

    1.在service中重写下面的方法,这个方法有三个返回值, START_STICKY是service被kill掉后自动重写创建 @Override    ...

    xiangzhihong
  • 宋宝华: 僵尸进程的成因以及僵尸可以被“杀死”吗?

    僵尸不可能被杀死,因为它已经死了,不存在再死一次的问题。死的对立面是活,死者已死。只有活的进程才可能被杀死。

    Linux阅码场
  • 【大厂面试题】笔试题明明已经AC了,为什么还是把我挂掉了?乔戈里告诉你为什么

    给定一个二维数组,其每一行从左到右递增排序,从上到下也是递增排序。给定一个数,判断这个数是否在该二维数组中。

    乔戈里
  • 刷题外传之如何优雅的杀掉进程

    进程(Process)是 Unix/Linux 系统下编程的核心知识。无论是小 Script 还是大 Daemon,启动后都是以进程的形势在 OS 中存在和执行...

    包子面试培训
  • 32 | kill不掉的语句

    其实大多数情况下,kill query/connection 命令是有效的。比如,执行一个查询的过程中,发现执行时间太久,要放弃继续查询,这时我们就可以用 ki...

    HaC
  • 使用 kill 命令杀死 java进程,你用对了吗?

    有一次发现代码中添加的 ShutdownHook没有生效,难道和 kill命令后面的数字有关?

    乔戈里
  • 为什么校招面试中“线程与进程的区别”老是被问到?我该如何回答?

    当翻译过来后,这两个概念都带了个“程”字,但进程的英文:Process,而线程的英文:Thread,好像并没有什么联系。 大多数初学者一开始都会被这两个概念弄...

    宇宙之一粟

扫码关注云+社区

领取腾讯云代金券