深入理解Linux LA

前言

经常和Linux打交道的童鞋都知道,load averages是衡量机器负载的关键指标,但是这个指标是怎样定义出来的呢?

和其他系统不同,Linux上的load averages不仅追踪可运行的任务,还追踪处于不可中断睡眠状态的任务,为什么是这样呢?这篇文章就来聊聊这方面的知识。

Linux的load averages是系统负载平均值,这个值将正在运行线程(任务)对于系统的需求,作为处于运行和等待状态的线程的平均数量。大多数工具会显示1分钟,5分钟和15分钟的平均值:

$ uptime
 17:30:01 up 13 days, 20:30,  3 users,  load average: 1.66, 2.03, 2.08
 
$ cat /proc/loadavg
1.48 1.98 2.06 4/3587 117385

对上面的输出信息稍稍做些解释

  • 如果平均值是0.0,说明系统处于空闲状态
  • 如果1分钟的平均值大于5分钟或者15分钟,说明系统负载正在增加
  • 如果1分钟的平均值小于5分钟或者15分钟,说明系统负载正在减小
  • 如果这些值大于CPU的核数,说明可能遇到了性能问题

利用这三个值,我们可以判断系统的负载是在增加还是在减小,这在实践中很有用。这三个中的任意一个拿出来也很有用,比如为云服务的自动伸缩设置阈值。不过,在缺少其他信息的情况下,单看这些值是没有意义的。比如1分钟的load averages值在23到25之间,就没有任何意义;但如果知道CPU核数并且知道运行的任务是计算密集型,那这个值就很有意义。

历史

最开始的时候,load averages只显示对系统CPU相关的需求:运行的进程数加上等待的进程数。如RFC 546描述的

TENEX load averages是衡量CPU需求的指标。这个值是给定时间内可运行进程数量的平均值。例如,对于单核CPU系统,每小时平均10次意思是在该小时内可以期望看到一个进程正在运行和另外九个等待CPU(即没有被I/O阻塞)处于ready状态的进程。

下图是1973年绘制的监控图

以前操作系统的代码还可以找到,下面是TENEX定义的一些宏

NRJAVS==3               ;NUMBER OF LOAD AVERAGES WE MAINTAIN
GS RJAV,NRJAVS          ;EXPONENTIAL AVERAGES OF NUMBER OF ACTIVE PROCESSES
[...]
;UPDATE RUNNABLE JOB AVERAGES

DORJAV: MOVEI 2,^D5000
        MOVEM 2,RJATIM          ;SET TIME OF NEXT UPDATE
        MOVE 4,RJTSUM           ;CURRENT INTEGRAL OF NBPROC+NGPROC
        SUBM 4,RJAVS1           ;DIFFERENCE FROM LAST UPDATE
        EXCH 4,RJAVS1
        FSC 4,233               ;FLOAT IT
        FDVR 4,[5000.0]         ;AVERAGE OVER LAST 5000 MS
[...]
;TABLE OF EXP(-T/C) FOR T = 5 SEC.

EXPFF:  EXP 0.920043902 ;C = 1 MIN
        EXP 0.983471344 ;C = 5 MIN
        EXP 0.994459811 ;C = 15 MIN

Linux中定义的宏长下面这样(代码出处include/linux/sched/loadavg.h):

#define EXP_1           1884            /* 1/exp(5sec/1min) as fixed-point */
#define EXP_5           2014            /* 1/exp(5sec/5min) */
#define EXP_15          2037            /* 1/exp(5sec/15min) */

指标的三个粒度

load averages有1分钟,5分钟,15分钟三个粒度的结果。不过事实上,他们并不是真正的平均值,统计的粒度也不是1,5,15分钟。从上面的代码中可以看出,1,5和15都是常量,用于计算指数衰减的5秒平均移动和。由此算出的1分钟,5分钟和15分钟的load averages所反应的负载远远超过1,5,15分钟。

假设在一个空闲的系统上,开启一个单线程来跑CPU密集任务,60秒后的load averages是多少呢?如果load averages按普通平均值来算,这个值将是1.0。下面是一个绘制成图的实验结果

在上面的实验中,所谓的“1分钟load averages”在一分钟内只能达到0.62左右。

Linux不可中断任务

Linux中刚引入load averages时,和其他系统一样将其作为衡量CPU需求的指标,后来将其更改为不仅包含可运行任务,还包含处于不可中断状态的任务(TASKUNINTERRUPTIBLE或nruninterruptible)。这种状态由希望避免信号中断的代码使用,其中包括阻塞在磁盘I/O和一些锁上的任务。在pstop的输出中,这种状态被标志为“D”。ps(1)的man page将其称为"不可中断睡眠状态(通常被IO阻塞)"

# man ps
.....
PROCESS STATE CODES
       Here are the different values that the s, stat and state output specifiers (header "STAT" or "S") will display to describe the
       state of a process:

               D    uninterruptible sleep (usually IO)

...

为什么Linux中的load averages要加入不可中断状态,而不是像其他系统一样只计算CPU的需求呢?

加入不可中断的起源

在oldlinux.org找到了一封1993年的邮件

From: Matthias Urlichs <urlichs@smurf.sub.org>
Subject: Load average broken ?
Date: Fri, 29 Oct 1993 11:37:23 +0200


The kernel only counts "runnable" processes when computing the load average.
I don't like that; the problem is that processes which are swapping or
waiting on "fast", i.e. noninterruptible, I/O, also consume resources.

It seems somewhat nonintuitive that the load average goes down when you
replace your fast swap disk with a slow swap disk...

Anyway, the following patch seems to make the load average much more
consistent WRT the subjective speed of the system. And, most important, the
load is still zero when nobody is doing anything. ;-)

--- kernel/sched.c.orig Fri Oct 29 10:31:11 1993
+++ kernel/sched.c  Fri Oct 29 10:32:51 1993
@@ -414,7 +414,9 @@
    unsigned long nr = 0;

    for(p = &LAST_TASK; p > &FIRST_TASK; --p)
-       if (*p && (*p)->state == TASK_RUNNING)
+       if (*p && ((*p)->state == TASK_RUNNING) ||
+                  (*p)->state == TASK_UNINTERRUPTIBLE) ||
+                  (*p)->state == TASK_SWAPPING))
            nr += FIXED_1;
    return nr;
 }
--
Matthias Urlichs        \ XLink-POP N|rnberg   | EMail: urlichs@smurf.sub.org
Schleiermacherstra_e 12  \  Unix+Linux+Mac     | Phone: ...please use email.
90491 N|rnberg (Germany)  \   Consulting+Networking+Programming+etc'ing      42

看到这么久之前的想法还是很令人惊叹的。

这也证明了Linux改变load averages的含义,使其不仅体现对CPU的需要,是有意的,这让load averages从“CPU负载均衡”变成了“系统负载均衡”。

邮件中举交换磁盘速度慢的例子是有道理的:通过降低系统性能,系统需求(运行和排队的进程数)应该增加;但是如果仅仅根据CPU运行状态,那么load averages值应该会下降。Matthias认为这是不直观的,所以修改了代码。

现代系统的不可中断

但是难道不会出现磁盘I/O不能解释Linux load averages过高的情况吗?这种情况是会出现的,这是因为在现代Linux(4.12)版本中,有将近400处代码设置了TASK_UNINTERRUPTIBLE状态,包括一些锁原语中。其中部分代码可能不需要统计在load averages中。

既然TASK_UNINTERRUPTIBLE在更多的地方被用到,那么是否应该将load averages改成只统计CPU和磁盘需求呢?Linux调度程序的维护者Peter Zijstra有一个想法:将TASK_UNINTERRUPTIBLE替换成task_struct->in_iowait,这样load averages就更贴近磁盘I/O的需求。这样又引入了另外一个问题,我们到底想要从load averages中得到什么?我们是需要用线程对系统的需求来衡量负载,还是只通过物理资源的使用情况来衡量负载呢?如果是前者的话,那么应该包含等待不间断锁的线程,因为这些线程并没有闲置。所以也许Linux的load averages已经按我们需要的方式工作了。

理解Linux的load averages

也许真正的问题在于“load averages”这个词和“I/O”一样含糊不清。到底是哪种I/O呢?是磁盘I/O?文件系统I/O?还是网络I/O。类似的,到底是哪种load averages呢?是CPU平均负载?还是系统平均负载?下面做一个总结吧:

  • 在Linux上,load averages的真实含义是“系统平均负载”,即对整个系统,测量正在工作并等待工作的线程数(CPU,磁盘,不可中断锁)。换句话说,这种方式测量的是不完全空闲的线程数量。这种方式的优势在于包括了对不同资源的需求
  • 在其他的系统上,load averages的含义是“CPU平均负载”,这组值用于测量正在占有CPU执行权的线程数量加上等待CPU的线程数量。

还有另一种可能的类型:“物理资源负载平均值”,其中包括仅用于物理资源(CPU+磁盘)的负载。

更精确的测量数据

当Linux的load averages值增加时,可以判断任务对系统资源(CPU,磁盘和锁)有了更高的需求,但是到底是对哪种资源的需求增长了呢?这时可以用其他的指标来进行判断。比如,CPU资源有如下指标:

  • 单个CPU使用率:可以用命令mpstat -P ALL 1查看
  • 每个进程的CPU使用率:可用命令toppidstat 1查看
  • 每个线程运行队列(调度程序)延迟:可用命令perf sched查看,也可以查看文件/proc/PID/schedstats
  • CPU运行队列延迟:可用命令perf sched查看,也可以查看文件/proc/schedstat
  • CPU运行队列长度:可用vmstat 1命令查看。

上面提供的指标中,前两个用来衡量使用率,后三个用来度量系统饱和度。利用率指标对于衡量工作负载很有用,而饱和度指标可用来识别性能问题。衡量CPU饱和度的最佳指标是运行队列(或调度程序)的延迟,延迟是指任务或者线程处于可运行状态,但必须等待CPU的时间。通过这样的指标可以用来衡量性能问题的严重程度,比如线程等待调度的时间在运行时间中占的百分比。通过观察运行队列长度可以很方便判断是否存在问题,但比较难定位到问题产生的原因。

schedstats功能在Linux 4.6中成为内核可调参数(sysctl.kernel.sched_schedstats),默认是关闭的。

尽管有更明确的指标,但并不意味着load averages是无用的。这组指标已经成功用于云计算微服务的扩展策略,微服务根据不同的负载值做出反应。有了这些判断的依据,即使在自动扩容时犯错也保险多了:扩容实例会花更多的钱,不扩容则会损失用户。如果扩容太多,后来调查一下纠正就是了。

总结

在1993年,一位Linux工程师发现了一个非直观的load averages情况,于是提交了三行代码的补丁将load averages的含义由“CPU负载平均值”变成了“系统负载平均值”。这次的变动在统计中包括了不可中断状态下的任务,所以load averages值不仅反映了对CPU的需求,还反映了对磁盘资源的需求。系统平均负载计算正在工作和等待工作的线程的数量,并且统计1分钟,5分钟,15分钟指数衰减的移动总和平均值。通过这三个值,能够知道系统的负载是在增加还是在减小。

Linux中对不可中断状态的使用越来越多,现在已经包括了不可中断的锁原语。如果需要衡量处于运行状态和等待状态的线程对于系统的需求,那么load averages依然是很好的指标。

最后引用kernel/sched/loadavg.c头部的注释来结束吧

  • This file contains the magic bits required to compute the global loadavg
  • figure. Its a silly number but people think its important. We go through
  • great pains to make it work on big machines and tickless kernels.

原文发布于微信公众号 - 派森公园(demon-hsy)

原文发表时间:2018-05-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏小车博客

Linux网络优化加速一键脚本

7113
来自专栏美团技术团队

基于rsync的文件增量同步方案

背景 犀牛云盘是美团点评内部一个基于美团云的文件协作平台,核心是文件的结构化云存储以及上传和下载的体验优化。文件同步是云盘功能的重要部分(包括文件内容的同步和文...

7624
来自专栏玉树芝兰

如何用 Python 脚本批量下载 Google 图像?

(由于微信公众号外部链接的限制,文中的部分链接可能无法正确打开。如有需要,请点击文末的“阅读原文”按钮,访问可以正常显示外链的版本。)

1792
来自专栏FreeBuf

Skype-Type:一款通过声音窃取键盘记录的Keylogger工具

Skype-Type(简称S&T)是一款功能强大的键盘声音窃听器,这款新颖的安全研究工具将允许他人执行键盘声音窃听攻击。简而言之,S&T可以通过窃听目标用户的键...

3814
来自专栏增长技术

ffmpeg Documentation

| | | | | input | demuxer | encoded data | ...

1351
来自专栏java一日一条

干货!如何正确使用Git Flow

我们已经从SVN 切换到Git很多年了,现在几乎所有的项目都在使用Github管理, 本篇文章讲一下为什么使用Git, 以及如何在团队中正确使用。

1604
来自专栏ATYUN订阅号

腾讯开源围棋AI程序PhoenixGo,复现AlphaGo Zero

PhoenixGo是一个围棋AI程序,它执行AlphaGo Zero论文“掌握无人知识的Go游戏”。它也被称为FoxGo中的“BensonDarr”,CGOS中...

2402
来自专栏张善友的专栏

MVC结构简介

本文编译自J2EE的相关文档。 MVC(Model-View-Controller)应用程序结构被用来分析分布式应用程序的特征。这种抽象结构能有助于将应用程序分...

1875
来自专栏FreeBuf

藏匿在邮件里的“坏小子”

不知从什么时候开始,我的垃圾邮件开始暴增,而且主题千奇百怪,有“再也不用去澳门赌博”、“免保人、免抵押”…等推广主题;有“南北方压岁钱差距有多大?”、“爱过才知...

1548
来自专栏Youngxj

涛先森悬浮客服插件1.1

1815

扫码关注云+社区

领取腾讯云代金券