最近在研究Linux的短程调度（进程调度包括长程调度、中程调度和短程调度，详见参考博客1）相关的算法和调度器，由参考博客1可知，短程调度的主要任务是按照某种策略和算法将处理机分配给一个处于就绪状态的进程，分为抢占式和非抢占式。中程调度（又叫中级调度）的主要任务则是按照给定的原则和策略，将处于外存交换区中的就绪状态或等待状态的进程调入内存，或把处于内存就绪状态或内存等待状态的进程交换到外存交换区。长程调度（又叫高级调度）的主要任务则是将已进入系统并处于后备状态的作业按某种算法选择一个或一批，为其建立进程，并进入主机，装入内存；当该作业执行完毕时，负责回收系统资源。如下图所示：
本文中若有任何疏漏错误，有任何建议和意见，请回复内核月谈微信公众号，或通过caspar at linux.alibaba.com或者 tao.ma at linux.alibaba.com反馈。
因而内核提供了两个调度器主调度器，周期性调度器，分别实现如上工作, 两者合在一起就组成了核心调度器(core scheduler), 也叫通用调度器(generic scheduler).
实时系统是这样的一种计算系统：当事件发生后，它必须在确定的时间范围内做出响应。在实时系统中，产生正确的结果不仅依赖于系统正确的逻辑动作，而且依赖于逻辑动作的时序。换句话说，当系统收到某个请求，会做出相应的动作以响应该请求，想要保证正确地响应该请求，一方面逻辑结果要正确，更重要的是需要在最后期限（deadline）内作出响应。如果系统未能在最后期限内进行响应，那么该系统就会产生错误或者缺陷。在多任务操作系统中（如Linux），实时调度器（realtime scheduler）负责协调实时任务对CPU的访问，以确保系统中的所有的实时任务在其deadline内完成。
| 导语本文主要是讲Linux的调度系统, 由于全部内容太多，分三部分来讲，本篇是中篇（主要讲抢占和时钟），上篇请看（CPU和中断）：Linux调度系统全景指南(上篇)，调度可以说是操作系统的灵魂，为了让CPU资源利用最大化，Linux设计了一套非常精细的调度系统，对大多数场景都进行了很多优化，系统扩展性强，我们可以根据业务模型和业务场景的特点，有针对性的去进行性能优化，在保证客户网络带宽前提下，隔离客户互相之间的干扰影响，提高CPU利用率，降低单位运算成本，提高市场竞争力。欢迎大家相互交流学习！
严格来说，Linux 不是实时操作系统，但 Linux 却支持实时调度算法。与通用调度算法（如完全公平调度算法）相比，实时调度算法更注重任务（进程）的实时性。为什么 Linux 支持实时调度算法，却不是实时操作系统呢？有兴趣的同学可以去网上查阅相关的文献或者资料。
在上一篇博客 【Linux 内核】CFS 调度器 ② ( CFS 调度器 “ 权重 “ 概念 | CFS 调度器调度实例 | 计算进程 “ 实际运行时间 “ ) 中 , 计算了 进程 在 CPU 上的 " 实际运行时间 " , CPU 的总时间是 CPU 的调度区 大小 , 则 进程 在 CPU 上执行的进程 可获取到的 CPU 时间 计算公式如下 :
进程管理过程需要 调度器 的 组件模块 , 以及相关 算法 数据结构 来完成 , 如 : 执行队列 ;
作为资源管理的核心部分，OS的线程调度器必须保持下面这样简单，不变的特性: 确保ready状态的线程总是被调度到有效的CPU核上。虽然它看起来是简单的，我们发现这个不变性在Linux上经常被打破。当ready状态的线程在runqueue中等待时，有些CPU核却还会空闲几秒。以我们的经验，这类性能方面的问题会导致重度依赖同步的应用的性能成倍的下降，针对Kernel编译会多造成高达13%的延迟，针对广泛使用的商用数据库会造成23%的吞吐量降低。传统的测试技术和调试工具对于确认和了解这类问题是无效的，因此这些问题的症状经常是难以捕获的。为了能够推动我们的调查，我们构建了新的工具来在线检测这种违反不变性的情况并且将调度行为可视化。这些工具是简单的，易于在多个kernel版本间移植的并且使用的代价很小。我们相信这些工具将成为内核开发者工具链的一部分来帮助其避免这类问题的出现。
CPU 资源被分成若干 时间片 , 每个进程分不同的时间 , 使用 CPU 时间片 , 这是 分时复用机制 ;
Linux内核的DL调度器是一个全局EDF调度器，它主要针对有deadline限制的sporadic任务。注意：这些术语已经在本系列文章的第一部分中说明了，这里不再赘述。在这本文中，我们将一起来看看Linux DL调度器的细节以及如何使用它。另外，本文对应的英文原文是https://lwn.net/Articles/743946/，感谢lwn和Daniel Bristot de Oliveira的分享。
从Linux 2.6.23开始，默认的调度器为CFS，即"完全公平调度器"(Completely Fair Scheduler)。CFS调度器取代了之前的"O(1)"调度器。
Linux内核作为一个通用的操作系统（OS），需要兼顾各种各样类型的进程，包括实时进程、交互式进程、批处理进程等。而调度器（Scheduler）作为OS的核心组件——CPU时间的管理器，主要负责选择某些就绪的进程来执行。不同的调度器根据不同的方法挑选出最适合运行的进程。目前，在Linux内核中支持的调度器有CFS调度器、Realtime调度器、Deadline调度器和Idle调度器 。本篇将简单介绍CFS调度器的设计原理。
Linux 内核的 " 进程调度 " 是按照 设计好的调度算法 安排的 , 该算法对应的功能模块 称为 " 调度器 " , 英文名称是 Scheduler ;
cgroup 与组调度 linux内核实现了control group功能（cgroup，since linux 2.6.24），可以支持将进程分组，然后按组来划分各种资源。比如：group-1拥有30%的CPU和50%的磁盘IO、group-2拥有10%的CPU和20%的磁盘IO、等等。具体参阅cgroup相关文章。 cgroup支持很多种资源的划分，CPU资源就是其中之一，这就引出了组调度。 linux内核中，传统的调度程序是基于进程来调度的（参阅《Linux 进程调度浅析》）。假设用户A和B共用一台机
在早期的 linux 操作系统中，2.4 版本到 2.6 版本之间，linux 采用了实现起来十分简单的 O(n) 调度器。
之前我写过一篇分析 O(1)调度算法 的文章：O(1)调度算法，而这篇主要分析 Linux 现在所使用的 完全公平调度算法。
上一篇文章中kubernetes系列教程（六）kubernetes资源管理和服务质量初步介绍了kubernetes中的resource资源调度和服务质量Qos，介绍了kubernetes中如何定义pod的资源和资源调度，以及设置resource之后的优先级别Qos，接下来介绍kubernetes系列教程pod的调度机制。
不允许容器消耗宿主机太多的内存是非常重要的。在 Linux 主机上，如果内核检测到没有足够的内存来执行重要的系统功能，它会抛出 OOME 或 Out of Memory 异常，并开始终止进程以释放内存。任何进程都会被杀死，包括 Docker 和其他重要的应用程序。如果杀错进程，可能导致整个系统瘫痪。
调度器面对的情形就是这样, 其任务是在程序之间共享CPU时间, 创造并行执行的错觉, 该任务分为两个不同的部分, 其中一个涉及调度策略, 另外一个涉及上下文切换.
前段时间在学习Elastic-jo和xxl-job(一个分布式作业调用中间件)时接触到一个有意思的数据结构：时间轮 。其实不止是xxl-job，在常见的任务调度中间件或者使用延迟/定时任务的场景中都能看到时间轮的身影，那么究竟是什么原因导致这么多时间调度相关的场景如此偏爱时间轮，下面就让我们一起来探究其中的缘由。
这是一篇介绍Linux调度问题的文章，源自这篇文章。文章中涉及到的一些问题可能已经得到解决，但可以学习一下本文所表达的思想和对CPU调度的理解。
决定一次负载均衡是否要发生有很多的规则，因此也就很难推断如果有工作可作时一个空闲核能够维持空闲多久，也很难推断在系统中有空闲核时，任务变为可运行状态前还要在运行队列里等待多久。因为之前极少数的开发者可以在第一次就写出完美的代码，这种复杂性又导致了bug的出现。弄明白这个bug是必要的，这样才能搞明白为什么他们避开了传统的测试和调试工具。因此，我们首先将描述这引起bug, 延后在展示我们所使用的工具。
来源：IBM 译者：ljianhui 链接：blog.csdn.net/ljianhui/article/details/46718835 1.1 Linux进程管理 进程管理是操作系统的最重要的功能之一。有效率的进程管理能保证一个程序平稳而高效地运行。 Linux的进程管理与UNIX的进程管理相似。它包括进程调度、中断处理、信号、进程优先级、上下文切换、进程状态、进度内存等。 在本节中，我们将描述Linux进程管理的基本原理的实现。它将更好地帮助你理解Linux内核如何处理进程及其对系统性能的影响。
在以上各个字段中，还可以使用以下特殊字符： 星号（*）：代表所有可能的值，例如month字段如果是星号，则表示在满足其它字段的制约条件后每月都执行该命令操作。 逗号（,）：可以用逗号隔开的值指定一个列表范围，例如，“1,2,5,7,8,9” 中杠（-）：可以用整数之间的中杠表示一个整数范围，例如“2-6”表示“2,3,4,5,6” 正斜线（/）：可以用正斜线指定时间的间隔频率，例如“0-23/2”表示每两小时执行一次。同时正斜线可以和星号一起使用，例如*/10，如果用在minute字段，表示每十分钟执行一次
译自：Using Prometheus to Avoid Disasters with Kubernetes CPU Limits
本文为IBM RedBook的Linux Performanceand Tuning Guidelines的1.1节的翻译 原文地址：http://www.redbooks.ibm.com/redpapers/pdfs/redp4285.pdf 原文作者：Eduardo Ciliendo, Takechika Kunimasa, Byron Braswell 1.1 Linux进程管理 进程管理是操作系统的最重要的功能之一。有效率的进程管理能保证一个程序平稳而高效地运行。 Linux的进程管理与UNIX的进
Linux进程管理 进程管理是操作系统的最重要的功能之一。有效率的进程管理能保证一个程序平稳而高效地运行。 Linux的进程管理与UNIX的进程管理相似。它包括进程调度、中断处理、信号、进程优先级、上下文切换、进程状态、进度内存等。 在本节中，我们将描述Linux进程管理的基本原理的实现。它将更好地帮助你理解Linux内核如何处理进程及其对系统性能的影响。 什么是进程？ 一个进程是一个运行在处理器的程序的一个实例。该进程使用Linux内核能够处理的任何资源来完成它的任务。 所有运行在Linux操作系统中
本文是《Linux内核设计与实现》第四章的阅读笔记，代码则是摘自最新的4.6版本linux源码(github)，转载请注明出处。
该文章是一个系列文章，是本人在Android开发的漫漫长途上的一点感想和记录，我会尽量按照先易后难的顺序进行编写该系列。该系列引用了《Android开发艺术探索》以及《深入理解Android 卷Ⅰ，Ⅱ》中的相关知识，另外也借鉴了其他的优质博客，在此向各位大神表示感谢，膜拜！！！另外，本系列文章知识可能需要有一定Android开发基础和项目经验的同学才能更好理解，也就是说该系列文章面向的是Android中高级开发工程师。
调度：就是按照某种调度的算法设计，从进程的就绪队列中选择进程分配CPU，主要是协调进程对CPU等相关资源的使用。
内核的调度操作分为触发和执行两个部分，触发时仅仅设置一下当前进程的TIF_NEED_RESCHED标志，执行的时候则是通过schedule()函数来完成进程的选择和切换。当前进程的thread_info->flags中TIF_NEED_RESCHED位表示需要调用schedule()函数进行调度。内核在两种情况下会设置该标志，一个是在时钟中断进行周期性的检查时，另一个是在被唤醒进程的优先级比正在运行的进程的优先级高时。
http://www.wowotech.net/process_management/PELT.html
本篇原文来 LinkedIn 的 Zhenyun Zhuang，原文：Application Pauses When Running JVM Inside Linux Control Groups[1]，在容器化的进程中，或多或少会给现有应用程序带来一些问题，这篇文章讲的是 LinkedIn 在使用 cgroups 构建容器化产品过程中，发现资源限制策略对 Java 应用程序性能会产生一些影响，文章深入分析问题根本原因，并给出解决方案。笔者看过后，觉得非常赞，因此翻译后献给大家，希望对大家有帮助。
本篇原文来自 LinkedIn 的 Zhenyun Zhuang，原文：Application Pauses When Running JVM Inside Linux Control Groups[1]，在容器化的进程中，或多或少会给现有应用程序带来一些问题，这篇文章讲的是 LinkedIn 在使用 cgroups 构建容器化产品过程中，发现资源限制策略对 Java 应用程序性能会产生一些影响，文章深入分析问题根本原因，并给出解决方案。笔者看过后，觉得非常赞，因此翻译后献给大家，希望对大家有帮助。
前面我们分享了O(n)和O(1)调度器的实现原理，同时也了解了各个调度器的缺陷和面临的问题。总的来说O(1)调度器的出现是为了解决O(n)调度器不能解决的问题，而O(1)调度器在Linux2.4内核的在服务器的变形是可行的，但是Linux2.4以后随着移动设备的逐渐普遍，面临的卡顿问题逐渐明晰，这才导致后来的CFS调度器的出现。
本文基于OSDI-18收录的《Arachne: Core-Aware Thread Management》翻译整理而成。
关于太古老的故事，我就长话短说，主要是留下个 UNIX进程调度器从何开始 的印象，这样方便我们理解为什么Linux的进程调度器会是现在的这个效果。
实时分为硬实时和软实时，硬实时要求绝对保证响应时间不超过期限，如果超过期限，会造成灾难性的后果，例如汽车在发生碰撞事故时必须快速展开安全气囊；软实时只需尽力使响应时间不超过期限，如果偶尔超过期限，不会造成灾难性的后果.
Linux 周期性任务 与 Windows 下的计划任务类似，当安装完操作系统后，默认会安装此服务工具，并且会自动启动 crond 进程。crond 进程每分钟会检查是否有要执行的任务，如果有则执行该任务。
大家好，我是cloud3，本文讲一下操作系统中的调度算法以及多处理中的调度问题。
Android用户几乎每时每刻都在和显示交互；因此，良好的显示性能对于用户体验至关重要。然而，实现平滑如丝的性能并不总是那么容易。需要整个系统协同工作，并且内核并不总是像人们所希望的那样支持这种协作。Android小组目前正在考虑现有内核功能的多种组合以及可能的改进，以提供最佳的显示体验。
这个告警信息说明 kube-proxy 容器被 throttling 了，然而查看该容器的资源使用历史信息，发现该容器以及容器所在的节点的 CPU 资源使用率都不高：
前面我们重点分析了如何通过 fork, vfork, pthread_create 去创建一个进程或者线程，以及后面说了它们共同调用 do_fork 的实现。现在已经知道一个进程是如何创建的，但是进程何时被执行，需要调度器来选择。所以这一节我们介绍下进程调度和进程切换的详情。
上次的陈老师在对PolarDB 的分享中，提到一个新名词，bypass，通过bypass 来提高整体的云原生数据库的性能。这在传统的数据库的技术中我未曾听过，当然上次的东西，最近比较懒，没有整理，后续我会把相关的录音转换成文字，把PolarDB到底打败了谁，之快问快答的东西整理出来。
CFS为了实现公平，必须惩罚当前正在运行的进程，以使那些正在等待的进程下次被调度。
Nginx日志默认情况下写入到一个文件中，为了区分各个域下的日志，我们一般会分开存储。即时这样，文件也会变的越来越大，非常不方便查看分析。通常我们是以每日来做统计的，下面来聊聊以日期来分隔Nginx日志。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
