大家好，我是cloud3，本文讲一下操作系统中的调度算法以及多处理中的调度问题。
最早意识到这两个概念可能不一样是在什么时候呢，不是在买电脑的时候哈，是在安装虚拟机的时候。
但凡懂Linux内核的，都知道Linux内核的CFS进程调度算法，无论是从2.6.23将其初引入时的论文，还是各类源码分析，文章，以及Linux内核专门的图书，都给人这样一种感觉，即 CFS调度器是革命性的，它将彻底改变进程调度算法。 预期中，人们期待它会带来令人惊艳的效果。
白嘉庆，西邮陈莉君教授门下研一学生。曾在华为西安研究所任C++开发一职，目前兴趣是学习Linux内核网络安全相关内容。
本文中若有任何疏漏错误，有任何建议和意见，请回复内核月谈微信公众号，或通过caspar at linux.alibaba.com或者 tao.ma at linux.alibaba.com反馈。
作为资源管理的核心部分，OS的线程调度器必须保持下面这样简单，不变的特性: 确保ready状态的线程总是被调度到有效的CPU核上。虽然它看起来是简单的，我们发现这个不变性在Linux上经常被打破。当ready状态的线程在runqueue中等待时，有些CPU核却还会空闲几秒。以我们的经验，这类性能方面的问题会导致重度依赖同步的应用的性能成倍的下降，针对Kernel编译会多造成高达13%的延迟，针对广泛使用的商用数据库会造成23%的吞吐量降低。传统的测试技术和调试工具对于确认和了解这类问题是无效的，因此这些问题的症状经常是难以捕获的。为了能够推动我们的调查，我们构建了新的工具来在线检测这种违反不变性的情况并且将调度行为可视化。这些工具是简单的，易于在多个kernel版本间移植的并且使用的代价很小。我们相信这些工具将成为内核开发者工具链的一部分来帮助其避免这类问题的出现。
实时系统是这样的一种计算系统：当事件发生后，它必须在确定的时间范围内做出响应。在实时系统中，产生正确的结果不仅依赖于系统正确的逻辑动作，而且依赖于逻辑动作的时序。换句话说，当系统收到某个请求，会做出相应的动作以响应该请求，想要保证正确地响应该请求，一方面逻辑结果要正确，更重要的是需要在最后期限（deadline）内作出响应。如果系统未能在最后期限内进行响应，那么该系统就会产生错误或者缺陷。在多任务操作系统中（如Linux），实时调度器（realtime scheduler）负责协调实时任务对CPU的访问，以确保系统中的所有的实时任务在其deadline内完成。
本文通过实验论证：Unixbench的Pipe-based Context Switching用例受操作系统调度算法的影响波动很大，甚至出现了虚拟机跑分超过物理机的情况。在云计算时代，当前的Unixbench已不能真实地反映被测系统的真实性能，需要针对多核服务器和云计算环境进行完善。
在嵌入式场景中，虽然 Linux 已经得到了广泛应用，但并不能覆盖所有需求，例如高实时、高可靠、高安全的场合。这些场合往往是实时操作系统的用武之地。有些应用场景需要 Linux 的管理能力、丰富的生态又需要实时操作系统的高实时、高可靠、高安全，那么一种典型的设计是采用一颗性能较强的处理器运行 Linux 负责富功能，一颗微控制器/ DSP /实时处理器运行实时操作系统负责实时控制或者信号处理，两者之间通过 I/O、网络或片外总线的形式通信。这种方式存在的问题是，硬件上需要两套系统、集成度不高，通信受限与片外物理机制的限制如速度、时延等，软件上 Linux 和实时操作系统两者之间是割裂的，在灵活性上、可维护性上存在改进空间。
简介 Linux内核中进程调度的核心是选择哪个任务在哪个CPU上运行，解决各个进程之间能够公平的共享CPU资源，同时需要确认进程需要占用CPU时间，确定下一个需要运行的进程。负载均衡的核心是各个CPU之间空闲和繁忙不均衡，提供系统整体的计算吞吐量。 每个CPU上会运行一个进程的调度队列，在系统运行过程中可能会出现一个CPU上的任务多，另外一个CPU上的任务少的情况，这就需要将繁忙的CPU将任务转移到空间处理器上从而避免某些CPU负载不够的情况. 📷 一个NUMA计算机可以拥有多个Node,一个Node可以有
进程是操作系统分配资源(CPU、内存、文件)、调度任务和执行的一个基本单位。它拥有独立的内存空间、已分配的资源和独立的执行上下文。 线程是CPU调度的基本单位，同一进程内的线程共享了进程的资源和内存空间。
经常有软件的同学会问到一个尖锐的问题：在超异构软硬件融合的时代，操作系统等软件是不是需要重构，是不是要打破现有的整个软件体系。我赶紧解释：“超异构软硬件融合不改变现有的软件体系，所有的软件该是什么样还是什么样。”
随着云计算产业的异军突起，网络技术的不断创新，越来越多的网络设备基础架构逐步向基于通用处理器平台的架构方向融合，从传统的物理网络到虚拟网络，从扁平化的网络结构到基于 SDN 分层的网络结构，无不体现出这种创新与融合。
而且这个问题还关联到了我们后面要学习的多线程、I/O 模型、网络优化等。 所以这是一道很不错的面试题目，它不是简单考某个概念，而是通过让求职者比较两种东西，从而考察你对知识整体的认知和理解。
今天看到一篇论文：Linux Block IO: Introducing Multi-queue SSD Access on Multi-core Systems 。 这篇论文发表于 2013 年，介绍 Linux 内核的 block layer 针对现代硬件——高速 SSD、多核 CPU（NUMA）的新设计。 总的来说，设计方案不难理解，并没有涉及什么牛逼或者新颖的内容。这里面提到的内容从 Linux 3.11 开始出现在内核，Linux 3.16 成为内核的一个完整特性[6]。Linux 5.0 开始成为 block layer 的默认选项[7]。
并发 是指在某一时间段内能够处理多个任务的能力，而 并行 是指同一时间能够处理多个任务的能力。并发和并行看起来很像，但实际上是有区别的，如下图（图片来源于网络）：
先来认识 CPU 的架构，只有理解了 CPU 的 架构，才能更好地理解 CPU 是如何读写数据的，对于现代 CPU 的架构图如下：
高性能的服务器，不一定是多线程实现的，也就是说多线程不一定比单线程效率高，这得分具体的情况。以redis为例，核心处理请求的线程只有一个，所以我们常常理解其仅仅只有一个线程，但准确来说其实并不是单线程的，比如日志的备份需要单独的fork一个进程或者线程去做备份等，那么redis何来单线程还能达到如此10万+的qps呢？其实这取决于具体的实现，redis采用了基于高性能Reactor的IO多路复用的模式+内存数据结构+单线程处理网络请求这几块，决定了其性能高的原因。
虽然我喜欢分级页表，但是反置页表才是更加自然的方式。之所以叫做 反置 页表，大概是因为它颠倒我们常规理解的寻址：
最近在学习.NET的并行计算技术，学到一个服务器NUMA架构，NUMA架构在中大型系统上一直非常盛行，也是高性能的解决方案，在系统延迟方面表现都很优秀。Windows一向都没有在NUMA架构上有多少表现机会，AMD的多路系统大多也会用在UNIX/Linux上。Intel如期进入了NUMA架构的怀抱，英特尔最新的服务器处理器至强5500是一项重大的结构变革。与上一代至强处理器相比，至强5500采用了非一致性存储结构（NUMA），它在一块芯片上增加了向内存控制器的并行化访问路径增加非统一内存访问。可以看这篇文章
需在Qt->Projects->Build Steps->Additionals arguments 配置变量，如图
千万级并发实现的秘密 先解释一下什么是10k问题： 什么是 10K 问题？ 在 1999 年，Dan Kegel 向网络服务器提出了一个骇人听闻的难题： 是时候让网络服务器去同时应对 10000 个客户端了，你觉得呢？毕竟网络已经变得很普及了。 这就是著名的 C10K 问题。 通过改善操作系统内核和从像 Apache 那样的线程服务器迁移到像 Nginx, Node 这样的事件驱动服务器，工程师们解决了这个 C10K 问题。 但现在我们面临着一个更大的挑战，如果同时应对一千万个连接呢？要解决这个难题，需要些
Go语言从诞生到普及已经三年了，先行者大都是Web开发的背景，也有了一些普及型的书籍，可系统开发背景的人在学习这些书籍的时候，总有语焉不详的感觉，网上也有若干流传甚广的文章，可其中或多或少总有些与事实不符的技术描述。希望这篇文章能为比较缺少系统编程背景的Web开发人员介绍一下goroutine背后的系统知识。 1. 操作系统与运行库 2. 并发与并行 (Concurrency and Parallelism) 3. 线程的调度 4. 并发编程框架 5. goroutine 1. 操作系统与运行库 对于普通的
Go语言从诞生到普及已经三年了，先行者大都是Web开发的背景，也有了一些普及型的书籍，可系统开发背景的人在学习这些书籍的时候，总有语焉不详的感觉，网上也有若干流传甚广的文章，可其中或多或少总有些与事实不符的技术描述。希望这篇文章能为比较缺少系统编程背景的Web开发人员介绍一下goroutine背后的系统知识。 1. 操作系统与运行库 2. 并发与并行 (Concurrency and Parallelism) 3. 线程的调度 4. 并发编程框架 5. goroutine 1. 操作系统与运行库 对于
Go语言从诞生到普及已经三年了，先行者大都是Web开发的背景，也有了一些普及型的书籍，可系统开发背景的人在学习这些书籍的时候，总有语焉不详的感觉，网上也有若干流传甚广的文章，可其中或多或少总有些与事实不符的技术描述。希望这篇文章能为比较缺少系统编程背景的Web开发人员介绍一下goroutine背后的系统知识。 1. 操作系统与运行库 2. 并发与并行 (Concurrency and Parallelism) 3. 线程的调度 4. 并发编程框架 5. goroutine 1. 操作系统与运行库 对
在《一文读懂 | 进程怎么绑定 CPU》这篇文章中介绍过，在 Linux 内核中会为每个 CPU 创建一个可运行进程队列，由于每个 CPU 都拥有一个可运行进程队列，那么就有可能会出现每个可运行进程队列之间的进程数不一样的问题，这就是所谓的 负载不均衡 问题，如下图所示：
Intel DPDK，全称为Intel Data Plane Development Kit，是一个为Intel架构处理器设计的强大的数据包处理工具集。不同于传统的Linux系统设计，DPDK专注于网络应用中的高性能数据包处理。
在计算机科学和软件工程中，多线程编程是一项关键技能，尤其在当今多核处理器和高并发应用程序的背景下显得尤为重要。本文将全面探讨Linux环境下的线程编程，涵盖基本概念、线程创建与管理、线程同步、性能优化以及实际应用，通过详细的C++示例代码帮助读者深入理解并掌握这一技术。
赖滨，腾讯云高级工程师，7+年专注于操作系统相关技术。目前负责腾讯云原生OS的研发，以及OS/虚拟化的性能优化工作。 导语 调度器(Scheduler)子系统是内核的核心子系统之一，负责系统内 CPU 资源的合理分配，需要能处理纷繁复杂的不同类型任务的调度需求，还需要能处理各种复杂的并发竞争环境，同时还需要兼顾整体吞吐性能和实时性要求(本身是一对矛盾体)，其设计与实现都极具挑战。 为了能够理解 Linux 调度器的设计与实现，我们将以 Linux kernel 5.4 版本(TencentOS Serve
Glommio是一个基于Linux io_uring的高效多核线程调度库，它可以让你的程序做到thread-per-core级别的线程调度，每个线程只分配给一个单独的核，避免线程调度时候的context switch开销。它甚至可以把线程手动pin到某个核上。
我在多年的工程生涯中发现很多工程师碰到一个共性的问题：Linux工程师很多，甚至有很多有多年工作经验，但是对一些关键概念的理解非常模糊，比如不理解CPU、内存资源等的真正分布，具体的工作机制，这使得他们对很多问题的分析都摸不到方向。比如进程的调度延时是多少？Linux能否硬实时？多核下多线程如何执行？系统的内存究竟耗到哪里去了？我写的应用程序究竟耗了多少内存？什么是内存泄漏，如何判定内存是否真的泄漏？CPU速度、内存大小和系统性能的关联究竟是什么？内存和I/O存在着怎样的千丝万缕的联系？
我们现在已经搞定了 C10K并发连接问题 ，升级一下，如何支持千万级的并发连接？你可能说，这不可能。你说错了，现在的系统可以支持千万级的并发连接，只不过所使用的那些激进的技术，并不为人所熟悉。
之所以叫做完全公平，是因为操作系统以每个线程占用 CPU 的比率来进行动态的计算，操作系统希望每一个进程都能够平均的使用 CPU 这个资源，雨露均沾。
数据平面开发套件(DPDK [1] ,Data Plane Development Kit)是由6WIND,Intel等多家公司开发，主要基于Linux系统运行，用于快速数据包处理的函数库与驱动集合，可以极大提高数据处理性能和吞吐量，提高数据平面应用程序的工作效率。
分别是： 1、Makefile：分布在 Linux 内核源代码根目录及各层目录中，定义 Linux 内核的编译规则； 2、配置文件（config.in）：给用户提供配置选择的功能； 3、配置工具：包括配置命令解释器（对配置脚本中使用的配置命令进行解释）和配置用户界面（提供基于字符界面、基于 Ncurses 图形界面以及基于 Xwindows 图形界面的用户配置界面，各自对应于 Make config、Make menuconfig 和 make xconfig）。
现在大家使用的基本上都是多核cpu，一般是4核的。平时应用程序在运行时都是由操作系统管理的。操作系统对应用进程进行调度，使其在不同的核上轮番运行。
本文主要记录了一次生产环境后台服务的性能分析过程，通过结合多种性能分析工具定位出系统的性能瓶颈并给出优化方案，将整个过程记录并总结如下。
这是一篇介绍Linux调度问题的文章，源自这篇文章。文章中涉及到的一些问题可能已经得到解决，但可以学习一下本文所表达的思想和对CPU调度的理解。
Linux是一个支持多任务的操作系统，而多个任务之间的切换是通过 调度器 来完成，调度器 使用不同的调度算法会有不同的效果。
Go 的调度机制相当于我们微服务里的基础组件。很多运行时操作都涉及到了调度的关联。本文会细聊调度概念，策略，以及它的机制。当然，也少不了最常提及的 GMP 模型。
进程表（process table），也称进程控制块（PCB），是由操作系统维护的，每个进程占用其中一个表项。该表项包含了操作系统对进程进行描述和控制的全部信息，从而保证该进程换出后再次启动时，就像从未中断过一样。
前言 之前程序执⾏都是⼀条腿⾛路，甚⾄是⽤⼀杆枪来打天下。 通过系统编程的学习，会让⼤家有“多条腿”⼀起⾛路，就好⽐有了⼀把机关枪。 此篇为深入理解进程第一篇，下面开始今天的说明~~~ 多任务的引入
2019年5月，美国商务部将华为列入了出口管制的“实体清单”，华为被推向了这波中美对抗的风口浪尖。紧随其后，6月，特朗普政府又对其他几家中国机构实行了限制出口政策，包括中科曙光、江南计算技术研究所、成都海光等。其中，中科曙光和江南计算技术研究所均为中国超级计算机研发机构，中科曙光研发了“曙光”系列，江南计算技术研究所研发了“神威”系列。另外一个国产超算巨头“天河”相关单位早在2015年就被纳入了实体清单。至此，国产超算三巨头“天河”、“曙光”和“神威”均已被特朗普政府封杀。继“华为禁令”之后，“超算禁令”再次暴露美国欲限制中国发展的野心。那何为“超算”？本文将简述超级计算机的背景知识与发展现状。
并发指在同一时间内可以执行多个任务。并发编程含义比较广泛，包含多线程编程、多进程编程及分布式程序等。本章讲解的并发含义属于多线程编程。
什么是多线程 多线程也叫并发编程，那么在写多线程之前，我们先来了解一下并发编程的基础概念。 ①CPU核心数和线程数的关系 核心即CPU，多核就是将多个CPU集成到一个芯片内，每个处理器都是单独的，核心数和线程数是一比一的关系，Interl使用超线程技术，将一个物理CPU模拟成两个逻辑CPU核心数和线程数实现一比二。 即如果一个4核CPU使用超线程技术，就可以同时运行8个线程，未使用超线程技术的话，则同时运行4个线程。 ②CPU时间轮转机制 也叫RR调度，可以理解为将CPU的运行时间进行切片，每一
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
