在上一篇博客 【Linux 内核】CFS 调度器 ② ( CFS 调度器 “ 权重 “ 概念 | CFS 调度器调度实例 | 计算进程 “ 实际运行时间 “ ) 中 , 计算了 进程 在 CPU 上的 " 实际运行时间 " , CPU 的总时间是 CPU 的调度区 大小 , 则 进程 在 CPU 上执行的进程 可获取到的 CPU 时间 计算公式如下 :
前面我们分享了O(n)和O(1)调度器的实现原理，同时也了解了各个调度器的缺陷和面临的问题。总的来说O(1)调度器的出现是为了解决O(n)调度器不能解决的问题，而O(1)调度器在Linux2.4内核的在服务器的变形是可行的，但是Linux2.4以后随着移动设备的逐渐普遍，面临的卡顿问题逐渐明晰，这才导致后来的CFS调度器的出现。
最近的一项工作，是查看服务在过去一段时间的内存实际使用量，给K8S平台上的POD内存设置一个基于历史数据的合理上限，既不会限制服务的正常运行，也可以尽量减少不必要的占坑。
O(n)调度器采用一个runqueue运行队列来管理所有可运行的进程，在主调度schedule函数中会选择一个优先级最高，也就是时间片最大的进程来运行，同时也会对喜欢睡眠的进程做一些补偿，去增加此类进程的时间片。当runqueue运行队列中无进程可选择时，则会对系统中所有的进程进行一次重新计算时间片的操作，同时也会对剩余时间片的进程做一次补偿。
CFS 调度器 ( Completely Fair Scheduler ) " 完全公平调度器 " ,
Linux是一个支持多任务的操作系统，而多个任务之间的切换是通过 调度器 来完成，调度器 使用不同的调度算法会有不同的效果。
当我们试着通过 Linux 命令 nproc 和 lscpu 了解一台计算机 CPU 级的架构和性能时，我们总会发现无法正确地理解相应的结果，因为我们会被好几个术语搞混淆：物理 CPU、逻辑 CPU、虚拟 CPU、核心、线程和 Socket 等等。如果我们又增加了超线程（不同于多线程），我们就会开始不知道计算机里面到底有多少核心，我们搞不明白为什么像 htop 这样的命令会在我们认为买的是一台单核计算机上返回拥有 8 个 CPU 的结果。这样的情况一片混乱。
好文推荐 Linux shell编程常用方法总结 C++基础知识精髓 Linux下AutoMake创建工程流程 Qt5.7.1添加支持openssl zynq平台移植python3.10.5 作为一名Linux软件攻城狮，top命令大家应该并不陌生。top命令是Linux下常用的性能分析工具，能够实时显示系统中各个进程的资源占用状况。top可以动态显示过程,不断刷新当前状态。top命令提供了实时的对系统处理器的状态监视。它将显示系统中的任务列表，内存使用和执行时间对任务进行排序。 1、top命令的使用方式
内存是能够直接被cpu操作的存储器.而硬盘光驱是外存,外存中的数据只有先调入内存后才能被中央处理器访问、处理。
进程优先级 📷 Linux内核中进程优先级一般分为动态优先级和静态优先级，动态优先级是内核根据进程的nice值、IO密集行为或者计算密集行为以及等待时间等因素，设置给普通的进程；静态优先级是用户态应用设置给实时进程。在调度中静态优先级的进程优先级更高。 📷 一般应用分为IO密集型和计算密集型；I/O密集型是进程执行I/O操作时候等待资源或者事件时候，数据读取到后恢复进程的运行，这样基本出于等待IO和运行之间进行交替，由于具有这样的特性，进程调度器通常会将短的CPU时间片分配给I/O密集型进程。计算密集型是进
在处理进程间的同步与互斥问题时，我们离不开信号量和PV原语，使用这两个工具的目的在于打造一段不可分割不可中断的程序。应当注意的是，信号量和PV原语是解决进程间同步与互斥问题的一种机制，但并不是唯一的机制。
http://www.wowotech.net/process_management/PELT.html
返回此进程是否正在运行。它还检查PID是否已被另一个进程重用，在这种情况下返回False。
本篇文章系统的给大家讲述linux操作系统原理，这是一篇非常好的linux系统基础教程，我们总结了相关的全部精选内容，一起来学习下。
有时候我们会发现系统中某个进程会突然挂掉，通过查看系统日志发现是由于 OOM机制 导致进程被杀掉。
top 命令主要用于查看进程的相关信息，同时它也会提供系统平均负载，cpu 信息和内存信息。下面的截图展示了 top 命令默认提供的信息：
eBPF (Extended Berkeley Packet Filter) 是 Linux 内核上的一个强大的网络和性能分析工具。它允许开发者在内核运行时动态加载、更新和运行用户定义的代码。
作为一个测试工程师，可能我们并不需要像运维人员那样时时刻刻去关注系统的运行情况，但是对于一些查看系统运行情况，以及性能情况的命令，我们还是需要了解并掌握的，本文就来给大家介绍一下Linux系统重非常重要的top命令。
在开发工作中，尤其是对负载较大的服务端程序的开发，为充分发挥处理器多核性能，提高硬件资源利用率，增加系统吞吐量，少不了并发编程。并发编程一般通过多进程和多线程的方式实现。
CFS为了实现公平，必须惩罚当前正在运行的进程，以使那些正在等待的进程下次被调度。
最近线上遇到了好几次由于内存泄漏导致OOM的问题，且大部分都是整个模块被kill掉woker进程，只剩下接入的epoll进程和统计进程的情况，从而导致拨测程序在没有做逻辑拨测的情况下，不会重新拉起程序，导致机器无法服务。
我们可以在文章的开始就列出一个列表，列出可能影响Linux操作系统性能的一些调优参数，但这样做其实并没有什么价值。因为性能调优是一个非常困难的任务，它要求对硬件、操作系统、和应用都有着相当深入的了解。如果性能调优非常简单的话，那些我们要列出的调优参数早就写入硬件的微码或者操作系统中了，我们就没有必要再继续读这篇文章了。正如下图所示，服务器的性能受到很多因素的影响。
首先需要思考的问题是：什么是调度器（scheduler）？调度器的作用是什么？调度器是一个操作系统的核心部分。可以比作是CPU时间的管理员。调度器主要负责选择某些就绪的进程来执行。不同的调度器根据不同的方法挑选出最适合运行的进程。目前Linux支持的调度器就有RT scheduler、Deadline scheduler、CFS scheduler及Idle scheduler等。我想用一系列文章呈现Linux 调度器的设计原理。
MMU： 在CPU当中有一个独特的芯片叫MMU，它是内存控制单元。是用来计算进程的虚拟地址和物理地址的对应关系的，实现内存分页【memory page】。它还用于访问保护的，即一个进程先要访问到不是它的内存地址，是会被拒绝的 ** 寄存器：**
a). 进程使用的物理内存： find /proc/ -maxdepth 1 -iname "[0-9]*" | xargs -I{} cat {}/smaps | grep Pss: | awk '{s+=$2}END{print s}' b). slab分配占用的内存，采用slab机制主要是解决申请时候浪费page的问题，这一部分的内存并不是application 所占用的，所以要单独列出来, 可以在meminfo 中查看到其占用空间以及可回收空间大小. c). pagetable在虚拟地址到物理地址的转换中发挥着关键的作用，所以也不属于application占用的内存，属于系统所用，所以也单独列出来. 其大小随着内存的变大而变大，可以在meminfo 中找到占用的大小. d). free的内存，这一部分内存是从system的角度看，依然是free的，也就是说这一部分内存还没有被system 进行接管. e). cache/buffer内存的大小，这一部分可以在meminfo 中找到，这里主要是 application 的所使用的cache/buffer. f). 其他原因导致的内存gap, 在下面的示例中，上述所述的6种内存的总和大于实际的总内存，这是因为 shmem 是被application使用的，所以在计算进程使用的物理内存的时候，已经包含了shmem,而cache又计算了一次，因此最后的结果应该是减去SHMEM, 这样 和总内存相比，还有5497KB的gap .那么这个gap 到底应该是available的，还是算作used的，不得而知，那么因为这个gap 不大，所以对于内存的使用状况统计，我们可以暂且忽略该gap， 所以我们可以有如下的公式作为一个参考： total = free + cache + buffer + process_used_via_pss + slab + pagetables - shmem
从图中我们很容器看出，容器技术资源占用比较少，由于虚拟机需要模拟硬件的行为，对CUP和内存的损耗比较大。所以同样配置的服务器，容器技术就有以下优点：
PSUtil库是Python的一个第三方库，它可以访问各种系统信息和资源利用率，如CPU，内存，磁盘，网络接口，进程等。在Linux、Windows、Mac OS X、FreeBSD等操作系统中，PSUtil提供了一致的接口，这使得它成为了Python系统管理和监控的有力工具。PSUtil支持Python2和Python3版本，使用非常方便，安装后只需import就可以使用了。
在 Linux 下我们通过 top 或者 htop 命令可以看到当前的 CPU 资源利用率，另外在一些监控工具中你可能也遇见过，那么它是如何计算的呢？在 Nodejs 中我们该如何实现？
学习如何监控系统状态，是因为作为一个运维工程师需要了解Linux系统运行时的各种信息和状态，当出现问题的时候就能够查找出问题的所在，这样才能对症下药的去解决。
导语 | TDSQL-C 为了满足更高的弹性能力和更精准的计费能力要求，推出了 Serverless 实例的形态，为用户提供更低成本、更灵活的云数据库服务。本文由腾讯云 TDSQL-C 高级工程师杨珏吉在 Techo TVP 开发者峰会 ServerlessDays China 2021 上的演讲《突破极致弹性-腾讯云原生数据库 TDSQL-C Serverless 架构设计与实践》整理而成，向大家分享 TDSQL-C Serverless 的特点以及实现原理。 点击可观看精彩演讲视频 一、Serv
起因 最近我们的 APM 上线了应用卡顿的性能检测，我们使用的是和 BlockCanary 同样的方案，通过 Looper Printer 去监控应用的卡顿。在收集到线上数据以后，发现一个比较怪异的现象，大量的卡顿的情况下，当前执行线程（主线程）的执行时间其实并不长，主线程只执行了几毫秒，但是却卡顿1s甚至更长的时间。很明显这个时候是由于主线程没有抢占到CPU导致，为了搞清楚为什么主线程没有抢到CPU，我把 Android 线程调度仔细撸了一遍。 Linux 进程与Android 线程 基础知识 进程是
在前面学习了CFS调度的原理和主要的数据结构，今天我们就来进入代码分析环节。当然了代码分析只看主要主干不看毛细，同时我们也是根据一个进程是如何被调度的思路来分析一些重要的代码。
01 — HDFS 前面介绍了hadoop的分布式存储框架（HDFS），这个框架解决了大数据存储的问题，这是第一步。知道海量数据如何存储后，脚步不能停留，下一步要设计一个框架，用来玩（计算）这些数据时，资源（计算机集群）该如何调度，比如已知1PB的数据存储在了集群（1000台电脑组成）中的10台计算机（DataNode）中，现在要对这些数据进行Map和Reduce计算，该如何做呢？ 在理解以下知识前，需要理解一些知识点。任何应用，比如打开一个word文档，打开QQ，都会占用一定的系统资源（CPU，内存，网
调度器面对的情形就是这样, 其任务是在程序之间共享CPU时间, 创造并行执行的错觉, 该任务分为两个不同的部分, 其中一个涉及调度策略, 另外一个涉及上下文切换.
linux 下服务器程序会因为各种原因dump掉，就会影响用户使用，这里提供一个简单的进程监控和重启功能。
http://airflow.apache.org/docs/apache-airflow/stable/dag-run.html
Linux是一个多用户多任务的操作系统。多用户是指多个用户可以在同一时间使用同一个linux系统；多任务是指在Linux下可以同时执行多个任务，更详细的说，linux采用了分时管理的方法，所有的任务都放在一个队列中，操作系统根据每个任务的优先级为每个任务分配合适的时间片，每个时间片很短，用户根本感觉不到是多个任务在运行，从而使所有的任务共同分享系统资源，因此linux可以在一个任务还未执行完时，暂时挂起此任务，又去执行另一个任务，过一段时间以后再回来处理这个任务，直到这个任务完成，才从任务队列中去除。这就是多任务的概念。 上面说的是单CPU多任务操作系统的情形，在这种环境下，虽然系统可以运行多个任务，但是在某一个时间点，CPU只能执行一个进程，而在多CPU多任务的操作系统下，由于有多个CPU，所以在某个时间点上，可以有多个进程同时运行。 进程的的基本定义是：在自身的虚拟地址空间运行的一个独立的程序，从操作系统的角度来看，所有在系统上运行的东西，都可以称为一个进程。
在实际的性能测试中，会遇到各种各样的问题，比如 TPS 压不上去等，导致这种现象的原因有很多，测试人员应配合开发人员进行分析，尽快找出瓶颈所在。
当程序运行的时候会由父进程通过fock创建子进程来处理任务；子进程被创建后开始处理任务，当任务处理完毕后就会退出，然后子进程会通知父进程来回收资源；如果子进程处理任务期间，父进程意外终止了，那么这个子进程就变成了僵尸进程。
点击【立即选购】可以进入选购页面。每种机型又对应不同的规格。基本上同机型（比如GN7）他们的显卡型号都是相同的，该机型下的不同规格（比如GN7.LARGE20、GN7.2XLARGE32)只是在CPU、内存、带宽以及显卡个数方面不同而已。下面简单列一下机型与显卡的对应关系（截至2022年5月）：
这个运行环境库扩展了rust语言标准类库 并结合了异步机制，仅用1500行代码写成！请大家阅读文档 并参考提供的例子这样就可以开始自己动手写具有异步运行机制的程序了。
一组生产者进程生产产品给一组消费者进程消费。为使他们并发执行，设一个有n个缓冲区的缓冲池，生产者一次向一个缓冲区中投入消息，消费者从一个缓冲区中取得消息。生产者——消费者问题实际上是相互合作进程关系的一种抽象。
一切互斥操作的依赖是 自旋锁（spin_lock），互斥量（semaphore）等其他需要队列的实现均需要自选锁保证临界区互斥访问。
App “耗电综合征” 当我们说一个 App 耗电的时候我们在说什么？ 我们可能是指 App 吃 CPU 导致系统掉电快，也可能是在说系统告警 App 后台扫描频繁消耗电量，还可能是在说使用 App 时手机发烫严重…… 是的，相对于 Crash、ANR 等常见的 APM 指标，Android App 电量优化更像是一个综合性的问题。 一方面，造成 App 耗电的原因是多种多样的，比如 CPU/GPU Load、屏幕、传感器以及其他硬件开销等，每个分类的排查思路是大相径庭的，再加上 AOSP 没有 “官方”
一、CPU调度的相关概念 1.1 cpu调度 其任务是控制、协调进程对cpu的竞争，即按一定的调度算法从就绪队列中选择一个进程，把cpu的使用权交给被选中的进程。如果没有就绪进程，系统会安排一个系统空闲进程或idle进程进入cpu运行。 1.2 系统场景 * N个进程就绪、等待上cpu运行 * M个cpu， M>=1 * 需要决策：给哪个进程分配哪一个cpu？ 1.3 cpu调度要解决的三个问题 1、按什么原则选择下一个要执行的进程：调度算法 2、何时进行选择：调度时机 3、如何让被选中的进程上cpu中运行
这是一篇用户投稿，spacewander 是 OpenResty 项目的积极贡献者，也参加了今年 OpenResty 大会。小伙子中英文的文笔都很棒，感谢他的分享。
$date +%s -d “04/24/2014 15:30:00” 1398324600
当系统内存不足时，Linux内核会触发OOM来选择一些进程kill掉，以便能回收一些内存，尽量继续保持系统继续运行。具体选择哪个进程杀掉，这有一套算分的策略，参考因子是进程占用的内存数，进程页表占用的内存数等，oom_score_adj的值越小，进程得分越少，也就越难被杀掉，oom_score_adj的取值为[-1000,1000]
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
