工作队列（work queue）是另外一种将工作推后执行的形式，tasklet(小任务机制)有所不同。工作队列可以把工作推后，交由一个内核线程去执行，也就是说，这个下半部分可以在进程上下文中执行。这样，通过工作队列执行的代码能占尽进程上下文的所有优势。最重要的就是工作队列允许被重新调度甚至是睡眠。
在《深入解析常见三次握手异常》 这一文中，我们讨论到如果发生连接队列溢出而丢包的话，会导致连接耗时会上涨很多。那如何判断一台服务器当前是否有半/全连接队列溢出丢包发生呢？
工作队列常见的使用形式是配合中断使用，在中断的服务函数里无法调用会导致休眠的相关函数代码，有了工作队列机制以后，可以将需要执行的逻辑代码放在工作队列里执行，只需要在中断服务函数里触发即可，工作队列是允许被重新调度、睡眠。
今天看到一篇论文：Linux Block IO: Introducing Multi-queue SSD Access on Multi-core Systems 。 这篇论文发表于 2013 年，介绍 Linux 内核的 block layer 针对现代硬件——高速 SSD、多核 CPU（NUMA）的新设计。 总的来说，设计方案不难理解，并没有涉及什么牛逼或者新颖的内容。这里面提到的内容从 Linux 3.11 开始出现在内核，Linux 3.16 成为内核的一个完整特性[6]。Linux 5.0 开始成为 block layer 的默认选项[7]。
Linux 内核源码 linux-5.6.18\kernel\sched\sched.h 中 , 定义的 struct sched_class 调度类结构体 , 就是 " 调度器 " 对应的类 ;
很简单呀，因为我做了实验和看了 TCP 协议栈的内核源码，发现要增大这两个队列长度，不是简简单单增大某一个参数就可以的。
今天有个小伙伴跑过来告诉我有个奇怪的问题需要协助下，问题确实也很奇怪。客户端调用RT比较高并伴随着间歇性异常Connection reset出现，而服务端CPU 、线程栈等看起来貌似都很正常，而且服务端的RT很短。
（2）可以用在路由器接口使用，只是用于限速，配置接口速率百分比，必须结合队列使用才能生效；
在《一文读懂 | 进程怎么绑定 CPU》这篇文章中介绍过，在 Linux 内核中会为每个 CPU 创建一个可运行进程队列，由于每个 CPU 都拥有一个可运行进程队列，那么就有可能会出现每个可运行进程队列之间的进程数不一样的问题，这就是所谓的 负载不均衡 问题，如下图所示：
调度器 的 主要职责 就是 对 " 进程 " 进行 " 调度管理 " , 调度时 进程 是放在 " 调度队列 " 中的 ,
2、服务端收到客户端的SYN请求后，服务端进入 SYN_RECV 状态，此时内核会将连接存储到半连接队列(SYN Queue)，并向 客户端回复 SYN+ACK
php多进程通信,有各种各样的方法(进程信号,消息队列,管道,共享内存,socket等等)
简单讲，一个qidsc就是一个调度器。每个出接口都需要某种类型的调度器，默认的调度器为FIFO。Linux下的其他qdisc会根据调度器的规则来重新安排进入调度器队列的报文。
周末的时候，有位读者疑惑为什么 Linux man 手册中关于 netstat 命令中的 tcp listen 状态下的 Recv-Q 和 Send-Q 这两个信息的描述跟我的图解网络写的不一样？
操作系统版本：SUSE Linux Enterprise Server 10 SP4 32bit
在 【Linux 内核】实时调度类 ② ( 实时调度实体 sched_rt_entity 源码分析 | run_list、timeout、watchdog_stamp、time_slice 字段 ) 博客中 , 简单介绍了 在 linux-5.6.18\include\linux\sched.h 头文件中定义的 实时调度实体 sched_rt_entity 源码 ,
1、字符设备驱动: 当我们的应用层读写(read()/write())字符设备驱动时,是按字节/字符来读写数据的,期间没有任何缓存区,因为数据量小,不能随机读取数据,例如:按键、LED、鼠标、键盘等 2、块设备: 块设备是i/o设备中的一类, 当我们的应用层对该设备读写时,是按扇区大小来读写数据的,若读写的数据小于扇区的大小,就会需要缓存区, 可以随机读写设备的任意位置处的数据，例如 普通文件(.txt,.c等),硬盘,U盘，SD卡。 3、块设备结构： 段(Segments)：由若干个块组成。是Linux内存管理机制中一个内存页或者内存页的一部分。 块 (Blocks)： 由Linux制定对内核或文件系统等数据处理的基本单位。通常由1个或多个扇区组成。（对Linux操作系统而言） 扇区(Sectors)：块设备的基本单位。通常在512字节到32768字节之间,默认512字节 应用程序进行文件的读写，通过文件系统将文件的读写转换为块设备驱动操作硬件。
在 【Linux 内核】实时调度类 ③ ( 实时调度类 rt_sched_class 源码 | 调度类 sched_class 源码 ) 博客中 , 简单介绍了 实时调度类 rt_sched_class 结构体 , 下面开始分析该结构体的具体字段含义 ,
执行uucp与uux指令后，会先将工作送到队列，再由uucico来执行工作。uustat可显示，删除或启动队列中等待执行的工作。
原文链接：https://blog.csdn.net/dog250/article/details/46666029
最近在研究Linux的短程调度（进程调度包括长程调度、中程调度和短程调度，详见参考博客1）相关的算法和调度器，由参考博客1可知，短程调度的主要任务是按照某种策略和算法将处理机分配给一个处于就绪状态的进程，分为抢占式和非抢占式。中程调度（又叫中级调度）的主要任务则是按照给定的原则和策略，将处于外存交换区中的就绪状态或等待状态的进程调入内存，或把处于内存就绪状态或内存等待状态的进程交换到外存交换区。长程调度（又叫高级调度）的主要任务则是将已进入系统并处于后备状态的作业按某种算法选择一个或一批，为其建立进程，并进入主机，装入内存；当该作业执行完毕时，负责回收系统资源。如下图所示：
大家好，我是cloud3，本文讲一下操作系统中的调度算法以及多处理中的调度问题。
本文涉及的队列规则(Qdisc)都可以作为接口上的主qdisc，或作为一个classful qdiscs的叶子类。这些是Linux下使用的基本调度器。默认的调度器为pfifo_fast。
如果你对 Linux 流控感兴趣，如果你需要搭建高性能的 Linux 网关 , 本文将会使你受益颇多。
在Linux 中，仅等待 CPU 时间的进程称为就绪进程，它们被放置在一个运行队列中，一个就绪进程的状 态标志位为 TASK_RUNNING。一旦一个运行中的进程时间片用完， Linux 内核的调度器会剥夺这个进程对 CPU 的控制权，并且从运行队列中选择一个合适的进程投入运行。
进程间通信有如下的目的：1、数据传输，一个进程需要将它的数据发送给另一个进程，发送的数据量在一个字节到几M之间；2、共享数据，多个进程想要操作共享数据，一个进程对数据的修改，其他进程应该立刻看到；3、通知事件，一个进程需要向另一个或一组进程发送消息，通知它们发生了某件事情；4、资源共享，多个进程之间共享同样的资源。为了做到这一点，需要内核提供锁和同步机制；5、进程控制，有些进程希望完全控制另一个进程的执行（如Debug进程），此时控制进程希望能够拦截另一个进程的所有陷入和异常，并能够及时知道它的状态改变。
作为资源管理的核心部分，OS的线程调度器必须保持下面这样简单，不变的特性: 确保ready状态的线程总是被调度到有效的CPU核上。虽然它看起来是简单的，我们发现这个不变性在Linux上经常被打破。当ready状态的线程在runqueue中等待时，有些CPU核却还会空闲几秒。以我们的经验，这类性能方面的问题会导致重度依赖同步的应用的性能成倍的下降，针对Kernel编译会多造成高达13%的延迟，针对广泛使用的商用数据库会造成23%的吞吐量降低。传统的测试技术和调试工具对于确认和了解这类问题是无效的，因此这些问题的症状经常是难以捕获的。为了能够推动我们的调查，我们构建了新的工具来在线检测这种违反不变性的情况并且将调度行为可视化。这些工具是简单的，易于在多个kernel版本间移植的并且使用的代价很小。我们相信这些工具将成为内核开发者工具链的一部分来帮助其避免这类问题的出现。
在早期的 linux 操作系统中，2.4 版本到 2.6 版本之间，linux 采用了实现起来十分简单的 O(n) 调度器。
Linux 的同步机制不断发展完善。从最初的原子操作,到后来的信号量,从大内核锁到今天的自旋锁。这些同步机制的发展伴随Linux从单处理器到对称多处理器的过渡;
1 Linux 进程的睡眠和唤醒 在 Linux 中，仅等待 CPU 时间的进程称为就绪进程，它们被放置在一个运行队列中，一个就绪进程的状 态标志位为 TASK_RUNNING。一旦一个运行中的进程时间片用完， Linux 内核的调度器会剥夺这个进程对 CPU 的控制权，并且从运行队列中选择一个合适的进程投入运行。 当然，一个进程也可以主动释放 CPU 的控制权。函数 schedule() 是一个调度函数，它可以被一个进程主动调用，从而调度其它进程占用 CPU。一旦这个主动放弃 CPU 的进程被重新调度
Yelp 础设施团队的主要目标之一就是为了尽可能接近零停机时间。那也就是说当用户访问www.yelp.com作出动作的时候，网站的响应速度必须尽可能的快。一种方法是使用 HAProxy 负载均衡能够保持 www.yelp.com 网站的响应速度。通常我们在任何地方都使用 HAProxy 来保持网站的外部负载均衡、内部负载均衡，甚至运用到构建面向服务的架构中。我们发现在 Yelp 的每台机器上运行 HAProxy，均可作为 SmartStack 的一部分。 我们喜欢在发展 SOA 的时候使用 SmartSt
本文介绍了Linux内核中关于数据一致性的问题，以及为解决这些问题而采用的各种技术和方法。首先介绍了数据一致性问题在Linux内核中的重要性，然后介绍了Linux内核中现有的数据一致性技术和方法，包括O_DIRECT、O_SYNC、FUA、PDflush、barrier等。最后，总结了如何通过这些技术来提高文件系统的可靠性和性能。
一般来说，在操作系统中会运行多个进程（几个到几千个不等），但一台计算机的 CPU 资源是有限的，如 8 核的 CPU 只能同时运行 8 个进程。那么当进程数大于 CPU 核心数时，操作系统是如何同时运行这些进程的呢？
注：本分类下文章大多整理自《深入分析linux内核源代码》一书，另有参考其他一些资料如《linux内核完全剖析》、《linux c 编程一站式学习》等，只是为了更好地理清系统编程和网络编程中的一些概念
一、在前面介绍了system v 消息队列的相关知识，现在来稍微看看posix 消息队列。 posix消息队列的一个可能实现如下图： 其实消息队列就是一个可以让进程间交换数据的场所，而两个标准的消息队
中 , 介绍了 调度类 sched_class 结构体的源码 , 重要的 字段 以及 函数指针 ;
现在很多人都在诟病Linux内核协议栈收包效率低，不管他们是真的懂还是一点都不懂只是听别人说的，反正就是在一味地怼Linux内核协议栈，他们的武器貌似只有DPDK。
这是一篇介绍Linux调度问题的文章，源自这篇文章。文章中涉及到的一些问题可能已经得到解决，但可以学习一下本文所表达的思想和对CPU调度的理解。
Nginx 的机器，一般都是独立的机器，因此不建议采用默认 irqbalance 的自动绑定，而是要设置 smp_affinity、smp_affinity_list 的值来自动绑定。
消息队列：消息队列的本质是由Linux内核创建用于存放消息的链表，并且其功能是用来存放消息的，所以又称之为消息队列。 在Linux的不同进程中，包括有血缘的进程和无血缘的进程，都可以通过Linux消息队列API所得到的消息队列唯一标识符对消息队列进行操作。
Linux下的进程通信手段基本上是从Unix平台上的进程通信手段继承而来的。而对Unix发展做出重大贡献的两大主力AT&T的贝尔实验室及BSD（加州大学伯克利分校的伯克利软件发布中心）在进程间通信方面的侧重点有所不同。前者对Unix早期的进程间通信手段进行了系统的改进和扩充，形成了“system V IPC”，通信进程局限在单个计算机内；后者则跳过了该限制，形成了基于套接口（socket）的进程间通信机制。Linux则把两者继承了下来，如图示：
所以，将进程与 CPU 进行绑定可以提高 CPU 缓存的命中率，从而提高性能。而进程与 CPU 绑定被称为：CPU 亲和性。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
