系统内核将数据从内核缓冲区写入到网卡，通过底层的通讯协议发送到客户端！...我们看图发现，当一个新连接被接入后，其他客户端的连接全部处于阻塞状态，那么当该客户端处理客户端时间过长的时候，会导致阻塞的客户端连接越来越多导致系统崩溃，我们是否能够找到一个办法，使其能够将业务处理与Accept...[c98d68d5abd1af03f77a0909fa016768.png] NIO底层在JDK1.4版本是用linux的内核函数select()或poll()来实现，跟上面的NioServer代码类似...这点比较难理解，注意是将EPFD（Epoll文件描述符）放到Socket的等待队列！...在Linux系统上，AIO的底层实现仍使用Epoll，没有很好实现AIO，因此在性能上没有明显的优势，而且被JDK封装了一层不容易深度优化，Linux上AIO还不够成熟。
但是为什么在UP系统中不需要真正的“带有自旋的”自旋锁呢？其实在理解了自旋锁的概念和由来，这个问题就迎刃而解了。所以我重新查找了关于自旋锁的资料，认真研究了自旋锁的实现和相关内容。...在Linux内核中，自旋锁通常用于包含内核数据结构的操作，你可以看到在许多内核数据结构中都嵌入有spinlock，这些大部分就是用于保证它自身被操作的原子性，在操作这样的结构体时都经历这样的过程：上锁-...相反，如果内核控制路径发现锁由运行在另一个CPU上的内核控制路径“锁着”，就在原地“旋转”，反复执行一条紧凑的循环检测指令，直到锁被释放。...但是如果你保证没有中断代码会访问临界区，那么使用不带中断禁用的自旋锁API即可。 2、内核抢占（仅存在于可抢占内核中） 在2.6以后的内核中，支持内核抢占，并且是可配置的。...对于非抢占式内核，由自旋锁所保护的每个临界区都有禁止内核抢占的API，但是为空操作。由于UP系统不存在物理上的并行，所以可以阉割掉自旋的部分，剩下抢占和中断操作部分即可。
,将阻塞的连接与业务处理分离开来,各自处理各自的,这样当前连接的业务逻辑处理就不会影响新的请求进来了。...，底层调用了linux内核的accept函数 SocketChannel socketChannel = serverSocket.accept(); if...这是个什么鬼，我来给大家解释一下，文件描述符是linux内核为了高效管理已被打开的文件所创建的索引，用于指向被打开的文件，所有执行I/O操作的系统调用都通过文件描述符；文件描述符是一个简单的非负整数，用以表明每个被进程打开的文件...，因为这个其实是调用linux内核里面的函数了，都已经看到这么底层了，不看到它的这个函数的用法实属不甘心，好在linux是开源的，而我们正好可以通过linux的man命令来查看这个函数的用法 ?...好啦，我们上面分析了这么多，就为了分析Selector.open()方法的作用，那我这里简单总结一下它的作用 它的作用就是在linux的内核创建了个Epoll实例，也就是创建了个多路复用器 那么接下来继续分析第二个核心方法
系统内核将数据从内核缓冲区写入到网卡，通过底层的通讯协议发送到客户端！...我们看图发现，当一个新连接被接入后，其他客户端的连接全部处于阻塞状态，那么当该客户端处理客户端时间过长的时候，会导致阻塞的客户端连接越来越多导致系统崩溃，我们是否能够找到一个办法，使其能够将业务处理与Accept...NIO底层在JDK1.4版本是用linux的内核函数select()或poll()来实现，跟上面的NioServer代码类似，selector每次都会轮询所有的sockchannel看下哪个channel...这点比较难理解，注意是将EPFD（Epoll文件描述符）放到Socket的等待队列！ ?...在Linux系统上，AIO的底层实现仍使用Epoll，没有很好实现AIO，因此在性能上没有明显的优势，而且被JDK封装了一层不容易深度优化，Linux上AIO还不够成熟。
2 如何请求内核服务 为了更好地理解内核是如何工作的，我们把内核比喻成一个酒吧服务员，他响应两种请求服务：一种是来自顾客，另外一种来自多个老板。...仔细研究，就会发现，前3条规则其实与内核中的异常和中断嵌套执行的规则是一样的。第4条规则就对应于内核抢占。 3 内核抢占 给内核抢占下一个完美定义很难。...当然了，Linux内核不可能这么简单： 不论是抢占式内核还是非抢占式内核，进程都有可能放弃CPU的使用权而休眠等待某些资源。我们称这类进程切换是有计划的进程切换。...基于这个原因，Linux2.6内核允许用户在编译内核代码的时候，通过配置，可以使能和禁止内核抢占。 4 什么时候需要同步技术？ 我们先了解一下内核进程的竞态条件和临界区的概念。...通过这些问题，我们掌握内核同步技术，为自己的内核程序设计最好的同步方法。 5 都有哪些同步技术？ 表5-2，列举了Linux内核使用的一些同步技术。
1.开场白 环境： 处理器架构：arm64 内核源码：linux-5.11 ubuntu版本：20.04.1 代码阅读工具：vim+ctags+cscope 我们或许经常听说过内核抢占，可是我们是否真正理解它呢...内核抢占和抢占式内核究竟有什么关系呢？抢占计数器究竟干什么用？... 本文我们就来好好讨论下，关于内核抢占的一些技术细节，力求让大家理解内核抢占。 注：本文主要关注CFS调度类。...Linux 那什么是抢占式内核呢?...实际上，支持内核抢占的内核叫做抢占式内核，不支持内核抢占的内核叫做不可抢占式内核。那么问题又来了，什么是内核抢占呢？...唤醒抢占 : 满足条件(唤醒的任务与当前任务的虚拟运行时间差值大于最小唤醒抢占粒度 ，唤醒的任务虚拟运行时间更小) 时， 设置TIF_NEED_RESCHED标志，最近的抢占点发生调度。
当然与批处理进程相比, 调度程序有偏爱交互式进程的倾向 1.3 不同进程采用不同的调度策略 根据进程的不同分类Linux采用不同的调度策略....O(n)), 这个算法的缺点是当内核中有很多任务时，调度器本身就会耗费不少时间，所以，从linux2.5开始引入赫赫有名的O(1) O(1)调度器 然而，linux是集全球很多程序员的聪明才智而发展起来的超级内核...学习直通车： Linux内核源码/内存调优/文件系统/进程管理/设备驱动/网络协议栈-学习视频教程 内核资料直通车： Linux内核源码技术学习路线+视频教程代码资料 二，O(n)的始调度算法 2.1...2.2 Linux2.4的调度器 2.2.1 概述 在Linux2.4.18中(linux-2.5)之前的内核, 当很多任务都处于活动状态时, 调度器有很明显的限制....O(1)调度算法所花费的时间为常数，与当前系统中的进程个数无关。 此外Linux 2.6内核支持内核态抢占，因此更好地支持了实时进程。
为了彻底理解是什么使得Linux能正常运行以及其为何能在各种不同的系统中运行良好，你需要深入研究内核最本质的部分。内核处理CPU与外界间的所有交互，并且决定哪些程序将以什么顺序共享处理器时间。...它如此有效地管理有限的内存，以至成百上千的进程能高效地共享系统。它熟练地统筹数据传输，这样CPU 不用为等待速度相对较慢的硬盘而消耗比正常耗时更长的时间。...《深入理解Linux内核，第三版》指导你对内核中使用的最重要的数据结构、算法和程序设计诀窍进行一次遍历。通过对表面特性的探究，作者给那些想知道自己机器工作原理的人提供了颇有价值的见解。...相关的代码片段被逐行剖析。然而，本书涵盖的不仅仅是代码的功能，它解释了Linux以自己的方式工作的理论基础。 下载地址：深入理解Linux内核.pdf
内核中创建内核线程用例 下面我们来看下，内核中创建内核线程为系统服务的用例，我们只提及不讲解具体的服务逻辑。...用例1：linux系统中，当内存不足时，会唤醒kswapd内核线程来进行异步内存回收，下面我们来看他的创建过程： mm/vmscan.c kswapd_init ->for_each_node_state...(kswapd, pgdat, "kswapd%d", nid) //使用kthread_run结构创建并唤醒创建的内核线程 执行kswapd函数 用例2：Linux软中断是下半部的一种机制，一般对效率要求较高的场景会使用到...内核模块代码：kthread_demo.c #include #include #include #include... #include static struct task_struct *tsk; static int kthread_fn(
1.开场白 环境： 处理器架构：arm64 内核源码：linux-5.11 ubuntu版本：20.04.1 代码阅读工具：vim+ctags+cscope 在linux系统中， 我们接触最多的莫过于用户空间的任务...，像用户线程或用户进程，因为他们太活跃了，也太耀眼了以至于我们感受不到内核线程的存在，但是内核线程却在背后默默地付出着，如内存回收，脏页回写，处理大量的软中断等，如果没有内核线程那么linux世界是那么的可怕...本文力求与完整介绍完内核线程的整个生命周期，如内核线程的创建、调度等等，当然本文还是主要从内存管理和进程调度两个维度来解析，且不会涉及到具体的内核线程如kswapd的实现，最后我们会以一个简单的内核模块来说明如何在驱动代码中来创建使用内核线程...2.kthreadd的诞生 盘古开天辟地，我们知道linux所有任务的祖先是0号进程，然后0号进程创建了天字第一号的1号init进程，init进程是所有用户任务的祖先，而内核线程同样也有自己的祖先那就是...可以看到，kthread函数用到了一些完成量和睡眠函数，如果单独看这个函数肯定会一头雾水，要理解这个函数需要回答一下几个问题
本文例子均在 Linux（g++）下验证通过，CPU 为 X86-64 处理器架构。所有罗列的 Linux 内核代码也均在（或只在）X86-64 下有效。...【文章福利】小编推荐自己的Linux内核技术交流群:【865977150】整理了一些个人觉得比较好的学习书籍、视频资料共享在群文件里面，有需要的可以自行添加哦！！！...避免编译时内存乱序访问的办法就是使用编译器 barrier（又叫优化 barrier）。Linux 内核提供函数 barrier() 用于让编译器保证其之前的内存访问先于其之后的完成。...在 Linux 内核中，提供了一个宏 ACCESS_ONCE 来避免编译器对于连续的 ACCESS_ONCE 实例进行指令重排。...使用与操作求取下标的前提是环形缓冲区的大小必须是 2 的 N 次方，换而言之就是说环形缓冲区的大小为一个仅有一个 1 的二进制数，那么 index & (size – 1) 则为求取的下标（这不难理解）
Linux整体架构图 我们先来看一张Linux整体架构图。...当然Shell也是编程的，它有标准的shell语法，符合其语法的文本叫Shell脚本。很多人都会用Shell脚本实现一些常用的功能，可以提高工作效率。 为什么要区分用户态与内核态？...Linux使用了Ring3级别运行用户态，Ring0作为 内核态，没有使用Ring1和Ring2。Ring3状态不能访问Ring0的地址空间，包括代码和数据。...Linux进程的4GB地址空间，3G-4G部分大家是共享的，是内核态的地址空间，这里存放在整个内核的代码和所有的内核模块，以及内核所维护的数据。...外设中断： 当外围设备完成用户请求的操作后，会向CPU发出相应的中断信号，这时CPU会暂停执行下一条即将要执行的指令转而去执行与中断信号对应的处理程序，如果先前执行的指令是用户态下的程序，那么这个转换的过程自然也就发生了由用户态到内核态的切换
大家好，又见面了，我是你们的朋友全栈君。 因为工作中负责维护的产品中有使用消息中间件kafuka的系统 ,所以把工作中的理解和遇到的问题总结出来,方便后期查看，好记性不如烂笔头。...kafuka是一个分布式的、分区化、可复制提交的发布订阅消息系统，使用kafuka需要对其中的一些概念做简单了解。...由producer指定 2、Producer：将消息发布到Kafka特定的Topic的对象 3、Consumers：订阅并处理特定的Topic中的消息的对象 4、broker(Kafka服务集群)...，但是在消费者不饱和的情况下， 一个消费者是可以去消费多个分区的数据的 。...，但是新主机接收不到kafuka的消息，如果将老主机进程停止，新主机从新启动，后启动的四台主机是由kafuka消息的，而先启动的就接收不到消息，结合上面的分析，不难看出，是因为分区数小于了当前的消费者组内的消费者数量
一. linux内核简介 1. linux简介 1.1 unix的特点 unix很简洁，仅提供几百个系统调用，并有非常明确的设计目的 unix所有东西都当作文件对待，这种抽象使对数据和设备都通过一套相同的系统调用接口进行...内核用C语言编写，移植能力很强 进程创建迅速，独特的fork调用 提供了简洁但是稳定的进程间通讯原语 1.2 unix和linux linux克隆unix，但不是unix linux借鉴了unix很多的设计...应用程序通常调用库函数，库函数通过系统调用让内核带其完成各种任务 内核对硬件设备的管理：硬件想要通讯时，发送异步信号去打断内核，内核通过中断号查找处理程序 linux内核开发的特定 不能链接标准c函数库...调度算法 3.1 概述 linux调度程序定义与kernel/sched.c 2.5版本内核重写调度算法，和以前版本区别很大，实现以下目标 充分实现O（1）调度，不管多少进程或什么输入，每个算法能在恒定时间内完成...中断处理程序 响应特定中断时，会执行的函数为中断处理程序或中断服务例程 中断处理程序是设备驱动程序的一部分，设备驱动程序是用于对设备进行管理的内核代码 与内核函数的区别：中断处理程序是被内核调用来响应中断的
笔者所做的工作是需要用到Linux自带的分析工具——***ftrace1***该工具中的一些专门性的工具（姑且叫插件吧）在发行版本中并没有编译到内核中去，所以笔者需要重新编译内核将这些插件勾选上，并安装到自己的系统中...具体命令如下(本命令执行目录为***/usr/src/linux-3.19.8/***，如无特别说明下同)： # make mrproper 配置3 本步骤主要是为了配置编译选项，比如哪些模块需要编译到内核中去...查看系统中已经安装了的内核 # dpkg --get-selections | grep linux 该命令可以查看系统中已经安装过的所有内核，如： 图4 查看所有已经安装了的内核 如上图所示，...删除内核 完成1-2两步后，我们可以确定将要被删除的内核版本。 # apt-get remove linux-image-****-generic 4....比如，笔者本人就遇到这样的奇葩问题：在安装内核后，通过 # dpkg --get-selections|grep linux 命令就找不到刚才安装的内核。
究竟什么是用户态，什么是内核态，这两个基本概念以前一直理解得不是很清楚，根本原因个人觉得是在于因为大部分时候我们在写程序时关注的重点和着眼的角度放在了实现的功能和代码的逻辑性上，先看一个例子： 1）例子...2）特权级 熟悉Unix/Linux系统的人都知道，fork的工作实际上是以系统调用的方式完成相应功能的，具体的工作是由sys_fork负责实施。...3）用户态和内核态 现在我们从特权级的调度来理解用户态和内核态就比较好理解了，当程序运行在3级特权级上时，就可以称之为运行在用户态，因为这是最低特权级，是普通的用户进程运行的特权级，大部分用户直接面对的程序都是运行在用户态...而系统调用的机制其核心还是使用了操作系统为用户特别开放的一个中断来实现，例如Linux的int 80h中断。 b....外围设备的中断 当外围设备完成用户请求的操作后，会向CPU发出相应的中断信号，这时CPU会暂停执行下一条即将要执行的指令转而去执行与中断信号对应的处理程序，如果先前执行的指令是用户态下的程序，那么这个转换的过程自然也就发生了由用户态到内核态的切换
文章目录 一、操作系统需要满足的要素 二、宏内核 三、微内核 四、Linux 内核动态加载机制 一、操作系统需要满足的要素 ---- 电脑上运行的 操作系统 , 是一个 软件 ; 设备管理 : 操作系统需要...; 四、Linux 内核动态加载机制 ---- Linux 内核模块动态加载 : Linux 内核 使用了 模块设计 , 可以进行 动态加载 内核模块 ; Linux 内核的 核心实现 , 设备驱动实现..., 可以 编译成一个独立模块 , 这些独立模块可以被编译成 独立的目标文件 , 可以在运行时 , 动态 加载 / 卸载 内核模块 ; 开发简单 : Linux 内核模块引入 , 带来了很多便利 , 很多内核驱动..., 都可以 编译成动态 加载 / 卸载 的模块 , 驱动开发时 , 必须 遵守规定的接口 , 来访问内核 , 这样 开发内核模块 , 变得 更加容易 , 方便 ; 与平台无关 : 内核模块 可以 设计成...与 平台无关的 模块 , 如 : 文件系统 ;
1.开场白 环境： 处理器架构：arm64 内核源码：linux-5.10.50 ubuntu版本：20.04.1 代码阅读工具：vim+ctags+cscope 前面文章，我们介绍了进程是如何睡眠，本文来揭开进程唤醒的神秘面纱...exec的时候唤醒进程 睡眠超时唤醒 睡眠锁释放唤醒 IO读写完成唤醒 其他正常的唤醒路径 注：应用场景在此不再分析，感兴趣的小伙伴可以自行查阅内核源代码！...3.选择cpu 选择cpu实际上是为唤醒的进程选择运行队列，根据不同的应用场景会有不同的选择算法：如EAS调度器选择最节能的cpu、wake_addine特性尽可能运行在唤醒cpu、选择最空闲的cpu等...preempt.need_resched = 0），这是因为本地cpu一定不是idle状态（因为本地cpu正在做唤醒操作），而远程cpu可能处于idle状态，需要发生ipi来唤醒远程cpu处理重新调度（在中断处理返回内核态前夕就可以发生调度了...，见之前讲解到的内核抢占相关文章）。
【Linux内核锁】二、中断屏蔽 1、中断屏蔽思想 中断屏蔽，正如其名，屏蔽掉CPU的中断响应功能，解决并发引起的竞态问题。 在进入临界区前屏蔽中断，这么做有什么好处，以及有什么弊端？...好处在于： 保证在执行临界区代码时，不被中断所打断 同时，系统的进程调度与中断息息相关，同时也限制了系统进程的并发，解决了系统进程并发带来的竞态问题。...弊端在于： Linux内核中，除了系统进程调度依赖中断，还有一些异步I/O等众多操作都依赖中断，因此长时间屏蔽中断是很危险的，会对系统造成严重影响，因此也要求临界区代码要简短。...因此，并不能解决SMP多CPU引发的竞态 因此，单独使用中断屏蔽通常不是一种值得推荐的避免竞态的方法 2、Linux内核中断屏蔽的实现 2.1 Linux内核提供的API接口 关于中断屏蔽，Linux内核所提供的接口如下...3、总结 该篇文章，主要了解以下几点： 中断屏蔽的思想 中断屏蔽的好处与不足 Linux内核提供的中断屏蔽接口 中断屏蔽的基本汇编实现
中断上半部、下半部的概念 设备的中断会打断内核进程中的正常调度和运行，系统对更高吞吐率的追求势必要求中断服务程序尽量短小精悍。但是，这个良好的愿望往往与现实并不吻合。...在大多数真实的系统中，当中断到来时，要完成的工作往往并不会是短小的，它可能要进行较大量的耗时处理。 下图描述了Linux内核的中断处理机制。...在Linux内核中，用 softing_action结构体表征一个软中断，这个结构体包含软中断处理函数指针和传递给该函数的参数。...（仅包含与中断相关的部 分）。...根据I/O模型的不同，进程或许会被挂起直到I/O完成，此时内核调度器就会选择另一个进程去运行。I/O可以在进程之间产生并且调度过程通常和磁盘I/O的方式是相同。 3. 软中断仅与内核相联系。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
