文章目录 简介 执行线程 两种虚拟机制 进程描述符与任务队列 PID 进程状态转化图 进程级联 进程创建过程 写时拷贝 fork() 线程在Linux中的实现 clone参数标志 内核线程 进程终结 删除进程描述符...为了与老版本的Unix和Linux兼容、PID的最大值默认设置为32767 (short int短整型的最大值)。内核把每个进程的PID存放在它们各自的进程描述符中。...进程状态转化图 进程级联 Linux进程之间存在一个明显的继承关系。所有的进程都是PID为1的init进程的后代。内核在系统启动的最后阶段启动init进程。...从内核的角度来说，它并没有线程这个概念。Linux把所有的线程都当作进程来实现。内核并没有准备特别的调度算法或是定义特别的数据结构来表征线程。相反，线程仅仅被视为一个使用某些共享资源的进程。...它们只在内核空间运行，从来不切换到用户空间。内核进程和普通进程一样，可以被调度，也可以被抢占。 Linux确实会把一些任务交给内核线程去做，像pdflush和ksofirqd这 些任务就是明显的例子。
文章目录 前言 I/O消耗型与处理器消耗性 进程优先级 时间片 进程抢占 前言 调度程序没有太复杂的原理。最大限度地利用处理器时间的原则是，只要有可以执行的进程，那么就总会有进程正在执行。...Linux 提供了抢占式的多任务模式。在此模式下，由调度程序来决定什么时候停止一个进程的运行以便其他进程能够得到执行机会。这个强制的挂起动作就叫抢占(preemption)。...在包括Linux在内的某些系统中，优先级高的进程使用的时间片也较长。调度程序总是选择时间片未用尽面且优先级最高的进程运行。用户和系统都可以通过设置进程的优先级来影响系统的调度。...时间片过长会导致系统对交互的响应表现欠佳，让人觉得系统无法并发执行应用程序。...进程抢占 像前面所说的，Linux 系统是抢占式的。当-个进程进入TASK_RUNNING状态，内核会检查它的优先级是否高于当前正在执行的进程。
在Linux内核中，进程又称为任务（task），进程的虚拟地址空间可以分为用户虚拟地址空间和内核虚拟地址空间，所有进程共享内核虚拟地址空间，又各自拥有独立的用户虚拟地址空间。...C语言标准库进程和Linux的内核进程称呼有所区别，对应关系如下： C标准库...系统中每个进程能够分时复用CPU时间片，通过有效的进程调度策略实现多任务并发/并行执行。...图片 Linux内核提供了一组宏值来表示进程的状态： TASK_RUNNING（可运行状态或就绪状态）；Linux并没有严格区分运行态或就绪态，统一为TASK_RUNNING...限期进程是指必须在一定时间内要完成的进程。其余的非限期进程的实时进程也是需要在一定时间内完成，但不是那么急需。 Linux不支持硬实时处理，至少在主流的内核中不支持。
进程的分裂跟细胞的分裂几乎一致，一个进程通过fork函数来自我复制，新出现的子进程拥有跟父进程几乎一样的外表和内在。...要着重注意的几点： 1，fork( )会使得进程本身被复制（想想细胞分裂），因此被创建出来的子进程和父进程几乎是一模一样的，说“几乎”意味着子进程并不是100%为一份父进程的复印件，他们的具体关系如下：...而以下属性，父子进程是不一样的： A) 进程号PID。PID是身份证号码，哪怕亲如父子，也要区分开。 B) 记录锁。父进程对某文件加了把锁，子进程不会继承这把锁。 C) 挂起的信号。...3，父子进程是相互平等的：他们的执行次序是随机的，或者说他们是并发运行的，除非使用特殊机制来同步他们，否则你不能判断他们的运行究竟谁先谁后。...4，父子进程是相互独立的：由于子进程完整地复制了父进程的内存空间，因此从内存空间的角度看他们是相互独立、互不影响的。
：创建旧进程的副本，比如进程描述符和子进程运行需要的其它内核数据结构。...在未来的某个进程切换时间点上，调度器把子进程描述符中的thread成员中的值加载到CPU上，赋予子进程CPU的使用权。...esp寄存器加载thread.esp的值（也就是获取了子进程的内核态栈的地址），eip寄存器加载ret_from_fork()函数的返回地址（子进程执行的下一条指令）。...基本上，新进程的执行恰恰在fork()、vfork()或clone()系统调用结束之时。该系统调用的返回值保存在寄存器eax中：对于子进程是0，对于父进程来说就是子进程的PID。...创建完进程的4要素之后，把新进程的最开始执行的指令设置到eip寄存器即可。然后就是等待内核调度。当轮到新进程使用CPU的时候，就从eip寄存器开始执行。
会话和进程组 进程组：进程组是多个进程的集合, 接收同一个终端的各类信号信息。进程调用setpgid(pid, pgid)可以加入一个现有的进程组或者创建一个新的进程组。...进程组长（头部进程）：每个进程组都有一个进程组ID, 每个进程组都有一个组长(头部进程), 在大部分系统中, 进程组ID一般就是头部进程ID。获得一个进程所在的进程组ID用getpgid(pid)。...子进程继承了父进程的进程组ID，不过它有自己的进程ID，这就保证了子进程不是一个进程组的头部进程 Step.3 调用setsid( )，给守护进程创建一个新的进程组和会话，使当前进程成为新进程组的头部进程...1); fprintf(fp, "%d", i); i++; } fclose(fp); return (0); } 运行结果： 常用的Linux...查询被进程ID对应的进程打开的文件：lsof -p 1000 查看进程内存情况：pmap PID 样例： 参考阅读： 《UNIX环境高级编程第3版》 《Linux C++ 通信架构实战》 《UNIX
这一篇有区别于上一篇的“信号量”机制哈 平台的手机版对排版的支持有限，建议用电脑打开此文章 一，Linux信号的概念： 信号是 Linux 进程间通信的最古老的方式。...在Linux终端上敲“Ctrl+c”，就产生一个“中断”，相当于产生一个信号，接着就会处理这个“中断任务”（默认的处理方式为结束掉当前进程） 2.信号可以直接进行用户空间进程和内核空间进程的交互，内核进程可以利用它来通知用户空间进程发生了哪些系统事件...SIGCHLD， Linux中当子进程结束时，子进程并未被完全销毁，因为父进程还要用它的信息。...这些情况通常由硬件检测到，并通知内核，然后内核产生适当的信号发送给相应的进程。 c) 软件异常将产生信号。 当检测到某种软件条件已发生(如：定时器alarm)，并将其通知有关进程时，产生信号。...Linux中可能有不同的行为。
本文是《Linux内核设计与实现》第四章的阅读笔记，代码则是摘自最新的4.6版本linux源码(github)，转载请注明出处。...多任务 并发和并行 Linux作为一个多任务操作系统，必须支持程序的并发执行。 分类 非抢占式多任务 除非任务自己结束，否则将会一直执行。...简单来说有以下两种情况会发生用户抢占： 从系统调用返回用户空间 从中断处理程序返回用户空间 内核抢占 Linux和其他大部分的Unix变体操作系统不同的是，它支持完整的内核抢占。...在Linux中，只要重新调度是安全的，内核就可以在任何时间抢占正在执行的任务，这个安全是指，只要没有持有锁，就可以进行抢占。...为了支持内核抢占，Linux做出了如下的变动： 为每个进程的引入了计数器，用于记录持有锁的数量，当它为0的时候就意味着这个进程是可以被抢占的。
进程优先级 Linux内核中进程优先级一般分为动态优先级和静态优先级，动态优先级是内核根据进程的nice值、IO密集行为或者计算密集行为以及等待时间等因素，设置给普通的进程；静态优先级是用户态应用设置给实时进程...任何普通进程的nice值在-20~19之间，0是默认，较高的nice值表示较低的进程优先级；实时进程的优先级范围是在0~99 从内核的优先级角度，所有的进程都处于0~139，其中的0~99是分配实时进程...实际调度器 调度器通用元素 CFS(完全公平)调度器 Linux内核中所有动态优先级的进程都是有CFS调度器处理，通常Linux内核中大部分都是非实时进程，所以CFS进程调度器也是最繁忙的调度器。...在计算进程优先级的时候，CFS不仅依赖于进程的nice值，同时还要考虑进程的负载，内核中维护了进程的负载权重数组(prio_to_weight),每个nice值对应一个负载权重；对于进程来说,nice值减一...内核中支持实时进程，它们是由实时调度器来进行调度。
没有废话，内存管理暂时告一段落，正式进入进程管理的内容。 内核通过 task_struct 描述进程 用命令 pstree 可以让内核以树形的结构把进程之间的关系列出来，如下图： ?...这是进程在内核中的结构形式，那么内核是如何来以树形结构管理描述这些进程的呢？用来描述进程的数据结构，可以理解为进程的属性。...task_struct 结构体内容太多，这里只列出部分成员变量，感兴趣的读者可以去源码 include/linux/sched.h头文件查看。...Linux中的 ready 和 running 对应的都是TASK_RUNNING标志位，ready 表示进程正处在队列中，尚未被调度；running 则表示进程正在CPU上运行； ?...void *stack 指向内核栈的指针，内核通过 dup_task_struct 为每个进程都分配内核栈空间，并记录在此。
1 进程切换 进程切换，又称为任务切换、上下文切换、或者任务调度。本文就研究Linux内核的进程切换。我们首先理解几个概念。...硬件上下文是进程执行上下文的一个子集，进程执行上下文包含进程执行所需要的所有信息。在Linux中，进程的硬件上下文一部分存储在进程描述符中，而其它部分存储在内核态的栈中。...但是，优化硬件上下文的切换是不可能的，因为都是由CPU完成的，而Linux是使用软件代替硬件上下文切换的，所以有优化的空间，以便提高执行时间。 进程切换只能发生在内核态。...在Linux的设计中，每个CPU就只有一个TSS，所以，Busy位总是设为1。换句话说，Linux中Type域一般为11。...2 执行进程切换 进程切换的时机： 中断处理程序中直接调用schedule()函数，实现进程调度。 内核线程，是一个特殊的进程，只有内核态没有用户态。
单进程最大打开文件数限制 一般的发行版，限制单进程最大可以打开1024个文件，这是远远不能满足高并发需求的，调整过程如下： ulimit –n 65535 # 将root启动的单一进程的最大可以打开的文件数设置为...完成上述步骤后重启系统，一般情况下就可以将Linux系统对指定用户的单一进程允许同时打开的最大文件数限制设为指定的数值。...而如果使用epoll或AIO，则没有上述问题(早期Linux内核的AIO技术实现是通过在内核中为每个I/O请求创建一个线程来实现的，这种实现机制在高并发TCP连接的情形下使用其实也有严重的性能问题。...但在最新的Linux内核中，AIO的实现已经得到改进)。...综上所述，在开发支持高并发TCP连接的Linux应用程序时，应尽量使用epoll或AIO技术来实现并发的TCP连接上的I/O控制，这将为提升程序对高并发TCP连接的支持提供有效的I/O保证。
文章目录 一、进程特殊形式 ( 内核线程 | 用户线程 ) 二、C 标准库与 Linux 内核中进程相关概念 三、Linux 查看进程命令及输出字段解析 一、进程特殊形式 ( 内核线程 | 用户线程 )...---- 普通的进程 , 包含 内核虚拟地址空间 和 用户虚拟地址空间 , 其中 内核虚拟地址空间 所有进程共享 , 用户虚拟地址空间 由进程独立拥有 ; 除了 普通进程 外 , 进程 还有 2...又称为 线程 ; 线程组 : 共享 相同 用户虚拟地址空间 的线程 , 组成了一个 线程组 , 二、C 标准库与 Linux 内核中进程相关概念 ---- C 语言中 标准库 提供的 进程 , 与 Linux...内核 中的 进程 这两个概念是不同的 ; C 标准库 中的 包含多个线程 的进程 , 在 Linux 内核中 称为 " 线程组 " ; C 标准库 中的 只有一个线程 的进程 , 在 Linux 内核中...称为 " 任务 / 进程 " ; C 标准库 中的 线程 , 在 Linux 内核中 称为 " 共享 用户虚拟地址空间 的 进程 " 三、Linux 查看进程命令及输出字段解析 ---- 在 Ubuntu
简介 Linux内核中进程调度的核心是选择哪个任务在哪个CPU上运行，解决各个进程之间能够公平的共享CPU资源，同时需要确认进程需要占用CPU时间，确定下一个需要运行的进程。...负载均衡成本开销 首先需要了解下CPU核心之间的数据流通信原理，这样就能大概知道CPU中的Core之间的进程迁移之间的开销 由于NUMA是以层次关系呈现，因此在执行进程的负载均衡也会呈现不同的成本开销...，进程迁移到新的Core上缺失L1 Cache数据，这就需要进程的状态数据需要在CPU Core之间进行通信获取这些数据，根据上图CPU的通信模式可以了解，成本代价是蛮大的。...内核采用调度域解决现代多CPU多核的问题，调度域是具有相同属性和调度策略的处理器集合，任务进程可以在它们内部按照某种策略进行调度迁移。...目前内核进程调度按照如下的原则进行,这些原则都是按照cpu架构以及通信路径来进行的。
平时写过多进程多线程程序，比如使用linux的系统调用fork创建子进程和glibc中的nptl包里的pthread_create创建线程，甚至在java里使用Thread类创建线程等，虽然使用问题不大...这次在自己写操作系统的时候，看了一遍linux内核的进程创建过程。算是有了比较深入的理解。 进程概念：进程是对正在运行程序的一个抽象。...再看其中三个比较重要的结构： struct thread_info 字面意思是线程信息，其实主要是内核栈的信息，每个进程都有自己的内核栈和用户栈，还可以设置中断栈，其中和进程上下文切换相关的主要是内核栈...，复制给新进程，然后设置新进程的内核栈。.../将父进程的内核栈帧结构复制给子进程内核栈帧 childregs->eax = 0; //调用完毕后创建进程完毕后子进程返回值 childregs->esp = esp; //子进程的用户栈顶指针
再具体实现中，如何选择将进程迁移到的目标CPU，除了考虑各个CPU的负载平衡，还需要将Cache利用纳入权衡因素。同时，对于进程A唤醒进程B这个模型，还做了特殊的处理。...SMP组织 为了更好地利用Cache，内核将CPU(如果开启了超线程，那么以逻辑CPU为单位，否则以物理CPU核心为单位)组织成了调度域。...某个CPU上无可运行进程，__schedule()准备调度idle进程前，会尝试从其它CPU上pull一批进程过来。...this_rq->max_idle_balance_cost) this_rq->max_idle_balance_cost = curr_cost; } 其它需要用到SMP负载均衡模型的时机 内核运行中...fork出子进程，子进程第一次被调度运 唤醒进程时 当A进程唤醒B进程时，假设都是普通进程，那么将会调用try_to_wake_up()->select_task_rq()->select_task_rq_fair
基本介绍 Linux的进程调度器是内核中最重要的核心组件，它决定了一个进程合适获取CPU的时间以及占用CPU的时间。...Linux进程调度器采用类似于vfs的设计采用简单的两层结构模式，第一层是通用调度器，定义作为进程调度器的入口抽象层；第二层是调度器的具体实现，根据调度策略实现进程的调度的器的具体实现。...dl_sched_class)、实时调度器(struct sched_class rt_sched_class)、完全公平调度器(struct sched_class fair_sched_class) 内核中运行队列包含了所有的进程...内核中进程运行队列是通过struct rq来定义 // 省略大部分字段，着重描述下运行队列中的一些字段 struct rq { // 每个CPU的运行队列的锁 raw_spinlock_t lock...; unsigned long next_balance; }; 进程调度实现 进程调度是调用进程第一层的通用调度器，内核是从__schedule()函数开始，该函数是挑选下一个最佳的可运行的进程任务
基于这个目的，Linux内核在每个进程的进程描述符中还应该包含资源限制的数据结构，Linux使用了一个数组成员，该数组成员的包含关系为current->signal->rlim，数组的定义如下所示： struct...当进程被中止时，内核会检查这个值，然后进程的当前目录下创建一个core文件。（最常见的情况就是，我们的程序有bug而崩溃的时候，会在该目录下产生一个core文件。）...RLIMIT_CPU 进程占用CPU的最大时间，单位是秒（S）。如果超过这个时间，内核会发送一个SIGXCPU信号，如果进程还是没有终止，再发送SIGKILL信号。...内核在扩大进程的堆空间之前，检查这个值。 RLIMIT_FSIZE 最大文件大小，单位是字节。如果进程尝试扩大文件超过这个值，内核发送一个SIGXFSZ信号。...当用户登陆到系统时，内核创建一个超级用户拥有的进程，通过它调用setrlimit()减小rlim_max和rlim_cur的值；然后执行login shell，成为用户态进程（实际就是进程init）。
近期优化一个 shell 脚本，通过 shell 多进程并发极大提升了效率，抽象出核心代码记录一下 一些注意点，直接注释在代码中，有什么疑问可以评论沟通 :) #!.../bin/bash # 运行方式 # bash test.sh # 查看多进程，运行的过程 # watch -d -n 1 'ps aux | grep test.sh | grep -v grep...' date pid=$$ # 多进程并发处理 for i in `seq 1 5` # 迭代 5 次，模拟 5 个并发子进程 do { echo 'hello ' >/dev/null #...{pid}"status"${i} # 处理结果保存在 /dev/shm 共享内存（即 tmpfs），基于内存的临时文件系统 sleep 3 } & # & 语句丢到后台，继续下个迭代，实现并发...done wait # 等待所有后台子进程结束 # 串行检测，多进程处理结果 flag="success" for i in `seq 1 5` do { if [[ `cat /dev/shm
1、虚拟处理器、虚拟内存：让进程感觉自己拥有所有 image.png 2、进程上限，cat /proc/sys/kernel/pid_max 3、进程的五种状态 image.png set_task_state...(task,state); 4、每个进程都有一个父进程 image.png 5、进程的创建：fork() exec() image.png 6、写时拷贝COW image.png 7、线程和进程的区别不大...image.png 8、孤儿进程，父进程先关掉，再设置一个父进程，如果没有，设置init image.png 9、2.6内核后进程调度算法CFS:完全公平调度算法 10、进程分为IO消耗型和处理器消耗型...11、ps -eo state,uid,pid,ppid,rtprio,time,comm -不是实时进程 12、CFS？？...image.png image.png 13、与调度相关的系统调用 image.png 14、系统调用在用户空间进程和硬件设备之间添加了一个中间层 image.png 15、中断 image.png
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
