专栏首页音视频开发技术Linux的进程线程及调度

Linux的进程线程及调度

本文为宋宝华《Linux的进程、线程以及调度》学习笔记。

1 进程概念

1.1 进程与线程的定义

操作系统中的经典定义: 进程:资源分配单位。 线程:调度单位。 操作系统中用PCB(Process Control Block, 进程控制块)来描述进程。Linux中的PCB是task_struct结构体。

1.2 进程生命周期

1.2.1 进程状态

R, TASK_RUNNING:就绪态或者运行态,进程就绪可以运行,但是不一定正在占有CPU S, TASK_INTERRUPTIBLE:浅度睡眠,等待资源,可以响应信号,一般是进程主动sleep进入的状态 D, TASK_UNINTERRUPTIBLE:深度睡眠,等待资源,不响应信号,典型场景是进程获取信号量阻塞 Z, TASK_ZOMBIE:僵尸态,进程已退出或者结束,但是父进程还不知道,没有回收时的状态 T, TASK_STOPED:停止,调试状态,收到SIGSTOP信号进程挂起

1.2.2 进程创建与消亡相关API

1) system() 通过调用shell启动一个新进程

2) exec() 以替换当前进程映像的方式启动一个新进程

3) fork() 以复制当前进程映像的方式启动一个新进程,子进程中fork()返回0,父进程fork()返回为子进程ID。

4) wait() 父进程挂起,等待子进程结束。

5) 孤儿进程与僵尸进程 孤儿进程:一个父进程退出,而它的一个或多个子进程还在运行,那么那些子进程将成为孤儿进程。孤儿进程将被init进程(进程号为1)所收养,并由init进程对它们完成状态收集工作。孤儿进程不会浪费资源。 僵尸进程:一个进程使用fork创建子进程,如果子进程退出,而父进程并没有调用wait或waitpid获取子进程的状态信息,那么子进程的进程描述符仍然保存在系统中。这种进程称之为僵尸进程。僵尸进程浪费系统资源(进程描述符task_struct存在,进程占用的资源被回收,不存在内存泄漏,实际上基本不浪费系统资源,参宋宝华的课程)。 避免僵尸进程: 僵尸进程产生原因: 1、子进程结束后向父进程发出SIGCHLD信号,父进程默认忽略了它; 2、父进程没有调用wait()或waitpid()函数来等待子进程的结束。 避免僵尸进程方法: 1、父进程调用wait()或者waitpid()等待子进程结束,这样处理父进程一般会阻塞在wait处而不能处理其他事情。 2、捕捉SIGCHLD信号,并在信号处理函数里面调用wait函数,这样处理可避免1中描述的问题。 3、fork两次,父进程创建儿子进程,儿子进程再创建一个孙子进程,然后儿子进程自杀,孙子进程成为孤儿进程被init进程收养。

1.3 进程间通信

1) 信号 信号这里指的是事件。比如按CTRL-C组合键会发送SIGINT信号,进程里可以捕捉到这个信号进行相应处理。

2) 管道PIPE 一切皆文件,管道的操作也是类似文件的操作。 popen()函数类似于fopen()函数,返回的是对象指针。 pipe()函数类似于open()函数,返回的是对象描述符。 管道是在亲属进程(同一父进程创建出的进程)之间进行数据传输的。

3) 命名管道FIFO 命名管道可用于在无亲属关系之前是进程间通信。 mkfifo()/mknod()将在文件系统中创建一个有路径和名称的文件。把这个管道文件当作普通文件用就行了,就可以实现进程间通信。

4) 信号量 信号量、消息队列、共享内存是System V IPC机制。 临界区:任何时刻只能有一个进程进行独占式访问的代码区。 信号量:大部分进程间通信只需要二进制信号号,因此这里只讨论二进制信号量。进入临界区前,执行P操作(若信号量大于1则减1并进入临界区,否则挂起本进程);退出临界区时,执行V操作(若有进程在等待挂起则唤醒之,否则信号量加1)。 互斥量:互斥信号量是二进制信号量的一个子集。

5) 消息队列 与命令管道类似,但不必考虑打开/关闭管道的复杂操作。消息队列独立于进程而存在。

6) 共享内存 需要通信的进程间共享一块内存进行数据交换。

2 进程线程的实现本质

Linux调度器实际是识别task_struct进行调度。 无论进程线程,底层都对应一个task_struct,进程和线程的区别是共享资源的多少,两个进程间完全不共享资源,两个线程间共享所有资源。

2.1 fork()

执行fork后,父进程的task_struck对拷给子进程,父子进程最初资源完全一样,但是两份不同拷贝,因此任何改动都造成二者的分裂。

父子进程对内存资源(mm)的管理使用了COW(Copy-On-Write, 写时拷贝)技术: 1) 在fork之前,一片内存区对应一份物理地址和一份虚拟地址,内存区的权限的RW; 2) 在fork之后,父子进程看到的内存区虚拟地址相同,物理地址也相同,父子进程使用的其实是同一片物理内存,未发生内存拷贝,操作系统会将此内存区权限改为RO; 3) 父或子进程对内存区执行写操作将触发PageFault,操作系统此时会将内存区拷贝一份,父子进程看到的虚拟地址仍然一样,但是物理地址已经不则。各进程虚拟地址到物理地址的映射由MMU(Memory Management Unit, 内存管理单元)管理。

fork运行在有MMU的CPU上。

2.2 vfork()

对于无MMU的CPU,无法应用COW,无法支持fork。 无MMU的CPU使用vfork创建进程,父进程将一直阻塞直到子进程exit或exec。 vfork和fork的本质区别是,vfork中的父子进程共用同一片内存区。

2.3 pthread_create()

Linux线程本质上就是进程,只是线程间共享所有资源。如上图所示。 每个线程都有自己的task_struct,因为每个线程可被CPU调度。多线程间又共享同一进程资源。这两点刚好满足线程的定义。 Linux就是这样用进程实现了线程,所以线程又称为轻量级进程。

2.4 PID和TGID

POSIX要求,同一进程的多个线程获取进程ID是得到的是唯一ID值。

Linux同一进程的多线程,在内核视角实际上每个线程都有一个PID,但在用户空间需要getpid返回唯一值,Linux使用了一个小技巧,引入了TGID的概念,getpid()返回的的TGID值。

进程视角的top命令: 不带参数的top命令(默认情况),显示的是进程对单核CPU的利用率,例如,一个进程内有三个线程,主线程创建了线程1和线程2,线程1和线程2都调用一个while(1),则对双核CPU而言,线程1和线程2各用一个核,占用率都是100%,则top命令看到的进程CPU利用率是200%,进程ID是主线程的PID(也是TGID)。

线程视角的top命令: top –H命令从线程视角显示CPU占用率,上例中,将会显示,线程1占用率100%,线程2占用率100%。 说线程的PID,是指用户空间的进程ID,值就是TGID;当特别指出,线程在内核空间的PID,则指线程在内核中task_struct里特有的PID。

3 进程调度

3.1 实时进程调度

SCHED_FIFO:不同优先级按照优先级高的先跑到睡眠,优先级低的再跑;同等优先级先进先出。 SCHED_RR:不同优先级按照优先级高的先跑到睡眠,优先级低的再跑;同等优先级轮转。 内核RT补丁: /proc/sys/kernel/sched_rt_period_us /proc/sys/kernel/sched_rt_runtime_us 在period的时间里RT最多只能跑runtime的时间

3.2 普通进程调度

SCHED_OTHER:

3.2.1 动态优先级(早期2.6)

进程有IO消耗性和CPU消耗型两种衡量参数。 优先级高的意味着:1) 得到更多的时间片,2) 醒时能抢占优先级低的。时间片轮转。 内核存储静态优先级,用户可通过nice来修改静态优先级。 进程的动态优先级则是根据静态优先级实时计算出来的,调度算法奖励IO消耗性(调高优先级增加实时性)、处罚CPU消耗型(调低优先级减小实时性)

3.2.2 CFS:完全公平调度(新内核)

红黑树,左边节点小于右边节点的值 运行到目前为止vruntime最小的进程 同时考虑了CPU/IO和nice 总是找vruntime最小的线程调度。 vruntime = pruntime/weight × 1024; vruntime是虚拟运行时间,pruntime是物理运行时间,weight权重由nice值决定(nice越低权重越高),则运行时间少、nice值低的的线程vruntime小,将得到优先调度。这是一个随运行而动态变化的过程。

工具chrt和renice:

设置SCHED_FIFO和50 RT优先级
# chrt -f -a -p 50 10576
设置nice
# renice -n -5 -g 9394
# nice -n 5 ./a.out

4 多核负载均衡

5 参考资料

[1] 宋宝华,Linux进程、线程和调度 [2] https://blog.csdn.net/sdkdlwk/article/details/65938204 [3] https://blog.csdn.net/kklvsports/article/details/52268085 [4] https://blog.csdn.net/qq_20218109/article/details/52078076 [5] https://www.cnblogs.com/yuxingfirst/p/3165407.html

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • FFmpeg封装格式处理3-复用例程

    复用(mux),是multiplex的缩写,表示将多路流(视频、音频、字幕等)混入一路输出中(普通文件、流等)。

    用户4940323
  • FFmpeg流媒体处理-收流与推流

    本文为作者原创,转载请注明出处:https://www.cnblogs.com/leisure_chn/p/10623968.html

    用户4940323
  • 交叉编译问题记录-嵌入式环境下 GDB 的使用方法

    本文为作者原创,转载请注明出处:https://www.cnblogs.com/leisure_chn/p/10693247.html

    用户4940323
  • 关于Android进程,你需要知道的

    导语 Android系统是怎样杀进程的,native进程是怎么管理的?本文为你解密 一、Android进程管理 Android是基于组件工作的,...

    MelonTeam
  • 如何创建多进程程序?(文末福利)

    在《对进程和线程的一些总结》已经介绍了进程和线程的区别,但是在C/C++中如何创建进程呢?或者说如何编写多进程的程序呢?

    编程珠玑
  • linux系统编程之进程(四):wait/waitpid函数与僵尸进程、fork 2 times

    一、僵尸进程 当子进程退出的时候,内核会向父进程发送SIGCHLD信号,子进程的退出是个异步事件(子进程可以在父进程运行的任何时刻终止) 子进程退出时,内核将...

    s1mba
  • 2.3 进程同步

    在多道程序共同执行的条件下,进程与进程是并发执行的,不同进程之间存在着不同的相互制约的关系。为了协调进程之间的相互制约的关系,引入了进程同步的概念。

    week
  • 打造一款属于自己的远程控制软件(二)

    前一篇文章介绍了软件的整体架构,接下来对被控端进行详细讲解,主要介绍被控端各个功能模块的关键技术以及开发过程中遇到的坑,希望对各位读者有借鉴作用。 被控端工作流...

    FB客服
  • python3进程和线程

    时间片轮转: 给每个进程分配一个时间片, 如果进程在时间片内执行完就直接执行下一个进程, 如果没执行完, 进程释放CPU给下一个进程 优先级队列: 在优先级队列...

    py3study
  • 操作系统 进程线程模型 进程控制块及进程控制

    调度信息供进程使用时使用,描述了进程当前所处的状况,他包括进程名、存储信息、进程号、优先级、当前状态、资源清单、“家族”关系、消息队列指针、进程队列指针和当前打...

    Debug客栈

扫码关注云+社区

领取腾讯云代金券