如果需要多个进程合作来完成某个任务，那个可能会存在资源争用或者其他一些意想不到的问题，这个时候，就需要通过实现进程同步来防止问题的产生。
实际上就是解释ucore的哲学家就餐怎么实现的，内核级别的信号量怎么实现的，之后给出自己关于用户级别的信号量的设计方案，比较两者异同。
进程：进程是指独立地址空间的指令序列进程的五种状态：新建，就绪，运行，睡眠，僵死进程间通信：是不同进
前言：非常早之前就接触过同步这个概念了，可是一直都非常模糊。没有深入地学习了解过，最近有时间了，就花时间研习了一下《linux内核标准教程》和《深入linux设备驱动程序内核机制》这两本书的相关章节。趁刚看完，就把相关的内容总结一下。
=============================================================================
进程与线程之间是有区别的，不过linux内核只提供了轻量进程的支持，未实现线程模型。Linux是一种“多进程单线程”的操作系统。Linux本身只有进程的概念，而其所谓的“线程”本质上在内核里仍然是进程。
什么是信号 软中断信号（signal，又简称为信号）用来通知进程发生了异步事件。在软件层次上是对中断机制的一种模拟，在原理上，一个进程收到一个信号与处理器收到一个中断请求可以说是一样的。信号是进程间通信机制中唯一的异步通信机制，一个进程不必通过任何操作来等待信号的到达，事实上，进程也不知道信号到底什么时候到达。进程之间可以互相通过系统调用kill发送软中断信号。内核也可以因为内部事件而给进程发送信号，通知进程发生了某个事件。信号机制除了基本通知功能外，还可以传递附加信息。 收到信号的进程对各种信号有不同的
大家好，又见面了，我是你们的朋友全栈君。 引子 在编译2.6内核的时候，你会在编译选项中看到[*] Enable futex support这一项，上网查，有的资料会告诉你”不选这个内核不一定能正确的运行使用glibc的程序”，那futex是什么？和glibc又有什么关系呢？ 1. 什么是Futex Futex 是Fast Userspace muTexes的缩写，由Hubertus Franke, Matthew Kirkwood, Ingo Molnar and Rusty Russell共同设计完成。几位都是linux领域的专家，其中可能Ingo Molnar大家更熟悉一些，毕竟是O(1)调度器和CFS的实现者。 Futex按英文翻译过来就是快速用户空间互斥体。其设计思想其实 不难理解，在传统的Unix系统中，System V IPC(inter process communication)，如 semaphores, msgqueues, sockets还有文件锁机制(flock())等进程间同步机制都是对一个内核对象操作来完成的，这个内核对象对要同步的进程都是可见的，其提供了共享 的状态信息和原子操作。当进程间要同步的时候必须要通过系统调用(如semop())在内核中完成。可是经研究发现，很多同步是无竞争的，即某个进程进入 互斥区，到再从某个互斥区出来这段时间，常常是没有进程也要进这个互斥区或者请求同一同步变量的。但是在这种情况下，这个进程也要陷入内核去看看有没有人 和它竞争，退出的时侯还要陷入内核去看看有没有进程等待在同一同步变量上。这些不必要的系统调用(或者说内核陷入)造成了大量的性能开销。为了解决这个问 题，Futex就应运而生，Futex是一种用户态和内核态混合的同步机制。首先，同步的进程间通过mmap共享一段内存，futex变量就位于这段共享 的内存中且操作是原子的，当进程尝试进入互斥区或者退出互斥区的时候，先去查看共享内存中的futex变量，如果没有竞争发生，则只修改futex,而不 用再执行系统调用了。当通过访问futex变量告诉进程有竞争发生，则还是得执行系统调用去完成相应的处理(wait 或者 wake up)。简单的说，futex就是通过在用户态的检查，（motivation）如果了解到没有竞争就不用陷入内核了，大大提高了low-contention时候的效率。 Linux从2.5.7开始支持Futex。 2. Futex系统调用 Futex是一种用户态和内核态混合机制，所以需要两个部分合作完成，linux上提供了sys_futex系统调用，对进程竞争情况下的同步处理提供支持。 其原型和系统调用号为 #include <linux/futex.h> #include <sys/time.h> int futex (int *uaddr, int op, int val, const struct timespec *timeout,int *uaddr2, int val3); #define __NR_futex 240 虽然参数有点长，其实常用的就是前面三个，后面的timeout大家都能理解，其他的也常被ignore。 uaddr就是用户态下共享内存的地址，里面存放的是一个对齐的整型计数器。 op存放着操作类型。定义的有5中，这里我简单的介绍一下两种，剩下的感兴趣的自己去man futex FUTEX_WAIT: 原子性的检查uaddr中计数器的值是否为val,如果是则让进程休眠，直到FUTEX_WAKE或者超时(time-out)。也就是把进程挂到uaddr相对应的等待队列上去。 FUTEX_WAKE: 最多唤醒val个等待在uaddr上进程。 可见FUTEX_WAIT和FUTEX_WAKE只是用来挂起或者唤醒进程，当然这部分工作也只能在内核态下完成。有些人尝试着直接使用futex系统调 用来实现进程同步，并寄希望获得futex的性能优势，这是有问题的。应该区分futex同步机制和futex系统调用。futex同步机制还包括用户态 下的操作，我们将在下节提到。 3. Futex同步机制 所有的futex同步操作都应该从用户空间开始，首先创建一个futex同步变量，也就是位于共享内存的一个整型计数器。 当 进程尝试持有锁或者要进入互斥区的时候，对futex执行”down”操作，即原子性的给futex同步变量减1。如果同步变量变为0，则没有竞争发生， 进程照常执行。如果同步变量是个负数，则意味着有竞争发生，需要调用futex系统调用的futex_wait操作休眠当前进程。 当进程释放锁或 者要离开互斥区的时候，对futex进行”up”操作，
综述 在上一篇介绍了linux驱动的调试方法，这一篇介绍一下在驱动编程中会遇到的并发和竟态以及如何处理并发和竞争。 首先什么是并发与竟态呢？并发(concurrency)指的是多个执行单元同时、并行被执行。而并发的执行单元对共享资源(硬件资源和软件上的全局、静态变量)的访问则容易导致竞态(race conditions)。可能导致并发和竟态的情况有： SMP（Symmetric Multi-Processing），对称多处理结构。SMP是一种紧耦合、共享存储的系统模型，它的特点是多个CPU使用共同的系统总线
UNIX/Linux 是多任务的操作系统，通过多个进程分别处理不同事务来实现，如果多个进程要进行协同工作或者争用同一个资源时，互相之间的通讯就很有必要了
管道可用于具有亲缘关系进程间的通信，有名管道克服了管道没有名字的限制，因此，除具有管道所具有的功能外，它还允许无亲缘关系进程间的通信；
---- Hello、Hello大家好，我是木荣，今天我们继续来聊一聊Linux中多线程编程中的重要知识点，详细谈谈多线程中同步和互斥机制。 同步和互斥 互斥：多线程中互斥是指多个线程访问同一资源时同时只允许一个线程对其进行访问，具有唯一性和排它性。但互斥无法限制访问者对资源的访问顺序，即访问是无序的； 同步：多线程同步是指在互斥的基础上（大多数情况），通过其它机制实现访问者对资源的有序访问。在大多数情况下，同步已经实现了互斥，特别是所有写入资源的情况必定是互斥的。少数情况是指可以允许多个访问者同时访问资源
信号是一种进程间通信机制，信号都有一个对应的默认处理行为，信号触发时，信号处理函数和进程正常的执行流程同时存在，这会给编程带来隐患，如果信号处理函数中调用了不可重入函数的话。信号同其他进程间通信技术（管道、共享内存）相比，传递的信息还是有限的，由于信息较少所以也方便管理，一般在系统管理中使用，比如终止或者恢复进程等。 ·
在多年前，linux还没有支持对称多处理器SMP的时候，避免并发数据访问相对简单。
我们使用过windows的都知道，当一个程序被卡死的时候不管怎样都没反应，这样我们就可以打开任务管理器直接强制性的结束这个进程，这个方法的实现就是和Linux上通过生成信号和捕获信号来实现相似的，运行过程中进程捕获到这些信号做出相应的操作使最终被终止。
1.管道（Pipe）及有名管道（namedpipe）:管道可用于具有亲缘关系进程间的通信,有名管道克服了管道没有名字的限制,因此,除具有管道所具有的功能外,它还允许无亲缘关系进程间的通信 2.信号（Signal）:信号是比较复杂的通信方式,用于通知接受进程有某种事件发生,除了用于进程间通信外,进程还可以发送信号给进程本身;linux除了支持Unix早期信号语义函数sigal外,还支持语义符合Posix.1标准的信号函数sigaction（实际上,该函数是基于BSD的,BSD为了实现可靠信号机制,又能够统一对外接口,用sigaction函数重新实现了signal函数） 3.消息队列:消息队列是消息的链接表,包括Posix消息队列systemV消息队列.有足够权限的进程可以向队列中添加消息,被赋予读权限的进程则可以读走队列中的消息.消息队列克服了信号承载信息量少,管道只能承载无格式字节流以及缓冲区大小受限等缺点. 共享内存:使得多个进程可以访问同一块内存空间,是最快的可用IPC形式.是针对其他通信机制运行效率较低而设计的.往往与其它通信机制,如信号量结合使用,来达到进程间的同步及互斥. 4.信号量（semaphore）:主要作为进程间以及同一进程不同线程之间的同步手段。 5.套接口（Socket）:更为一般的进程间通信机制,可用于不同机器之间的进程间通信.起初是由Unix系统的BSD分支开发出来的,但现在一般可以移植到其它类Unix系统上:Linux和SystemV的变种都支持套接字. PHP版本实现:https://www.jianshu.com/p/08bcf724196b
除了原子操作，中断屏蔽，自旋锁以及自旋锁的衍生锁之外，在Linux内核中还存在着一些其他同步互斥的手段。
在主流的Linux内核中包含了几乎所有现代的操作系统具有的同步机制，这些同步机制包括：原子操作、信号量（sem aphore）、读写信号量（rw_sem aphore）、spinlock、BKL(Big Kernel Lock)、rwlock、brlock（只包含在2.4内核中）、RCU （只包含在2.6内核中）和seqlock（只包含在2.6内核中）
Linux 内核中的同步机制：原子操作、信号量、读写信号量、自旋锁的API、大内核锁、读写锁、大读者锁、RCU和顺序锁。 1、介绍 在现代操作系统里，同一时间可能有多个内核执行流在执行，即使单CPU内核也需要一些同步机制来同步不同执行单元对共享的数据的访问。 主流的Linux内核中的同步机制包括： 原子操作 信号量（semaphore） 读写信号量（rw_semaphore） 自旋锁spinlock 大内核锁BKL(Big Kernel Lock) 读写锁rwlock、 brlock（只包含在2.4内核中
对于信号量我们并不陌生。信号量在计算机科学中是一个很容易理解的概念。本质上，信号量就是一个简单的整数，对其进行的操作称为PV操作。进入某段临界代码段就会调用相关信号量的P操作；如果信号量的值大于0，该值会减1，进程继续执行。相反，如果信号量的值等于0，该进程就会等待，直到有其它程序释放该信号量。释放信号量的过程就称为V操作，通过增加信号量的值，唤醒正在等待的进程。
因为现代操作系统是多处理器计算的架构，必然更容易遇到多个进程，多个线程访问共享数据的情况，如下图所示：
并发相关的缺陷是最容易制造的，也是最难找到的，为了响应现代硬件和应用程序的需求，Linux 内核已经发展到同时处理更多事情的时代。这种变革使得内核性能及伸缩性得到了相当大的提高，然而也极大提高了内核编程的复杂性。
* UNIX进程间通信方式: 包括管道(PIPE), 有名管道(FIFO), 和信号(Signal)
管道可用于具有亲缘关系进程间的通信，有名管道除了具有管道所具有的功能外，它还允许无亲缘关系进程间的通信。
最后发现当前脚本中exec的功能是执行完spark的启动脚本后，就退出shell,所以导致脚本后面的的两个命令都没有执行,结尾用echo输出也没有任何内容打印。
每一种技术的出现必然是因为某种需求。正因为人的本性是贪婪的，所以科技的创新才能日新月异。
对于基础类型操作，使用原子变量就可以做到线程安全，那原子操作是如何保证线程安全的呢？linux中的原子变量如下：
Linux互斥与同步 零、前言 一、Linux线程互斥 1、基本概念及引入 2、互斥量mutex介绍 3、互斥量的使用 4、互斥量原理 二、可重入/线程安全 1、基本概念 2、线程安全 3、重入函数 4、联系与区别 三、常见锁概念 四、Linux线程同步 1、基本概念 2、条件变量的使用 3、条件变量等待 4、条件变量使用规范 五、POSIX信号量 1、信号量概念及介绍 2、信号量的使用 零、前言 本章主要讲解学习Linux中对多线程的执行中的同步与互斥 一、Linux线程互斥 1、基本概念及引入 互
信号量的概念参见这里。 与消息队列和共享内存一样，信号量集也有自己的数据结构： struct semid_ds { struct ipc_perm sem_perm; /* Ownership a
几种进程间的通信方式：管道，FIFO，消息队列，他们的共同特点就是通过内核来进行通信（假设POSIX消息队列也是在内核中实现的，因为POSIX标准并没有限定它的实现方式）。向管道，FIFO，消息队列写入数据需要把数据从进程复制到内核，从这些IPC读取数据的时候又需要把数据从内核复制到进程。所以这种IPC方式往往需要2次在进程和内核之间进行数据的复制，即进程间的通信必须借助内核来传递。如下图所示：
信号量（semaphore）本质上是一个计数器，用于多进程对共享数据对象的读取，它和管道有所不同，它不以传送数据为主要目的，它主要是用来保护共享资源（信号量也属于临界资源），使得资源在一个时刻只有一个进程独享。 在信号量进行PV操作时都为原子操作（因为它需要保护临界资源）。
在前几期，我们提到英伟达为了将GPU Direct拉远到机箱外，收购了芯片厂商Mellanox。那么，Mellanox拥有什么样的黑科技，才能够加入NVidia引领的高性能计算战团呢？
生产者消费者模型（CP模型）是一种非常经典的设计，常常出现在各种 「操作系统」 书籍中，深受教师们的喜爱；这种模型在实际开发中还被广泛使用，因为它在多线程场景中是十分高效的！
线程（thread）技术早在60年代就被提出，但真正应用多线程到操作系统中去，是在80年代中期，solaris是这方面的佼佼者。传统的Unix也支持线程的概念，但是在一个进程（process）中只允许有一个线程，这样多线程就意味着多进程。现在，多线程技术已经被许多操作系统所支持，包括Windows/NT，当然，也包括Linux。 为什么有了进程的概念后，还要再引入线程呢？使用多线程到底有哪些好处？什么的系统应该选用多线程？我们首先必须回答这些问题。 使用多线程的理由之一是和进程相比，它是一种非常”节俭”的多任务操作方式。我们知道，在Linux系统下，启动一个新的进程必须分配给它独立的地址空间，建立众多的数据表来维护它的代码段、堆栈段和数据段，这是一种”昂贵”的多任务工作方式。而运行于一个进程中的多个线程，它们彼此之间使用相同的地址空间，共享大部分数据，启动一个线程所花费的空间远远小于启动一个进程所花费的空间，而且，线程间彼此切换所需的时间也远远小于进程间切换所需要的时间。据统计，总的说来，一个进程的开销大约是一个线程开销的30倍左右，当然，在具体的系统上，这个数据可能会有较大的区别。 使用多线程的理由之二是线程间方便的通信机制。对不同进程来说，它们具有独立的数据空间，要进行数据的传递只能通过通信的方式进行，这种方式不仅费时，而且很不方便。线程则不然，由于同一进程下的线程之间共享数据空间，所以一个线程的数据可以直接为其它线程所用，这不仅快捷，而且方便。当然，数据的共享也带来其他一些问题，有的变量不能同时被两个线程所修改，有的子程序中声明为static的数据更有可能给多线程程序带来灾难性的打击，这些正是编写多线程程序时最需要注意的地方。 除了以上所说的优点外，不和进程比较，多线程程序作为一种多任务、并发的工作方式，当然有以下的优点： 1) 提高应用程序响应。这对图形界面的程序尤其有意义，当一个操作耗时很长时，整个系统都会等待这个操作，此时程序不会响应键盘、鼠标、菜单的操作，而使用多线程技术，将耗时长的操作（time consuming）置于一个新的线程，可以避免这种尴尬的情况。 2) 使多CPU系统更加有效。操作系统会保证当线程数不大于CPU数目时，不同的线程运行于不同的CPU上。 3) 改善程序结构。一个既长又复杂的进程可以考虑分为多个线程，成为几个独立或半独立的运行部分，这样的程序会利于理解和修改。 下面我们先来尝试编写一个简单的多线程程序。
本文介绍了Linux信号量、POSIX信号量、Linux条件变量和Linux线程同步基本概念，并通过代码示例展示了如何使用这些技术进行线程同步。
线程 为什么使用线程? 使用fork创建进程以执行新的任务，该方式的代价很高——子进程将父进程的所有资源都复制一遍。 多个进程之间不会直接共享内存。 进程是系统分配资源的基本单位，线程是进程的基本执行
Semaphore概述 信号量：它是不同进程或者一个给定进程内部不同线程间同步的机制 二值信号量：值为0或者1，与互斥锁类似，资源可用时，值为1，不可用时，值为0 计数信号灯：值在0到n之间。用来统计资源，其值代表可用资源数 等待操作:等待信号灯的值变为大于0，然后将其减1；而释放操作则相反，用来唤醒等待资源的进程或者线程 System V 信号灯（进程同步）:是一个或者多个信号灯的一个集合。其中的每一个都是单独的计数信号灯。而Posix信号灯（线程同步）指的是单个计数信号灯 System V 信号灯由内核
函数原型:int semop(int semid, struct sembuf *sops, unsigned nsops);
学习了信号机制，我们就可以利用信号机制实现进程间同步了，比如我们希望一个进程处理完某件事情后再通知另外一个进程继续处理某件事情，这种需求实现的方法有很多，但是用信号实现是最方便的，这里我们举例用了一个踢皮球的小游戏充分展示了利用信号实现进程间同步的功能。程序执行后效果如下：
1、概念 futex： a sort of fast, user-space mutual exclusion primitive. Futex是一种用户态和内核态混合的同步机制。首先，同步的进程间通过mmap共享一段内存，futex变量就位于这段共享的内存中且操作是原子的，当进程尝试进入互斥区或者退出互斥区的时候，先去查看共享内存中的futex变量，如果没有竞争发生，则只修改futex,而不用再执行系统调用了。当通过访问futex变量告诉进程有竞争发生，则还是得执行系统调用去完成相应的处理(wait 或者 wake up)。简单的说，futex就是通过在用户态的检查，（motivation）如果了解到没有竞争就不用陷入内核了，大大提高了low-contention时候的效率。 https://lwn.net/Articles/172149/ https://lwn.net/Articles/360699/ 2、futex的由来 为什么要有futex，他解决什么问题？何时加入内核的？我们来看下 经研究发现，很多同步是无竞争的，即某个进程进入互斥区，到再从某个互斥区出来这段时间，常常是没有进程也要进这个互斥区或者请求同一同步变量的。但是在这种情况下，这个进程也要陷入内核去看看有没有人和它竞争，退出的时侯还要陷入内核去看看有没有进程等待在同一同步变量上。这些不必要的系统调用(或者说内核陷入)造成了大量的性能开销。为了解决这个问题，Futex就应运而生。 前面的概念已经说了，futex是一种用户态和内核态混合同步机制，为什么会是用户态+内核态，听起来有点复杂，由于我们应用程序很多场景下多线程都是非竞争的，也就是说多任务在同一时刻同时操作临界区的概率是比较小的，大多数情况是没有竞争的，在早期内核同步互斥操作必须要进入内核态，由内核来提供同步机制，这就导致在非竞争的情况下，互斥操作扔要通过系统调用进入内核态。 我们来看一下程序 程序1： pthread_mutex_t lock; int count = 0; void thread1() { while(1) { pthread_mutex_lock(&lock); /* do something */ count++; pthread_mutex_unlock(&lock); } } void thread2() { while(1) { sleep(60); pthread_mutex_lock(&lock); count = 0; pthread_mutex_unlock(&lock); } } pthread_create(&tid1, NULL, thread1, NULL); pthread_create(&tid2, NULL, thread1, NULL);
lab7 会依赖 lab1~lab6 ，我们需要把做的 lab1~lab6 的代码填到 lab7 中缺失的位置上面。练习 0 就是一个工具的利用。这里我使用的是 Linux 下的系统已预装好的 Meld Diff Viewer 工具。和 lab6 操作流程一样，我们只需要将已经完成的 lab1~lab6 与待完成的 lab7 (由于 lab7 是基于 lab1~lab6 基础上完成的，所以这里只需要导入 lab6 )分别导入进来，然后点击 compare 就行了。
程序在引入信号机制后会变的非常多元化，程序在某些情况下难以理解并且会出现一些非常奇特的问题，但这些问题经过总结无非是因为使用了不可重入函数、信号引起的时序竞态、信号处理函数与主程序的异步io过程中出现的问题。要避免这些问题，我们要先来复现和分析这些情况是如何出现的，才能针对性的去解决这些问题。
Django提供一种信号机制。其实就是观察者模式，又叫发布-订阅(Publish/Subscribe) 。当发生一些动作的时候，发出信号，然后监听了这个信号的函数就会执行。
实际项目中，我们希望修改了配置文件后，但又不想通过重启进程让它重新加载配置文件，可以使用signal的方式进行信号传递，或者我们希望通过信号控制，实现一种优雅的退出方式。Golang为我们提供了signal包，实现信号处理机制，允许Go 程序与传入的信号进行交互。
一直以来，都很想学学ReactiveCocoa这个神奇的技术，但是最后都由于各种原因搁置了。这次终于也认真的研究一番，把自己学习心得整理出来留个记录。 目录： 一、了解函数响应式编程 二、React
4.一般要阻塞，就算使用 O_NONBLOCK 标志位来达到不阻塞，也要一次性把管道写满才能不阻塞，但是无法知道管道可写空间是多少
信号量（sem）在操作系统中是一种实现系统中任务与任务、任务与中断间同步或者临界资源互斥保护的机制。在多任务系统中，各任务之间常需要同步或互斥，信号量就可以为用户提供这方面的支持。
网上看到一个很有意思的美团面试题：为什么线程崩溃崩溃不会导致 JVM 崩溃，这个问题我看了不少回答，但发现都没答到根上，所以决定答一答，相信大家看完肯定会有收获，本文分以下几节来探讨
1.假设p1先执行，执行到p(s), s-=1, 此时s=-1<0,进程阻塞，主动放弃cpu使用权，cpu调度执行p2,执行p2的具体任务，然后进行v(s),，s+=1，s=0，p2执行完毕。cpu调度继续执行p1，此时s=0，p1被唤醒，因此就达到了先执行p2后执行p1的同步关系。 2.假设p2先执行，首先执行具体的代码，然后进行v(s)，s+=1，s=1>0，然后p2执行完毕。cpu调度执行p1，p1首先p(s)，s-=1，s=0，然后执行具体的代码。同样也达到了先执行p2后执行p1的同步关系。 二.Linux下信号量实现同步，线程2先执行输出"hello"，线程1后执行输出"world\n"的功能
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
