首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

深入Linux并发同步

并发 是指在某一时间段内能够处理多个任务的能力,而 并行 是指同一时间能够处理多个任务的能力。并发和并行看起来很像,但实际上是有区别的,如下图(图片来源于网络): ?...上图的意思是,有两条在排队买咖啡的队列,并发只有一架咖啡机在处理,而并行就有两架的咖啡机在处理。咖啡机的数量越多,并行能力就越强。...可以把上面的两条队列看成两个进程,并发就是指只有单个CPU在处理,而并行就有两个CPU在处理。...原子操作 上面介绍过,并发有可能会打断当前执行的进程,然后替切换成其他进程执行。...在Linux内核中,比较常用的锁有:自旋锁、信号量、读写锁 等,下面介绍一下自旋锁和信号量的实现。 自旋锁 自旋锁 只能在多核CPU系统中,其核心原理是 原子操作,原理如下图: ?

1.5K31

Linux并发与同步

Linux进程基础中提到,Linux以进程为单位组织操作,Linux中的线程也都基于进程。尽管实现方式有异于其它的UNIX系统,但Linux的多线程在逻辑和使用上与真正的多线程并没有差别。...在Linux从程序到进程中,我们看到了一个程序在内存中的表示。这个程序的整个运行过程中,只有一个控制权的存在。...并发 多线程相当于一个并发(concunrrency)系统。并发系统一般同时执行多个任务。如果多个任务可以共享资源,特别是同时写入某个变量的时候,就需要解决同步的问题。...在并发情况下,指令执行的先后顺序由内核决定。同一个线程内部,指令按照先后顺序执行,但不同线程之间的指令很难说清除哪一个会先执行。...我们需要同步并发系统,这为程序员编程带来了难度。但是多线程系统可以很好的解决许多IO瓶颈的问题。比如我们监听网络端口。如果我们只有一个线程,那么我们必须监听,接收请求,处理,回复,再监听。

2K90

5.并发编程协程

一 引子   本节的主题是基于单线程来实现并发,即只用一个主线程(很明显可利用的cpu只有一个)情况下实现并发,为此我们需要先回顾下并发的本质:切换+保存状态   cpu正在运行一个任务,会在两种情况下切走去执行其他的任务...上面这个图,是协程真正的意义,虽然没有规避固有的I/O时间,但是我们使用这个时间来做别的事情了,一般在工作中我们都是进程+线程+协程的方式来实现并发,以达到最好的并发效果,如果是4核的cpu,一般起5个进程...,每个进程中20个线程(5倍cpu数量),每个线程可以起500个协程,大规模爬取页面的时候,等待网络延迟的时间的时候,我们就可以用协程去实现并发。...并发数量 = 5 * 20 * 500 = 50000个并发,这是一般一个4cpu的机器最大的并发数。...nginx在负载均衡的时候最大承载量就是5w个   单线程里的这20个任务的代码通常会既有计算操作又有阻塞操作,我们完全可以在执行任务1时遇到阻塞,就利用阻塞的时间去执行任务2。。。。

40710

并发linux ulimit优化

ulimit 是一种 linux 系统的内键功能,它具有一套参数集,用于为由它生成的 shell 进程及其子进程的资源使用设置限制。...-n Linux操作系统对一个进程可以打开最大文件描述符的数量。 -p 管道缓冲区的大小,以 Kbytes 为单位。 -s 线程栈大小,以 Kbytes 为单位。...在Linux下一切资源皆文件,普通文件是文件,磁盘打印机是文件,socket 当然也是文件。...系统默认设置成1024,但是这个数字对于服务器特别是大并发的远远是不够的,所以,我们需要结合实际情况修改成一个更大更合理的值。...fs.file-max = 6553560 重启生效 另外还有一个,/proc/sys/fs/file-nr,可以看到整个系统目前使用的文件句柄数量 ulimit -u 比如我们在模拟大规模http并发测试的时候

2.3K20

Linux & + wait 多进程并发编程

近期优化一个 shell 脚本,通过 shell 多进程并发极大提升了效率,抽象出核心代码记录一下 一些注意点,直接注释在代码中,有什么疑问可以评论沟通 :) #!...bash test.sh # 查看多进程,运行的过程 # watch -d -n 1 'ps aux | grep test.sh | grep -v grep' date pid=$$ # 多进程并发处理...for i in `seq 1 5` # 迭代 5 次,模拟 5并发子进程 do { echo 'hello ' >/dev/null # 业务逻辑 echo $?...{pid}"status"${i} # 处理结果保存在 /dev/shm 共享内存(即 tmpfs),基于内存的临时文件系统 sleep 3 } & # & 语句丢到后台,继续下个迭代,实现并发...done wait # 等待所有后台子进程结束 # 串行检测,多进程处理结果 flag="success" for i in `seq 1 5` do { if [[ `cat /dev/shm

24030

《C++并发编程实战》读书笔记(5):设计并发代码

今天继续更新《Effective C++》和《C++并发编程实战》的读书笔记,下面是已经更新过的内容: 《C++并发编程实战》读书笔记(1):并发、线程管控 《C++并发编程实战》读书笔记(2):并发操作的同步...《C++并发编程实战》读书笔记(3):内存模型和原子操作 《C++并发编程实战》读书笔记(4):设计并发数据结构 《Effective C++》读书笔记(1):让自己习惯C++ 《Effective...C++》读书笔记(2):构造/析构/赋值运算 《Effective C++》读书笔记(3):资源管理 《Effective C++》读书笔记(4):设计与声明 《Effective C++》读书笔记(5)...:实现 第8章 设计并发代码 在线程间切分任务的方法包括:1、先在线程间切分数据再处理。...5、过度任务切换和线程过饱和。 还有一些要额外考虑的因素:1、异常安全,某线程上有函数因异常而退出会导致整个程序被终结。

14620
领券