并发篇-python并发通信

使用多线程实现并发服务器与使用多进程实现并发服务器

python支持的并发分为多线程并发和多进程并发还有异步IO。

多进程并发即运行多个独立的程序,优势在于并发处理的任务都由操作系统管理,不足之处在于程序与各进程之间的通信和数据共享不方便;

多线程并发则由程序员管理并发处理的任务,这种并发方式可以方便地在线程间共享数据(前提是不能互斥)。

对于计算密集型程序,多进程并发优于多线程并发。

计算密集型程序指的程序的运行时间大部分消耗在CPU的运算处理过程,而硬盘和内存的读写消耗的时间很短;

相对地,IO密集型程序指的则是程序的运行时间大部分消耗在硬盘和内存的读写上,CPU的运算时间很短。

对于多进程并发,python支持两种实现方式

一种是采用进程安全的数据结构:multiprocessing.JoinableQueue,这种数据结构自己管理“加锁”的过程,程序员无需担心“死锁”的问题;

python还提供了一种更为优雅而高级的实现方式:采用进程池。

独立的进程内存空间与共享的服务器进程空间

>>>互不干扰的独立内存空间

# 定义一个全局变量

>>>yuntuan = 1

# 声明全局

>>>global yuntuan

# 修改全局变量的值

>>>a = 2

# 等待子进程结束

>>>p.join()

不能修改变量,深层次问题是,这个进程与那个进程完全失去了联系。

进程间通信的解决方案

看到辣么多的箭头,是不是感觉头晕呀~

1. 管理器负责与公共进程通信

2. 代理负责操作共享的空间

Manger对象的基本使用

# 创建一个服务器进程,并返回与其通信的管理器

>>>mgr = Manager()

# 在服务器进程中开辟一个列表空间,并在主进程中返回一个代理

>>>list_proxy = mgr.list()

# 初始的时候是一个空列表

>>>print(list_proxy)

# 当子进程执行完以后就不是了

>>>print("云团输出:", list_proxy)

原文发布于微信公众号 - 数据云团(SmartData)

原文发表时间:2018-12-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券