学习
实践
活动
工具
TVP
写文章

Python并发编程之从性能角度来初探并发编程(一)

Photo by三次元CC From Lofter

本文目录

并发编程的基本概念

单线程VS多线程VS多进程

性能对比成果总结

前言

作为进阶系列的一个分支「」,我觉得这是每个程序员都应该会的。

这个系列,我准备了将近一个星期,从知识点梳理,到思考要举哪些例子才能更加让人容易吃透这些知识点。希望呈现出来的效果真能如想象中的那样,对小白也一样的友好。

昨天大致整理了下,这个系列我大概会讲如下内容(后期可能调整):

对于并发编程,Python的实现,总结了一下,大致有如下三种方法:

多线程

多进程

协程(生成器)

在之后的章节里,将陆陆续续地给大家介绍到这三个知识点。

.并发编程的基本概念

在开始讲解理论知识之前,先过一下几个基本概念。虽然咱是进阶教程,但我也希望写得更小白,更通俗易懂。

:一个人在同一时间段只能干一件事,譬如吃完饭才能看电视;

:一个人在同一时间段可以干多件事,譬如可以边吃饭边看电视;

在Python中, 和 虽然是严格上来说是串行,但却比一般的串行程序执行效率高得很。

一般的串行程序,在程序阻塞的时候,只能干等着,不能去做其他事。就好像,电视上播完正剧,进入广告时间,我们却不能去趁广告时间是吃个饭。对于程序来说,这样做显然是效率极低的,是不合理的。

当然,学完这个课程后,我们就懂得,利用广告时间去做其他事,灵活安排时间。这也是我们和 要帮我们要完成的事情,内部合理调度任务,使得程序效率最大化。

虽然 和 已经相当智能了。但还是不够高效,最高效的应该是一心多用,边看电视边吃饭边聊天。这就是我们的 才能做的事了。

为了更帮助大家更加直观的理解,在网上找到两张图,来生动形象的解释了多线程和多进程的区别。(侵删)

,交替执行,另一种意义上的串行。

,并行执行,真正意义上的并发。

.单线程VS多线程VS多进程

文字总是苍白无力的,千言万语不如几行代码来得孔武有力。

接下来,让我们一起用代码来测试一下,单线程、多线程、多进程到底性能差多少呢?

首先,准备环境,我的实验环境配置如下:

注意

以下代码,若要理解,对小白有如下知识点要求:

装饰器的运用

多线程的基本使用

多进程的基本使用

当然,看不懂也没关系,主要最后的结论,能让大家对单线程、多线程、多进程在实现效果上有个大体清晰的认识,达到这个效果,本文的使命也就完成了,等到最后,学完整个系列,不妨再回头来理解也许会有更深刻的理解。

下面我们来看看,单线程,多线程和多进程,在运行中究竟孰强孰弱。

开始对比之前,首先定义四种类型的场景

CPU计算密集型

磁盘IO密集型

网络IO密集型

【模拟】IO密集型

为什么是这几种场景,这和 的适用场景有关。结论里,我再说明。

比拼的指标,我们用时间来考量。时间耗费得越少,说明效率越高。

为了方便,使得代码看起来,更加简洁,我这里先定义是一个简单的 的装饰器。

如果你对装饰器还不是很了解,也没关系,你只要知道它是用于 计算函数运行时间的东西就可以了。

第一步,先来看看单线程的

看看结果

第二步,再来看看多线程的

看看结果

第三步,最后来看看多进程

看看结果

.性能对比成果总结

将结果汇总一下,制成表格。

我们来分析下这个表格。

首先是,多线程以对比单线程,不仅没有优势,显然还由于要不断的加锁释放GIL全局锁,切换线程而耗费大量时间,效率低下,而多进程,由于是多个CPU同时进行计算工作,相当于十个人做一个人的作业,显然效率是成倍增长的。

然后是IO密集型,可以是,,等,都属于同一类,计算量很小,主要是IO等待时间的浪费。通过观察,可以发现,我们磁盘IO,网络IO的数据,多线程对比单线程也没体现出很大的优势来。这是由于我们程序的的IO任务不够繁重,所以优势不够明显。

所以我还加了一个「」,用来模拟IO等待时间,就是为了体现出多线程的优势,也能让大家更加直观的理解多线程的工作过程。单线程需要每个线程都要,10个线程就是,而多线程,在的时候,会切换到其他线程,使得10个线程同时,最终10个线程也就只有.

可以得出以下几点结论

单线程总是最慢的,多进程总是最快的。

多线程适合在IO密集场景下使用,譬如爬虫,网站开发等

多进程适合在对CPU计算运算要求较高的场景下使用,譬如大数据分析,机器学习等

多进程虽然总是最快的,但是不一定是最优的选择,因为它需要CPU资源支持下才能体现优势

关注公众号,获取最新文章

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180508G1CZ5300?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码关注腾讯云开发者

领取腾讯云代金券