前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >并发篇-python线程池-1

并发篇-python线程池-1

作者头像
小团子
发布2019-07-18 10:59:50
3920
发布2019-07-18 10:59:50
举报
文章被收录于专栏:数据云团数据云团

线程池的简单实现

主线程: 相当于生产者,只管向线程池提交任务。并不关心线程池是如何执行任务的。因此,并不关心是哪一个线程执行的这个任务。

线程池: 相当于消费者,负责接收任务,并将任务分配到一个空闲的线程中去执行。

>>>执行结果

注意:这两个几乎是一起完成的!

为什么要使用线程池?

对于任务数量不断增加的程序,每有一个任务就生成一个线程,最终会导致线程数量的失控,例如,整站爬虫,假设初始只有一个链接a,那么,这个时候只启动一个线程,运行之后,得到这个链接对应页面上的b,c,d,,,等等新的链接,作为新任务,这个时候,就要为这些新的链接生成新的线程,线程数量暴涨。

在之后的运行中,线程数量还会不停的增加,完全无法控制。所以,对于任务数量不断增加的程序,固定线程数量的线程池是必要的。

python内置线程池

# 直接使用内置的线程池

>>> pool = ThreadPool(2)

# 要求:在 join 前必须要 close,这样就不允许再提交任务了

>>> pool.close()

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2018-12-26,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 数据云团 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档