前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >一日一技:Python多线程的事件监控

一日一技:Python多线程的事件监控

作者头像
青南
发布2019-07-01 15:31:12
3.1K0
发布2019-07-01 15:31:12
举报
文章被收录于专栏:未闻Code未闻Code

设想这样一个场景:

你创建了10个子线程,每个子线程分别爬一个网站,一开始所有子线程都是阻塞等待。一旦某个事件发生:例如有人在网页上点了一个按钮,或者某人在命令行输入了一个命令,10个爬虫同时开始工作。

肯定有人会想到用Redis来实现这个开关:所有子线程全部监控Redis中名为start_crawl的字符串,如果这个字符串不存在,或者为0,那么就等待1秒钟,再继续检查。如果这个字符串为1,那么就开始运行。

代码片段可以简写为:

代码语言:javascript
复制
import time
import redis
client = redis.Redis()
while client.get('start_crawl') != 1:
 print('继续等待')
    time.sleep(1)

这样做确实可以达到目的,不过每一个子线程都会频繁检查Redis。

实际上,在Python的多线程中,有一个 Event模块,天然就是用来实现这个目的的。

Event是一个能在多线程中共用的对象,一开始它包含一个为 False的信号标志,一旦在任一一个线程里面把这个标记改为 True,那么所有的线程都会看到这个标记变成了 True

我们通过一段代码来说明它的使用方法:

代码语言:javascript
复制
import threading
import time
class spider(threading.Thread):
 def __init__(self, n, event):
        super().__init__()
        self.n = n
        self.event = event
 def run(self):
 print(f'第{self.n}号爬虫已就位!')
        self.event.wait()
 print(f'信号标记变为True!!第{self.n}号爬虫开始运行')
eve = threading.Event()
for num in range(10):
    crawler = spider(num, eve)
    crawler.start()
input('按下回车键,启动所有爬虫!')
eve.set()
time.sleep(10)

运行效果如下图所示:

在这段代码中,线程 spider在运行以后,会运行到 self.event.wait()这一行,然后10个子线程会全部阻塞在这里。而这里的 self.event,就是主线程中 eve=threading.Event()生成的对象传入进去的。

在主线程里面,当执行了 eve.set()后,所有子线程的阻塞会被同时解除,于是子线程就可以继续运行了。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2019-06-22,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 未闻Code 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
云数据库 Redis
腾讯云数据库 Redis(TencentDB for Redis)是腾讯云打造的兼容 Redis 协议的缓存和存储服务。丰富的数据结构能帮助您完成不同类型的业务场景开发。支持主从热备,提供自动容灾切换、数据备份、故障迁移、实例监控、在线扩容、数据回档等全套的数据库服务。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档