十、python学习笔记-协程-协程爬虫（对比协程和非协程效率）

# 一个简单的小爬虫，将3个页面的数据保存到data.html，对比协程和非协程的使用时间
"""协程
1、通过urlopen获取数据
2、写入文件
3、使用三个页面，通过gevent.joinal执行（协程会在IO阻塞处切换），用时短
4、在Windows系统，由于捕获IO较慢。使用monkey.patch_all()，加快IO捕获，Linux系统不存在此问题
"""

from urllib.request import urlopen
import gevent
from gevent import monkey
import time

monkey.patch_all()


def foo(url):
    print('GET:{}'.format(url))
    resp = urlopen(url)
    data = resp.read()

    with open('data.html', 'wb') as f:
        f.write(data)
    print('{} bytes received from {}'.format(len(data), url))


url_list = ['https://www.python.org/', 'https://github.com/', 'http://www.yahoo.com/']

start_time = time.time()
gevent.joinall([gevent.spawn(foo, 'https://www.python.org/'),
                gevent.spawn(foo, 'https://github.com/'),
                gevent.spawn(foo, 'http://www.yahoo.com/')])
end_time = time.time() - start_time
print(end_time)