并发下载器

并发下载原理

from gevent import monkey

import gevent

import urllib.request

# 有耗时操作时需要

monkey.patch_all()

def my_downLoad(url):

print('GET: %s' % url)

resp = urllib.request.urlopen(url)

data = resp.read()

print('%d bytes received from %s.' % (len(data), url))

gevent.joinall([

gevent.spawn(my_downLoad, 'http://www.baidu.com/'),

gevent.spawn(my_downLoad, 'http://www.itcast.cn/'),

gevent.spawn(my_downLoad, 'http://www.itheima.com/'),

])

运行结果

GET: http://www.baidu.com/

GET: http://www.itcast.cn/

GET: http://www.itheima.com/

111327 bytes received from http://www.baidu.com/.

172054 bytes received from http://www.itheima.com/.

215035 bytes received from http://www.itcast.cn/.

从上能够看到是先发送的获取baidu的相关信息，然后依次是itcast、itheima，但是收到数据的先后顺序不一定与发送顺序相同，这也就体现出了异步，即不确定什么时候会收到数据，顺序不一定

实现多个视频下载

from gevent import monkey

import gevent

import urllib.request

#有IO才做时需要这一句

monkey.patch_all()

def my_downLoad(file_name, url):

print('GET: %s' % url)

resp = urllib.request.urlopen(url)

data = resp.read()

with open(file_name, "wb") as f:

f.write(data)

print('%d bytes received from %s.' % (len(data), url))

gevent.joinall([

gevent.spawn(my_downLoad, "1.mp4", 'http://oo52bgdsl.bkt.clouddn.com/05day-08-%E3%80%90%E7%90%86%E8%A7%A3%E3%80%91%E5%87%BD%E6%95%B0%E4%BD%BF%E7%94%A8%E6%80%BB%E7%BB%93%EF%BC%88%E4%B8%80%EF%BC%89.mp4'),

gevent.spawn(my_downLoad, "2.mp4", 'http://oo52bgdsl.bkt.clouddn.com/05day-03-%E3%80%90%E6%8E%8C%E6%8F%A1%E3%80%91%E6%97%A0%E5%8F%82%E6%95%B0%E6%97%A0%E8%BF%94%E5%9B%9E%E5%80%BC%E5%87%BD%E6%95%B0%E7%9A%84%E5%AE%9A%E4%B9%89%E3%80%81%E8%B0%83%E7%94%A8%28%E4%B8%8B%29.mp4'),

])

上面的url可以换为自己需要下载视频、音乐、图片等网址

做最专业最懂你的python开发者交流平台，提供你最需要的开发学习资源。 我们专注于python开发技术的学习与交流，我们坚持，每天进步一小步，人生进步一大步！关注【Python开发者交流平台】，与我们一起学习进步。