在我的程序中,我需要同时下载3-4个文件(从不同的服务器,这是相当慢)。我知道涉及python线程或qt线程的解决方案,但我想知道:既然这似乎是一个很常见的任务,也许有一个库,我提供urls并简单地接收文件?提前感谢!
发布于 2010-08-23 18:55:10
是的,有一个- pycurl。
它不是“简单的”,因为curl是低级的,但它做的正是你需要的--你给它提供一些curl,然后它就会同时和异步地下载。
import pycurl
from StringIO import StringIO
def LoadMulti(urls):
m = pycurl.CurlMulti()
handles = {}
for url in urls:
c = pycurl.Curl()
c.setopt(pycurl.URL, url)
data = StringIO()
header = StringIO()
c.setopt(pycurl.WRITEFUNCTION, data.write)
c.setopt(pycurl.HEADERFUNCTION, header.write)
handles[url] = dict(data=data, header=header, handle=c)
m.add_handle(c)
while 1:
ret, num_handles = m.perform()
if ret != pycurl.E_CALL_MULTI_PERFORM: break
while num_handles:
ret = m.select(1.0)
if ret == -1: continue
while 1:
ret, num_handles = m.perform()
if ret != pycurl.E_CALL_MULTI_PERFORM: break
return handles
res = LoadMulti(['http://pycurl.sourceforge.net/doc/pycurl.html', 'http://pycurl.sourceforge.net/doc/curlobject.html', 'http://pycurl.sourceforge.net/doc/curlmultiobject.html'])
for url, d in res.iteritems():
print url, d['handle'].getinfo(pycurl.HTTP_CODE), len(d['data'].getvalue()), len(d['header'].getvalue())您可以在这些while循环中运行GUI更新,这样界面就不会冻结。
发布于 2010-08-23 18:08:57
你并不真的需要一个库;这只是线程的简单使用(好吧,因为线程可以是“简单的”)。例如,请参阅http://www.artfulcode.net/articles/multi-threading-python/获取整洁的教程。
https://stackoverflow.com/questions/3546534
复制相似问题