如何在ruby中快速下载大量网页？并行下载？
如何在ruby中快速下载大量网页？并行下载？
提问于 2009-02-18 00:58:58
我需要抓取(使用scrAPI) 400+网页ruby，我的实际代码是非常连续的：
data = urls.map {|url| scraper.scrape url }实际上，代码有点不同(异常处理和其他东西)。
我怎么才能让它更快呢？如何并行化下载？
回答 2
Stack Overflow用户
发布于 2009-02-18 01:02:58
th = []
data = []
dlock = Mutex.new
urls.each do |url|
th << Thread.new(url) do |url|
d = scraper.scrape url
dlock.synchronize { data << d }
end
end
th.each { |t| t.join }塔达！(注意；从内存中写入，未测试，可能会吃掉你的小猫，等等)
编辑：我想一定是有人写了一个通用的版本，所以他们就写了：http://peach.rubyforge.org/ --享受！
Stack Overflow用户
发布于 2009-02-18 01:04:31
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/559420
复制相关文章
相似问题
腾讯云开发者
