如何在ruby中快速下载大量网页？并行下载？
如何在ruby中快速下载大量网页？并行下载？
提问于 2009-02-17 16:58:58
我需要抓取(使用scrAPI) 400+网页ruby，我的实际代码是非常连续的：
data = urls.map {|url| scraper.scrape url }实际上，代码有点不同(异常处理和其他东西)。
我怎么才能让它更快呢？如何并行化下载？
回答 2
Stack Overflow用户
发布于 2009-02-17 17:02:58
th = []
data = []
dlock = Mutex.new
urls.each do |url|
th << Thread.new(url) do |url|
d = scraper.scrape url
dlock.synchronize { data << d }
end
end
th.each { |t| t.join }塔达！(注意；从内存中写入，未测试，可能会吃掉你的小猫，等等)
编辑：我想一定是有人写了一个通用的版本，所以他们就写了：http://peach.rubyforge.org/ --享受！
Stack Overflow用户
发布于 2009-02-17 17:04:31
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/559420
复制相关文章
点击加载更多
相似问题
R:如何在样本权重中使用describe()
如何分配R中样本的权重
LightFM:权重和样本权重
如何在R中应用与NIS (国家住院患者样本)相关的权重
如何在Keras中使用样本权重和数据增强？
添加站长 进交流群
领取专属 10元无门槛券
AI混元助手 在线答疑
关注 腾讯云开发者公众号
洞察 腾讯核心技术
剖析业界实践案例
腾讯云开发者
