问最适合用于图像爬行的开源、可扩展爬虫

EN

我们正处于一个项目的开始阶段，我们目前想知道哪个爬虫是我们最好的选择。

我们的项目：

基本上，我们要建立Hadoop和抓取网络上的图像。然后，我们将根据Hadoop中的Map/Reduce工具，在HDFS中存储的图像上运行我们自己的索引软件。除了我们自己的索引之外，我们不会使用其他索引。

一些特殊问题：

• 哪种爬虫最适合抓取图像？
• 哪种爬虫最适合分布式爬行系统，在这种系统中我们使用多台服务器一起进行爬行？

现在这些看起来是最好的三种选择-

• Nutch:众所周知的规模。看起来并不是最好的选择，因为它似乎与他们的文本搜索紧密联系在一起，software.
• Heritrix:也可以伸缩。目前看来，最好的option.
• Scrapy:还没有大规模使用(但不确定)。我不知道它是否有基本的东西，如URL规范化。我想使用它，因为它是一个python框架(我更喜欢python而不是java)，但是我不知道它们是否实现了web爬虫的高级特性。

。

摘要：

我们需要从网络上获取尽可能多的图片。现有的爬行框架是可伸缩和高效的，但哪个框架将是最容易修改而只获取图像的？

谢谢!