问抓取CrawlSpider:爬行策略/队列问题

EN

几天前，我从刮点开始，学习了一些特定的站点( dmoz.org示例)；到目前为止，它还不错，我喜欢它。因为我想了解搜索引擎的发展，我的目标是建立一个爬虫(和存储，索引器等)的大量网站的“颜色”和内容。

到目前为止，我还尝试了深度一级和酿造一级的爬行。

我现在只使用一条规则，我设置了一些跳过的路径和一些域。

Rule(SgmlLinkExtractor(deny=path_deny_base, deny_domains=deny_domains),
        callback='save_page', follow=True),

我有一个管道，一个用来存储下载页面的url、body和头的mysql存储，它是通过带有这些字段的PageItem完成的。

我现在的问题是：

1. 可以用条目来简单地存储页面吗?如果页面已经被爬行(在过去的六个月里)，爬行器检查数据库是如何工作的？
2. 是否有类似于无用域的黑名单？占位符域、链接场等？

还有很多其他的问题，比如存储问题，但我想我要说的是，还有一个一般性的搜索引擎问题。

• 有一种从其他专业爬虫器获取爬行结果数据的方法，当然，它必须通过发送硬盘来完成，否则，如果我自己抓取它们，数据卷将是相同的(压缩左边)。