特定站点搜索引擎和网络爬虫的体系结构
特定站点搜索引擎和网络爬虫的体系结构
提问于 2015-03-07 03:15:34
谁能让我知道一个网站的具体搜索引擎的架构，因为在非常一般的答案，我不想要任何编码和其他东西，只是作为一个理论。
我的第二个疑问是:为了更快地抓取网页，你用不同的起始种子URL设置了两个不同的抓取机器。这两台爬网计算机未设置为相互通信和共享数据。这是一种有效的分布式网络爬行策略吗？
回答 1
Stack Overflow用户
发布于 2015-03-14 09:52:36
首先，如果这两台计算机没有连接，那么你如何处理多次录制相同的网站，你最好的办法是将它们链接起来，并使用它们的组合资源(你可能可以找到一些自由软件来做这件事，根据我自己的经验，我不确定)。其次，你的问题非常模糊，搜索引擎有三个主要部分，网络爬行，索引和数据库，以及所有这些，然后是前端，用户只看到前端，通常在php中就像你的普通网站一样。索引和数据库相关的东西是你在数据库中组织数据的地方，然后网络爬行是你收集数据的地方。在这个抽象级别上，它确实非常简单，但如果没有更详细的问题，我们真的无法深入了解。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/28906018
复制相关文章
相似问题
腾讯云开发者
