问将结果投到mysql中的站点爬虫/蜘蛛
EN

Server Fault用户

提问于 2010-02-22 15:14:23

回答 1查看 948关注 0票数 4

有人建议我们使用mysql进行站点搜索，因为它将运行在承载web服务器(nginx)和db (mysql)的同一台服务器上。

因为并不是所有的页面都是从数据库中创建的，所以有人建议我们有一个爬虫，可以抓取站点，并将页面url和数据丢到mysql中，并在上面有sphinx索引。

有没有人知道开放源码蜘蛛，它有一个mysql存储选项。

谢谢。

回答已采纳

发布于 2010-03-17 15:54:55

我想斯派德是你要找的-我们以前有好的结果。此外，它还可以索引pdfs和docs，这是非常有用的。

http://www.sphider.eu/

票数 1

页面原文内容由Server Fault提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://serverfault.com/questions/115414

复制

相似问题

问将结果投到mysql中的站点爬虫/蜘蛛EN