向爬虫提供数据库内容的最佳方式是什么
向爬虫提供数据库内容的最佳方式是什么
提问于 2014-11-08 19:48:20
我的网站的内容是由用户提供的问题和评论定义的，并且是动态的，本质上是不断增长的。该数据库预计将托管数百万个records.However，这些内容将根据访问者对不同类别和类型的选择(使用下拉选项)呈现给他们。本质上，这些内容对于搜索引擎爬虫是不可见的。使这些内容可供爬虫使用的最佳方式是什么？我是否应该定期运行批处理操作，创建静态网页，并通过站点地图将其提供给爬虫？请提个建议。谢谢。
回答 1
Stack Overflow用户
发布于 2018-01-21 06:02:01
通过sitemaps提供它。您可以将查询参数与提供给用户的所有相关组合一起使用。每个URL +查询参数都应该显示数据库的一些独特内容。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/26816799
复制相关文章
相似问题
腾讯云开发者
