爬虫存储系统所需的建议
爬虫存储系统所需的建议
提问于 2011-03-20 23:08:08
我计划用c++编写一个网络爬虫，它每天爬行N个页面。主要的问题是我把存储系统搞糊涂了。所以我需要一个高效的分布式数据库来存储我抓取的数据。有没有人能给我推荐一个符合条件的db？
回答 2
Stack Overflow用户
发布于 2011-03-20 23:56:43
MongoDB可能是一个很好的选择，因为它以一种直接而高效的方式支持几乎所有的需求(包括一个很好的查询API)。分发是通过“分片”来完成的。
不要要求对数据库进行比较(经常讨论，包括stackoverflow )。
Stack Overflow用户
发布于 2011-03-21 23:37:24
除非N非常大，或者您计划存储大量版本，否则您可能不需要分布式DB。尝试从MySQL开始
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/5369289
复制相关文章
相似问题
腾讯云开发者
