有可能抓取黑暗的网页吗？
有可能抓取黑暗的网页吗？
提问于 2017-02-17 12:47:52
到目前为止，我正在抓取来自不同来源的数据，比如实时流Twitter和Facebook，并将其存储在单独的DB中。在此之后，我使用这些大数据来了解用户的行为和其他类型的分析。
我试图做的是相同的，但在黑暗的网页，我想抓取所有的网页，可以访问的TOR浏览器。我在几个博客里搜索过这样的东西，但我发现所有的博客都只是在爬行日志文件。
有没有可能像我们使用社交媒体平台API那样，抓取黑暗的网页呢？
回答 1
Stack Overflow用户
回答已采纳
发布于 2017-08-07 08:53:17
是的，这是可能的-我们已经做了很多年了。我们使用Ubuntu，所以我们在爬行器上安装了tor：
apt get install tor
我们的python脚本通过端口9050针对服务运行urllib .onion链接请求。
如果您不想开发自己的爬虫，欢迎您在https://webhose.io试用我们的爬虫
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/42298387
复制相关文章
相似问题
腾讯云开发者
