问如何抓取受登录保护的站点或页面？
EN

Stack Overflow用户

提问于 2021-04-12 11:47:41

回答 1查看 190关注 0票数 0

我想抓取一个网站，这是必要的访问，以查看网页。我可以爬客网页，但如何抓取登录保护网页？如果有人共享一些步骤来配置或跳过身份验证机制来使用storm爬虫爬行页面，那将是非常棒的。

先谢谢你。

回答已采纳

发布于 2021-04-12 12:43:19

可以在拓扑配置中设置以下键及其相应值

http.basicauth.user
http.basicauth.password

参见配置方面的WIKI页面

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/67057804

复制

相似问题

问如何抓取受登录保护的站点或页面？EN