文章/答案/技术大牛

发布

社区首页 >问答首页 >如何抓取AJAX页面中的所有url？

问如何抓取AJAX页面中的所有url？
EN

Stack Overflow用户

提问于 2018-10-11 12:22:44

回答 1查看 56关注 0票数 0

我使用scrapy和splash抓取所有网址在网站上。在一些带有静态html的网站中，它工作得非常好！但当我抓取一些网站有AJAX页面，和html5我无法获得任何网址(例如：http://testphp.vulnweb.com/AJAX/，http://testhtml5.vulnweb.com)。有谁有解决这个问题的办法吗？非常感谢！

ajax

html

scrapy

web-crawler

splash-screen

回答 1

Stack Overflow用户

发布于 2018-10-11 14:05:55

使用请求包-python

您可以生成对内容的请求并获得响应。

示例代码here

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/52752177

复制

相似问题

问如何抓取AJAX页面中的所有url？
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问如何抓取AJAX页面中的所有url？EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问如何抓取AJAX页面中的所有url？
EN