如何利用BeautifulSoup浏览网页中的每一页
如何利用BeautifulSoup浏览网页中的每一页
提问于 2017-09-20 23:04:25
我是刮工作张贴数据从一个网站使用BeautifulSoup。我有工作代码做我需要的，但它只刮第一页的工作公告。我很难搞清楚如何迭代地更新url来刮每一页。我是Python新手，研究过一些类似问题的不同解决方案，但还没有想出如何将它们应用到我的特定url中。我认为我需要迭代地更新url，或者以某种方式单击next按钮，然后在每个页面中循环我现有的代码。我很感激任何解决办法。
回答 1
Stack Overflow用户
回答已采纳
发布于 2017-09-20 23:15:52
首先，BeautifulSoup与GETing网页没有任何关系--您自己获取网页，然后将其提供给bs4进行处理。
您链接的页面的问题在于它是javascript --它只在浏览器(或任何其他javascript VM)中正确呈现。
@Fabricator在正确的轨道上--您需要查看开发人员控制台，并查看js向服务器发送的ajax请求。在本例中，还可以查看查询字符串参数，其中包括一个名为CurrentPage的param --这可能是您想要关注的对象。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/46332983
复制相关文章
相似问题
腾讯云开发者
