使用python抓取多个页面

文章/答案/技术大牛

发布

2回答

python、pandas

我在抓取时遇到问题 url从1开始增加30。它包含许多页面，其中列出了肯尼亚的中学列表。每一页都有30所学校的列表。我想用下面的代码抓取所有的数据，但它只给出了一个页面的内容，这是30所学校。我已经对url进行了字符串格式化，但仍返回一个页面的数据。

浏览 0提问于2018-06-23得票数 0

2回答

使用python抓取多个页面

python、web-scraping、beautifulsoup

我正试着用漂亮的汤拼凑出一个多页面的网站。代码部分工作。它只返回最后一页，而不是所有页。我如何解决这个问题？

浏览 3提问于2018-09-03得票数 0

回答已采纳

2回答

用JQuery还是Python抓取？

jquery、python、screen-scraping

因此，假设我在一个网站上抓取多个页面(比方说1000)。我想知道哪种语言最适合用来抓取这些页面- javascript还是python。此外，我听说过javascript抓取器更快(由于多个get请求)，但我不确定如何实现这一点-有人能告诉我吗？谢谢!

浏览 1提问于2012-03-04得票数 0

回答已采纳

2回答

使用Python抓取多个Web页面

python、web-scraping、beautifulsoup

我想从多个网站抓取类似的网址，如，和。 print("mobile: " + mobile) 有没有一种方法可以让我简单地列出url的不同部分(woollahra，唐人街，邦迪比奇)，这样脚本就会使用我已经写好的代码循环遍历每个网页

浏览 17提问于2017-08-04得票数 0

回答已采纳

2回答

Python抓取多个页面

python、web-scraping、beautifulsoup、python-requests

我想刮起从and开始的所有页面以及其中的所有页面，并将它们保存到文本文件中。我遇到的问题是，我只得到表的第一个结果，而不是所有结果。

浏览 4提问于2020-10-21得票数 1

回答已采纳

1回答

从多个页面中抓取表格

python、beautifulsoup

我想从网站上抓取数据。这个表扩展到多个页面上，但是url没有像page=3这样的东西，所以我不能遍历各个页面来获取数据。有没有其他方法可以像这样抓取数据，而不会在不同的页面上循环？如何从python访问不同的页面来抓取数据？

浏览 19提问于2018-03-04得票数 0

2回答

如何使用Selenium抓取多个页面(Python)

python-3.x、selenium-webdriver、web-scraping、beautifulsoup

我已经看到了几种从一个网站抓取多个页面的解决方案，但都不能在我的代码上运行。目前，我有这段代码，它正在抓取第一页。我想创建一个循环来抓取网站的所有页面(从第1页到第5页) import pandas as pdfrom selenium.webdriver.chrome.options

浏览 34提问于2019-05-17得票数 3

回答已采纳

3回答

使用Python和BeautifulSoup抓取多个页面

python、beautifulsoup

我正在尝试使用BeautifulSoup在Python中抓取许多页面，但没有得到积极的结果。我尝试使用request.get()和session.get()。我应该抓取的页数是92。dentisti/p-"+str(count)+".html" soup = BeautifulSoup(r.content) 使用print(page)可以正确地设置<em

浏览 24提问于2020-02-02得票数 1

1回答

如何使用Python抓取多个评论页面？

python、python-requests、web-crawler

我想得到几个使用Python的评论页面。这是我的网络爬虫代码。client.get(jre)print(html) 这段代码只获取page=1，但我想获取page=1、page=2、page3……使用格式化方法

浏览 11提问于2020-01-25得票数 2

3回答

如何使用python同时下载网页？

python、python-2.7

我正在用Python编写一个web抓取应用程序。我正在抓取的网站有www.someurl.com/getPage?id=x表单的urls，其中x是标识页面的编号。现在，我正在使用urlretrieve下载所有页面for i in range(1,1001): urlretrieve('http://someurl.com/getPage因为，在这里，我阻塞了脚本，等待页面下载。我可以

浏览 14提问于2015-05-18得票数 1

回答已采纳

2回答

用python刮脸书点赞

python、facebook-graph-api、scrape

我正在尝试用Python抓取Facebook的公共页面点赞数据。我的抓取器使用帖子号来抓取点赞数据。然而，有些帖子有6000多个赞，而我只能刮6000个赞，而且有人告诉我，这是由于Facebook的限制，每天不允许刮6000个以上。我如何才能继续为帖子刮点赞，从刮刀停止刮的地方。

浏览 3提问于2018-02-02得票数 0

1回答

触发AJAX时获取JSON文件

ajax、json、web-crawler

我正在编写一个爬虫从一个使用AJAX的网站获取内容。在页面底部有一个“显示更多”按钮，我最初的方法是使用Selenium.PhantomJS来伪装成一个web浏览器，但它在一些网站上可以工作，有些不能。顺便说一下，我使用的是Python。

浏览 0提问于2014-07-23得票数 0

1回答

如何在找到的页面上抓取外部链接？

nutch

我使用了从他们的wiki安装nutch的示例。我能够轻松地抓取从dmoz中拉出的多个页面。但是，有没有配置可以抓取它在页面上找到的外部链接，或者将这些外部链接写入下一步要抓取的文件？如果我通过python执行bin/nutch，我能找回它找到的所有外部链接，并创建一个新的爬网列表来再次运行吗？你怎么做？

浏览 1提问于2010-10-26得票数 2

回答已采纳

3回答

Python web抓取用户列表

python、python-requests

我试图从一个网站上抓取用户列表，但它有多个页面，我可以抓取第一个页面，但当我抓取每个页面时就卡住了。profile in soup.select("li h3 a"): 在url中的通知好的，下一页是以此类推，所以我的问题是如何让python先抓取，然后再抓取，以此类推。如果我可以给它分配一个页面限

浏览 5提问于2018-01-09得票数 1

回答已采纳

1回答

使用python从网站中抓取多个页面

python、json、beautifulsoup、request、web-crawler

我想知道如何为一个城市(例如伦敦)从一个使用漂亮汤的网站抓取多个不同的页面，而不必反复重复我的代码。我要拿回一个特定页面的结果

浏览 2提问于2017-04-16得票数 0

回答已采纳

2回答

使用python抓取登录后的多个页面

python、pandas、selenium、web-scraping

尝试在通过登录访问网站后，在不同的页面上抓取两个表。尝试了几种不同的方法，但都不能解决问题。最后一次尝试显示出一些希望，但只有第一个数据帧被附加到数据帧列表中。df_list = df_list.append(text_to_chart(url, table)) scrape(url_list, table_list) 那么，我该如何抓取多个页面呢

浏览 4提问于2020-08-14得票数 0

1回答

使用python lxml抓取多个页面的Glassdoor

python、web-scraping

我使用下面的脚本通过Glassdoor抓取工作列表。下面的脚本只抓取了第一页。我在想，我怎么才能把它从第一页刮到最后一页呢？如果有任何帮助，我将不胜感激

浏览 11提问于2018-02-09得票数 0

1回答

使用Python抓取Javascript加载的页面

python、web-scraping

我正在尝试使用Python从英国广播公司的一篇文章中抓取评论：然而，我想要抓取多个页面，但当我尝试更改第一页中的“page=x”时，它只会将我带到第一页。我考虑过使用Selenium/Dryscape，但我不确定如何才能到达每个页面来运行它们。

浏览 1提问于2016-11-25得票数 1

1回答

在Python中抓取多个页面

python、html、web-scraping、beautifulsoup

我正在尝试抓取一个包含12个链接的页面。我需要打开这些链接中的每一个，并刮掉它们的所有标题。当我打开每个页面时，我面对的是每个链接中的多个页面。但是，我的代码只能抓取这12个链接中的第一个页面通过下面的代码，我可以打印主页上存在的所有12个链接URL。，而我需要我的代码来遍历这12个URL中的多个页面。('ul', {'class' : 'pagination'}).sel

浏览 22提问于2021-04-06得票数 1

回答已采纳

1回答