使用Python抓取多个Web页面

文章/答案/技术大牛

发布

2回答

python、web-scraping、beautifulsoup

我想从多个网站抓取类似的网址，如，和。 print("mobile: " + mobile) 有没有一种方法可以让我简单地列出url的不同部分(woollahra，唐人街，邦迪比奇)，这样脚本就会使用我已经写好的代码循环遍历每个网页

浏览 17提问于2017-08-04得票数 0

回答已采纳

1回答

使用python对多个Web页面进行web抓取

python、html、web-scraping

但是，当我把它放到一个json文件中时，我可以看到我收到了90行-然而，其中有多个重复项，并且许多职位空缺甚至没有显示在文件中。这是我使用的代码： import requestsimport json for i in range(1,7)

浏览 25提问于2021-11-03得票数 1

3回答

如何使用python同时下载网页？

python、python-2.7

我正在用Python编写一个web抓取应用程序。我正在抓取的网站有www.someurl.com/getPage?id=x表单的urls，其中x是标识页面的编号。现在，我正在使用urlretrieve下载所有页面for i in range(1,1001): urlretrieve('http://someurl.com/getPage因为，在这里，我阻塞了脚本，等待页面</

浏览 14提问于2015-05-18得票数 1

回答已采纳

1回答

使用python从同一网页中的多个链接中提取数据

python、web-scraping、beautifulsoup、python-requests

我是蟒蛇和网络抓取的新手。我试图从这个链接中提取关于临床诊断测试的测试成分的信息。单击每个名称将带您到另一个页面，其中包含有关单个测试组件的详细信息。我想从这一页中提取出有共同问题的部分。

浏览 1提问于2018-01-19得票数 0

1回答

Web在python中抓取多个页面

python、web-scraping

所以我试着在网上搜索一个拥有大约500页二手车的网站，每个页面大约有22辆车，我设法从第一页中提取出前22辆车，但是如何让我的代码遍历所有的页面，这样我就可以得到所有的汽车？

浏览 2提问于2022-08-02得票数 1

回答已采纳

3回答

通过web抓取python加载多个页面

python、for-loop、web-scraping

我编写了一个用于web抓取的python代码，以便从flipkart导入数据。我需要加载多个页面，以便我可以导入许多产品，但现在只有一个产品页面来了。

浏览 3提问于2020-06-20得票数 0

回答已采纳

3回答

Web抓取多个页面

python

我正在抓取一个有多个页面的网页。我非常感谢您对我以下问题的帮助：我已经围绕网页的URL构建了一个循环。但是，在HTML代码中查找标记时，只显示第一页中的信息。看起来循环并没有真正流过。

浏览 1提问于2016-06-07得票数 0

3回答

Web抓取:用Python抓取多个Web

python、web-scraping、beautifulsoup

BeautifulSoup(page.content, 'lxml') print(paragraph.text) 我想从中抓取排名、审查和审查日期，但是，我不知道如何从多个页面中抓取，并为抓取结果制作一个熊猫DataFrame。

浏览 1提问于2019-01-13得票数 3

回答已采纳

1回答

Python到PHP异步数据传输

php、python、asynchronous

抓取部分将在python中编码，结果将在PHP中显示。结果应该在PHP中异步显示，而python正在抓取页面。在这两种语言之间异步交换数据的首选方法是什么？谢谢!

浏览 3提问于2017-05-04得票数 1

回答已采纳

2回答

使用python抓取多个页面

python、pandas

我在抓取时遇到问题 url从1开始增加30。它包含许多页面，其中列出了肯尼亚的中学列表。每一页都有30所学校的列表。我想用下面的代码抓取所有的数据，但它只给出了一个页面的内容，这是30所学校。我已经对url进行了字符串格式化，但仍返回一个页面的数据。

浏览 0提问于2018-06-23得票数 0

2回答

使用python抓取多个页面

python、web-scraping、beautifulsoup

我正试着用漂亮的汤拼凑出一个多页面的网站。代码部分工作。它只返回最后一页，而不是所有页。我如何解决这个问题？

浏览 3提问于2018-09-03得票数 0

回答已采纳

1回答

在python中浏览/解析html页面

python、html、parsing、browser、web-scraping

为了与html页面进行交互，我试图把一些我需要的插件集合在一起。我需要的范围从简单的浏览和与按钮或网页链接(如“在这个文本框中写一些文本并按这个按钮”)进行交互，到解析html页面和向服务器发送自定义get/post消息。我正在使用Python3，到目前为止，我有Request用于简单的网页加载、自定义get和post消息，BeautifulSoup用于解析HTML树，我正在考虑尝试机械化来进行简单的网页交互。还有其他类似于我目前使用的3库的库吗？是否有某种集合的地方，所有的Python

浏览 3提问于2014-04-17得票数 1

回答已采纳

2回答

python中的网络多线程

python、multithreading、mechanize、python-multithreading

我正在用Python编写一个脚本，它将从我的web服务器上抓取一些页面，并将它们放入一个文件中。我使用mechanize.Browser()模块来完成这个特定的任务。有没有一种方法可以相对轻松地使用多线程/多处理(即同时发出几个GET请求)？

浏览 0提问于2011-10-20得票数 2

1回答

Python Web抓取:通过加载页面抓取页面

python、python-3.x、web-scraping

我正在建立一个网络抓取项目使用python与美丽的汤和请求模块，问题是我想要抓取的网站有一个加载页面(完全不同于主页)，然后它将我重定向到主页。我怎么能等到页面加载完成，然后从主页上抓取数据呢？我知道Selenium可以处理这些类型的网站，但网站必须使用web驱动程序启动，这是我不希望在我的项目中使用的原因，这就是为什么我使用Beautiful Soup和requests模块。

浏览 15提问于2020-10-25得票数 0

5回答

如何从其他网站获取数据？

python、database、parsing、web-scraping

我听说Python使用解析器可以做到这一点，我只是想知道我应该走哪条路，应该使用哪种语言？

浏览 1提问于2013-06-14得票数 4

2回答

Web抓取多个页面问题

r、web-scraping、rvest

我正在尝试使用R代码从以下网站中抓取前4页用于教育目的： library(rvest)library(tidyverse) url_base <- "https

浏览 28提问于2020-05-27得票数 2

回答已采纳

2回答

用JQuery还是Python抓取？

jquery、python、screen-scraping

因此，假设我在一个网站上抓取多个页面(比方说1000)。我想知道哪种语言最适合用来抓取这些页面- javascript还是python。此外，我听说过javascript抓取器更快(由于多个get请求)，但我不确定如何实现这一点-有人能告诉我吗？谢谢!

浏览 1提问于2012-03-04得票数 0

回答已采纳

2回答

在使用python进行web抓取分页时遍历多个页面

python、web-scraping、beautifulsoup、pagination

我正在尝试从通常包含多个页面的网页中提取特定数据。虽然我能够在第一页打印出我需要的所有信息，但我不能在其他页面上这样做。我在互联网上搜索解决方案，发现大多数解决方案都是通过连接一个链接页面和一个数字来遍历每个页面的。然而，我在一个网站上工作，在这个网站上，当你导航到不同的页面时，链接页面不会改变。因此，我很难确定是哪个属性导致URL重定向到第二个页面，因为没有显示可点击的链接。iZEpOT"}) for n, i in enumerate

浏览 37提问于2021-07-03得票数 0

回答已采纳

2回答

Python和and浏览器表单填充

python

您好，我怎样才能用python在我的web浏览器中进行更改？比如填写表单和按Submit？使用urllib不会在打开的浏览器中为我做任何更改

浏览 0提问于2011-08-17得票数 0

2回答

尝试将数据从网站加载到json文件中。

python、json、python-requests

我试图将数据从一个网站加载到一个json文件中。import requestsprint(r.text)但是，当我尝试将所有代码加载到json文件中时，它将显示一些错误消息。import json url="https://leoclub-ssmc.blogspot.com/?m=1&#

浏览 2提问于2020-05-10得票数 0

点击加载更多