用BeautifulSoup实现网页的抓取

文章/答案/技术大牛

发布

1回答

用BeautifulSoup实现网页抓取/ Zomato网页抓取

python、web-scraping、beautifulsoup、zomato-api

我尝试过引用https://datascienceplus.com/zomato-web-scraping-with-beautifulsoup-in-python/进行web抓取只是复制并粘贴了站点上的代码import requests #Used headers/agent because the request was timed out我用的是木星笔记本。你知道我为什

浏览 46提问于2021-06-19得票数 0

回答已采纳

2回答

python、web-scraping、beautifulsoup、html-parsing、web-scraping-language

我正在尝试抓取这个网站：import requestspage = requests.get(URL) soup = BeautifulSoup(page.content, '我在soup变量中获得的</em

浏览 20提问于2020-05-29得票数 1

回答已采纳

1回答

用BeautifulSoup抓取多个网页

python-3.x、parsing、beautifulsoup

我从第一页收集了所有必要的信息，但不知道如何从站点的所有页面收集信息。我试图在其他堆栈溢出主题中找到我的解决方案，但什么都不懂。如果你能帮我解决这个问题，我将不胜感激。我的解析站点：from urllib.request import urlopen as uReqfrom bs4 importBeautifulSoup as soup my_url =

浏览 15提问于2019-10-23得票数 1

回答已采纳

1回答

有没有任何快速的方法来刮一个有无限滚动的网站？

python、web-scraping

我正在尝试使用python来抓取一个用无限滚动实现的网站。实际上，网络就是pinterest。我知道如何使用selenium来抓取具有无限滚动的web。但是，WebDriver基本上模仿了访问web的过程，而且速度慢得多，比使用BeautifulSoup和urllib进行抓取要慢很多。你知道有什么时间有效的方法来刮一个无限滚动的网页吗？谢谢。

浏览 0提问于2014-12-29得票数 0

回答已采纳

1回答

用BeautifulSoup用Python抓取aspx网页

python、web-scraping

我试着刮一下这个页面：import urllib 'Accept':'text/html,applicationwww.nitt.edu/prm/nitreg/ShowRes.aspx'f = myopener.open(url) soup = BeautifulSoupHTTP reques

浏览 2提问于2013-12-22得票数 2

回答已采纳

2回答

用BeautifulSoup实现Python抓取

python、web-scraping、beautifulsoup

我是新刮和我被困在刮一个网页，其中包含一些引号，我想提取。 from bs4 import BeautifulSoupr = requests.get(URL) soup = BeautifulSoup(r.content, 'html5

浏览 2提问于2020-03-22得票数 1

回答已采纳

1回答

使用BeautifulSoup实现多页网页抓取

python、web-scraping、beautifulsoup

我正在尝试用BeautifulSoup抓取这个网页的https://www.whoscored.com/Statistics，以便获得球员统计表的所有信息。我有很多困难，不知道有没有人能帮我。url = 'https://www.whoscored.com/Statistics'soup = BeautifulSoup(htmllxml&qu

浏览 10提问于2019-03-15得票数 1

1回答

范围循环在not擦除中不起作用

python、beautifulsoup

我已经用BS4写了一个小的网页抓取器，用这个代码我可以一次刮掉一个页面，下面是相关代码。import csvimport requestssoup = BeautifulSoup(html,'lxml') 这段代码<e

浏览 1提问于2016-04-02得票数 0

3回答

BeautifulSoup网页抓取

python、web-scraping、beautifulsoup、python-requests

我想要废除一个网页。from bs4 import BeautifulSoupsoup = BeautifulSoup(page.content, 'html.parser') calender = soup.find(id="economicCale

浏览 0提问于2018-05-19得票数 0

回答已采纳

1回答

用Python和BeautifulSoup实现多动态网页的抓取循环

python、dynamic、beautifulsoup

我想网络抓取预定义的链接。我想从上抓取徒步旅行，在一个特定的区域，所以我用20个链接定义了这个区域。到目前一切尚好。我获得了一个链接的数据，但当我尝试在页面列表中循环它时，它只通过一个链接。如果有人能帮助我，我会很高兴的。这是我的代码。只有三个链接，并不是所有的。Abstieg" + ";" + "Link zur Tour"+ ";" + "Anbieter\n&qu

浏览 0提问于2017-11-09得票数 0

2回答

美汤和硒不能刮网站内容

python、web-scraping、beautifulsoup

所以我试着抓取网页的内容。最初我尝试使用BeautifulSoup，但是我无法获取内容，因为内容是动态加载的。在四处阅读之后，我试着根据人们的建议使用Selenium，但是在这样做之后，我仍然无法获取内容。刮出来的东西跟美汤一样。是不是就不能抓取这个网页的内容呢？(url) soup = bs(r.content, 'lxml') print

浏览 35提问于2021-08-11得票数 0

回答已采纳

1回答

Python请求Select()方法-选择'pre‘元素

python、beautifulsoup、python-requests

使用Requests和BeautifulSoup抓取网页。似乎无法使用select()方法来获取下面HTML中显示的文本。style="word-wrap: break-word; white-space: pre-wrap;">{ }</pre>用"page = bs4.BeautifulSoup(res.

浏览 1提问于2015-08-01得票数 1

1回答

用BeautifulSoup实现Web抓取表

python、web-scraping、beautifulsoup

由于某些原因，我无法在此page上检索我想要的表这个表的标题是"Line Score"，下面是它的HTML： <table class="suppress_all sortable stats_tabletd><td class="center"><strong>112</strong></td> &l

浏览 15提问于2019-12-27得票数 1

2回答

如何抓取既包含纯文本又包含“双引号”文本的表数据？

python、web-scraping、beautifulsoup

我试图从zone-h.org网页上抓取数据。首先，我通过在脚本中添加cookie绕过了网页captcha错误。然后我用BeautifulSoup抓取这个表并存储它。from bs4 import BeautifulSoupimport pandas as pdresponse = re

浏览 29提问于2019-08-01得票数 0

回答已采纳

1回答

用BeautifulSoup实现Web抓取DOI

python、beautifulsoup

我目前正在做一个关于网络抓取的项目，我需要从谷歌学者的记录中获得信息。我需要提取文章的DOI，相应的HTML页面如下所示。="//doi.org/10.1007/s00508-019-1485-6">10.1007/s00508-019-1485-6</a> </span>page = BeautifulSoup

浏览 4提问于2021-11-19得票数 0

2回答

BeautifulSoup不返回页面标题

python、python-3.x、web-scraping、python-requests

我试着用Beautifulsoup4 python模块通过web抓取来获取网页的标题，它返回了一个字符串“无法接受！”作为标题，但是当我通过浏览器打开网页时，标题是不同的。我试着循环浏览链接列表和所有网页的标题，但是它返回的字符串是“不能接受的！”所有的链接。这里是python代码import requests UR

浏览 18提问于2022-03-01得票数 0

回答已采纳

1回答

BS4返回到Cloudflare网站，而不是实际的网站

python、web-scraping、beautifulsoup、cloudflare

这是我的代码。这是有效的，但当代码打印时，它会打印DDOS攻击网站，而不是加载之后的网站。我甚至尝试做一个time.sleep(5)来帮助计时。我怎么才能克服这一点。import requestsimport time url = 'https://www.psacard.com/cert/49628062User-Agent': 'Mozilla/5.0 (X11; Ubun

浏览 26提问于2021-01-15得票数 0

2回答

我正在尝试建立我的第一个网络抓取项目(为新闻文章策划)。我已经成功地抓取了新闻网站，并创建了一个循环，以我想要的方式组织结果。我的问题是，我计划每天抓取一次网页，但仅限于当天发布的出版物。我知道它与通过datetime模块(使用if语句)转换日期有关，但对于我来说，我一直找不到一种方法来实现它。在html中，这是一个如何显示日期的示例： <time datetime="2019-02-24T10:3

浏览 19提问于2019-02-25得票数 2

回答已采纳

1回答

Python :如果满足特定条件，如何使用不同的抓取页面重复“bs4”循环？

python、web-scraping、beautifulsoup

我正在尝试创建一个for循环，一旦它到达抓取的页面中的最后一个search_result属性，它将重复该循环，但会使用新抓取的网页的数据。在for循环到达最后一个属性后，它将在网页上查找链接，并对新抓取的网页重复该循环。fr

浏览 7提问于2019-08-16得票数 1

回答已采纳

2回答

用BeautifulSoup实现表数据的抓取

python、web-scraping、beautifulsoup

为什么我在使用Python中的BeautifulSoup提取表数据时不获取所有行？

浏览 2提问于2020-05-20得票数 0

回答已采纳

点击加载更多

用BeautifulSoup实现网页抓取/ Zomato网页抓取