使用Beautifulsoup进行网站的抓取

文章/答案/技术大牛

发布

1回答

python、tkinter、web-scraping

如何在我的计算机上使用python tkinter抓取一个站点，并获得一些图片和一些文本，并显示它们。

浏览 7提问于2020-05-13得票数 0

1回答

使用Python进行web抓取

python、translation、wikipedia

我需要在我的python代码中使用一个特定的网站(将英语翻译成我的语言)，而且我也不想在python中使用googletrans，这是大量的数据，所以我需要使用python来快速完成它，是否有任何引用或标题比我能读到的或者是蟒蛇里的医生？谢谢

浏览 3提问于2020-05-12得票数 1

回答已采纳

3回答

硒自动化可以与BS4一起使用吗？

python、python-3.x、selenium、web-scraping、beautifulsoup

我正在使用selenium进行自动化和抓取。现在我发现有些网站的速度太慢了。如果我使用beautifulSoup，那么我可以更快地抓取它们，但自动化却无法完成。有什么地方我可以自动化网站(按钮，点击，事件等)还能在beautifulSoup上用它刮网站吗？任何帮助都将不胜感激..。

浏览 2提问于2020-04-09得票数 1

回答已采纳

2回答

使用BeautifulSoup抓取网站

python、beautifulsoup

我在刮擦时得到属性错误from bs4 import BeautifulSoup page = urllib2.urlopen(quote_page) name_box = soup.find

浏览 2提问于2019-08-07得票数 0

1回答

Python:当使用请求包在HTTPS页面上执行get请求时，如何确保凭据中的标志被封装

python、authentication、web-scraping、python-requests、ssl-certificate

所以我使用BeautifulSoup和请求从https网站获取数据类似于：中的解决方案这里有什么我需要考虑的吗？

浏览 0提问于2018-07-10得票数 0

回答已采纳

2回答

尝试将数据从网站加载到json文件中。

python、json、python-requests

我试图将数据从一个网站加载到一个json文件中。m=1" print(r.text)print(r.json)继续：：import json“，s，err.value)到None json.decoder.JSONDecodeError: err.value:第1列(char 0

浏览 2提问于2020-05-10得票数 0

5回答

如何从其他网站获取数据？

python、database、parsing、web-scraping

我想创建一个网站，从其他网站提取信息，并将它们打印到我的网站上，我正在进行研究，所以我想听取一些意见，这个项目的最佳解决方案是什么？我听说Python使用解析器可以做到这一点，我只是想知道我应该走哪条路，应该使用哪种语言？

浏览 1提问于2013-06-14得票数 4

1回答

使用BeautifulSoup抓取OSHA网站

python、html、pandas、web-scraping、beautifulsoup

我正在寻求两方面的帮助：(1)抓取网页；(2)将被抓取的数据转化为熊猫的数据(主要是为了以.csv的形式输出，但现在仅仅创建一个熊猫df就足够了)。violations_serious_initial 主要依靠BeautifulSoup4通过将注意力集中在带有

浏览 1提问于2020-01-24得票数 1

回答已采纳

2回答

使用BeautifulSoup抓取多个网站

python、web-scraping、beautifulsoup

我尝试使用BeautifulSoup获取多个网站的股票代码。我尝试了下面的循环代码，但当我运行输出时，它只为一个网站提供了一个滚动条： url = ['https://finance.yahoo.com/quote/AAPL/key-statistics/',/finance.yahoo.com/quote/BOX/key-statistics/'] for pg

浏览 8提问于2019-02-22得票数 1

回答已采纳

2回答

无法使用beautifulSoup抓取网站

python、web-scraping、beautifulsoup、python-requests

我试着用漂亮的汤(bs4)抓取页面，但在抓取数据时遇到了问题，我甚至提到了标题，正如答案中指出的这是我的代码import requestsrequests.get print(r.status_code) 这就是我得到的</em

浏览 0提问于2018-05-24得票数 1

2回答

利用python(美丽汤)进行网络抓取

python、web-scraping、beautifulsoup、python-requests

我刚刚开始学习使用python Beautifulsoup和请求库以及Pycharm工具进行web抓取。import requests print('result1 is '+ str(result1.status_code)) 当我使用这个<em

浏览 3提问于2020-10-16得票数 1

回答已采纳

1回答

使用BeautifulSoup抓取特定网站

html、python-3.x、beautifulsoup

我正在尝试运行一段代码，该代码将抓取以下网站： </style> obj.submit();*&

浏览 2提问于2017-02-07得票数 1

回答已采纳

1回答

避免使用优美汤和urllib.request下载图片

web-scraping、beautifulsoup、urllib、urlopen

我使用BeautifulSoup ('lxml'解析器)和urllib.request.urlopen()从一个网站获取文本信息。在使用BeautifulSoup进行网络抓取时，有可能避免下载图片吗？

浏览 2提问于2016-04-03得票数 0

回答已采纳

1回答

webscraping返回不完整的信息

python、web-scraping、telegram

现在学习网络抓取，并决定放弃电报的网络版本，所以我选择了一个聊天(与你自己最喜欢的)，并发送了很少的声音。telegramURL = 'https://web.telegram.org/k/#@myname' 也许我应该使用不同的解析器？或url im使用

浏览 3提问于2022-11-27得票数 0

1回答

Python 3:检测ajax查询

python、ajax

我尝试在Python和BeautifulSoup的帮助下抓取一些网站。，我可以获取JSON内容并对其进行分析。

浏览 2提问于2018-10-11得票数 0

1回答

使用BeautifulSoup进行网络抓取:检索网站的源代码

python、html、beautifulsoup、html-parsing

我目前正在为阿里巴巴网站制作一个网络爬行器。我的问题是返回的源代码没有显示我感兴趣的部分。当我使用浏览器检查源代码时，数据就在那里，但在使用BeautifulSoup时，我无法检索到它。从bs4导入BeautifulSoup try: except:return None return BeautifulSoup

浏览 0提问于2015-12-17得票数 2

1回答

有没有任何快速的方法来刮一个有无限滚动的网站？

python、web-scraping

我正在尝试使用python来抓取一个用无限滚动实现的网站。实际上，网络就是pinterest。我知道如何使用selenium来抓取具有无限滚动的web。但是，WebDriver基本上模仿了访问web的过程，而且速度慢得多，比使用BeautifulSoup和urllib进行抓取要慢很多。你知道有什么时间有效的方法来刮一个无限滚动的网页吗？谢谢。

浏览 0提问于2014-12-29得票数 0

回答已采纳

2回答

当web在Python中搜索表时，返回一个空表。

python

我需要通过使用Python中的BeautifulSoup库进行web抓取，从网站抓取一个表。interactive/2021/world/covid-vaccinations-tracker.htmlimport requests from bs4 import BeautifulSoup//www.nytimes.com/interactive&#x

浏览 0提问于2021-04-18得票数 3

回答已采纳

1回答

有没有办法像Facebook那样在自扩展页面上使用BeautifulSoup？

python、ajax、beautifulsoup、screen-scraping

当你接近底部时，一些网页可能会通过ajax扩展，Facebook就是一个众所周知的例子。我特别感兴趣的是截屏电影的电影列表页面。它确实有一个结尾，但当你向下滚动时，你可以看到它在添加电影。有没有办法使用BeautifulSoup来获取页面上的所有内容？

浏览 18提问于2018-08-24得票数 0

9回答

BeautifulSoup和Scrapy crawler有什么区别？

python、beautifulsoup、scrapy、web-crawler

我想做一个网站，显示亚马逊和易趣产品价格的比较。其中哪一个会工作得更好?为什么？我对BeautifulSoup比较熟悉，但对Scrapy crawler不太熟悉。

浏览 323提问于2013-10-30得票数 146

回答已采纳

点击加载更多