如何使用beautifulSoup从此网站抓取文本
使用BeautifulSoup从网站抓取文本的步骤如下：
- 导入必要的库：
from bs4 import BeautifulSoup
import requests- 发送HTTP请求获取网页内容：
url = "此网站的URL"
response = requests.get(url)- 解析网页内容：
soup = BeautifulSoup(response.text, 'html.parser')- 定位目标文本所在的HTML元素：
target_element = soup.find('目标元素的标签', attrs={'属性名': '属性值'})其中，'目标元素的标签'是目标文本所在的HTML标签，可以是div、p、span等，'属性名'和'属性值'是可选的，用于进一步筛选目标元素。
- 提取目标文本：
text = target_element.get_text()完整的代码示例：
from bs4 import BeautifulSoup
import requests
url = "此网站的URL"
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
target_element = soup.find('目标元素的标签', attrs={'属性名': '属性值'})
text = target_element.get_text()
print(text)BeautifulSoup是一个强大的库，可以根据需要进行更复杂的网页解析操作。它的优势在于可以方便地处理HTML和XML文档，提供了简洁的API和丰富的功能。
使用BeautifulSoup抓取网页文本的应用场景包括数据挖掘、网络爬虫、信息提取等。例如，可以用于抓取新闻网站的文章内容、爬取电商网站的商品信息等。
腾讯云相关产品中，与网页抓取相关的服务包括云服务器、云函数、云数据库等。具体推荐的产品和产品介绍链接地址可以参考腾讯云官方文档或咨询腾讯云的客服人员。
相关·内容
2回答
我刚刚开始学习使用python Beautifulsoup和请求库以及Pycharm工具进行web抓取。
import requests
from bs4 import BeautifulSoup
result1 = requests.get("https://www.grainger.com/")
print('result1 is '+ str(result1.status_code))
当我使用这个网站时，它一直在加载，如果我使用google.com，它将提供输出。
我想知道为什么我没有得到上述网站的输出？
浏览 3提问于2020-10-16得票数 1
回答已采纳
我有下面的html模式，我想用BeautifulSoup去掉它。html模式是：
<a href="link" target="_blank" onclick="blah blah blah">TITLE</a>
我想要抓取标题和显示在链接中的信息。也就是说，如果您单击了该链接，则会显示标题的描述。我想要那个描述。
一开始，我只是尝试用以下代码获取标题：
import urllib
from bs4 import BeautifulSoup
import re
webpage = urrlib.urlopen("
浏览 2提问于2013-02-03得票数 0
回答已采纳
1回答
我需要从一个使用python的网站上抓取文本。我已经安装了BeautifulSoup 4、HTML和NLTK，但我似乎无法找到如何抓取。
我真的需要一个简单的代码片段，我可以插入任何URL并获得纯文本。我正试着从那里得到它
浏览 1提问于2014-09-17得票数 0
回答已采纳
我使用BeautifulSoup ('lxml'解析器)和urllib.request.urlopen()从一个网站获取文本信息。但是，当我在Acitivity中查看网络部分时，我看到python下载了很多数据。这意味着不仅文本被下载，而且图像也被下载。
在使用BeautifulSoup进行网络抓取时，有可能避免下载图片吗？
浏览 2提问于2016-04-03得票数 0
回答已采纳
我正在尝试从一个网站上抓取一些数据，使用BeautifulSoup，我得到的文本似乎是Django标签，例如{{ ResultLink }}，而不是我在查看页面源代码时可以看到的实际URL。 我该如何检索显示在页面上的文本呢？这在BeautifulSoup中是可能的吗？ 我的代码是： req = session.get(url, headers=headers)
bsObj = BeautifulSoup(req.text, 'html.parser')
if bsObj.find("div", {"id" : {&#
浏览 14提问于2019-04-16得票数 1
回答已采纳
2回答
我正在使用BeautifulSoup从网站抓取文本，但我只需要用于组织的<p>标记。但是，我不能使用text.findAll('p')，因为还有其他我不需要的<p>标记。
我想要的文本都被包装在一个标记中(假设是body)，但是当我解析它时，它也需要包含该标记。
link = requests.get('link')
text = bs4.BeautifulSoup(link.text, 'html.parser').find('body')
如何删除body标签？
浏览 6提问于2017-02-02得票数 1
2回答
我已经开始学习如何使用urllib和漂亮汤从网站上抓取信息。我想从这个页面获取所有文本(在代码中)，并将其放入一个文本文件中。
import urllib
from bs4 import BeautifulSoup as Soup
base_url = "http://www.galactanet.com/oneoff/theegg_mod.html"
url = (base_url)
soup = Soup(urllib.urlopen(url))
print(soup.get_text())
当我运行它时，它会抓取文本，尽管它输出的是所有字母之间的空格，但仍然显示H
浏览 0提问于2012-10-18得票数 1
回答已采纳
1回答
我正在尝试抓取这个页面上数据表中的每一页：https://etfdb.com/tool/etf-stock-exposure-tool/#stock&page=1。正如您所看到的，当您使用网站上的按钮手动选择一个新页面时，URL会相应地更改。另外，如果您更改页码并刷新URL，页面也会相应地更新。但是，当我运行以下循环时： import requests
from bs4 import BeautifulSoup
for i in range(1,7): # 6 pages
page = requests.get('https://etfdb.com/tool/etf
浏览 24提问于2020-01-31得票数 0
1回答
我正在做一个个人项目，我正在考虑使用NLTK和Vader进行情绪分析，以比较总统演讲。 我用漂亮的汤找到了乔治·华盛顿的一篇演讲稿，并设法把那篇演讲稿放到了一个列表中。但在那之后，我真的不确定进一步发展的最佳方式。这似乎是典型的从文本文件中读取文件，但我有括号中的列表，这使它变得困难。我不确定我是否应该将网络抓取的语音存储在一个文件中，或者只是从列表中进行操作。或者我应该把演讲放到数据框里？我不太确定。 from bs4 import BeautifulSoup
import requests
import spacy
import pandas as pd
page_link =
浏览 16提问于2021-01-06得票数 0
1回答
#code above, including import requests and import BeautifulSoup
page = requests.get(url) #gets the url I want to scrape
html = BeautifulSoup(page.text, "html.parser")
[h.extract() for h in html('script')]
tracklist = html.find("h3", class_="chart_row-content-title").
浏览 1提问于2018-05-11得票数 0
1回答
我正在使用BeautifulSoup从网页上抓取数据。我想将网站数据与.txt文档中的文本进行比较。然而，我似乎遇到了编码问题。
网站上有文本“加热到400°”，文本在“查看源代码”中也是这样出现的(没有html实体。)
该网站使用beautifulSoup进行阅读：
source = "my url".read()
....
soup = BeautifulSoup(source)
文本文档是通过制作一个新的文本文档来创建的，该文本文档被编码为“在没有BOM的情况下以UTF-8编码”。然后，我将网站上的“加热到400°”复制粘贴到文本文档中并保存。
文本文件被读取为
浏览 0提问于2012-01-30得票数 4
回答已采纳
2回答
我正试着从一个网站上抓取特定的文本。因为我是Python的新手，所以我发现很难用一个脚本来抓取文本，所以我首先使用了以下代码：
import urllib
import requests
from bs4 import BeautifulSoup
htmltext = urllib.urlopen("https://io.winmasters.com/Feeds/api/event /282576?lang=el").read()
data = htmltext
soup = BeautifulSoup(data)
f = open('/Desktop/text.t
浏览 3提问于2015-01-26得票数 0
回答已采纳
我想了解一下用Python进行网络抓取的方法。我目前正在尝试将字符串输入到网站上的文本框中(我正在使用)。
因此，我使用以下代码找到了文本框：
from bs4 import BeautifulSoup
from requests import get
r = get('https://test4python.sarahah.com/')
soup = BeautifulSoup(r.content)
findtextbox = soup.find('textarea',id='Text')
但是现在我已经这样做了，我很难理解我是如何输入字符串的
浏览 1提问于2017-08-04得票数 1
回答已采纳
1回答
我正在尝试使用BS4 + selenium学习web抓取。网站链接为
评论文本具有更大的跨度，单击该跨度时，使用AJAX将更多的文本加载到同一div中。
但是我的代码在selenium单击More按钮之前输出了评论文本。
如何使用selenium等待抓取更多按钮
from selenium import webdriver
from bs4 import BeautifulSoup
def openUrl(link):
driver = webdriver.Firefox()
driver.get(link)
elem1 = driver.find_ele
浏览 4提问于2017-06-20得票数 0
2回答
我正在使用BeautifulSoup从一个网站上抓取字符信息。当尝试获取角色的胜率时，BeautifulSoup找不到它。
当我检查文本时，它列在下面。所有我能找到的网站源代码和所有的BeautifulSoup找到的是“排名-统计-占位符”。
这是我目前使用的代码。
import bs4
from urllib.request import urlopen as uReq
from bs4 import BeautifulSoup as soup
my_url = "https://u.gg/lol/champions/darius/build/?role=top"
#op
浏览 11提问于2018-09-06得票数 0
web抓取Python已经有一段时间了，最近我遇到了这个问题。BeautifulSoup似乎无法读取html文件。
例如，我正试着从这个网站上抓取
这是我的密码
from bs4 import BeautifulSoup
import requests
url_episode = 'https://www.thetvdb.com/series/initial-d/episodes/4889010'
print(url_episode)
getdetail_episode = requests.get(url_episode)
soup = BeautifulSoup(getde
浏览 1提问于2020-04-06得票数 0
如何抓取一个使用Python (BeautifulSoap，Requests)登录的BankID网站？ 我想用BankID登录，然后用python创建一个网站。如何登录到使用BankID登录的网站？ 常规方法不起作用： from bs4 import BeautifulSoup
import requests
source = requests.get('https://example.com').text
soup = BeautifulSoup(source, 'lxml')
print(soup)
浏览 20提问于2020-10-04得票数 0
回答已采纳
我正在使用Python3.5的BeautifulSoup，并且我试图抓取所有h-tags的网站(所以所有的h1、h2..等等)。我的问题是让程序在网站上打开其他链接来抓取它们的标签。
因此，假设我有一个网站，它有一个导航菜单，其中包含一些链接，这些链接贯穿整个网站，并且都包含某种类型的h标记。我该如何抓取我所选网站上的所有内容呢？
这是我到目前为止用来抓取特定url中的h1-tag的代码：
import requests
from bs4 import BeautifulSoup
url = "http://dsv.su.se/en/research"
r = reques
浏览 0提问于2016-04-19得票数 2
2回答
我正在尝试从以下位置获取日期列表：https://ca.finance.yahoo.com/quote/AAPL/options 日期位于选项链正上方的下拉菜单中。我以前从这个网站抓取过文本，但这个文本使用的是'select‘& 'option’语法。我如何调整我的代码来收集这种类型的文本？我已经使用了下面代码的许多变体来尝试抓取文本，但我没有运气。 非常感谢。 import bs4
import requests
datesLink = ('https://ca.finance.yahoo.com/quote/AAPL/option
浏览 14提问于2020-04-18得票数 0
2回答
我正在抓取一个网站，然后尝试拆分成几个段落。通过查看抓取的文本，我可以非常清楚地看到，一些段落分隔符没有正确拆分。请看下面的代码来重现这个问题！
from bs4 import BeautifulSoup
import requests
link = "http://www.presidency.ucsb.edu/ws/index.php?pid=111395"
response = requests.get(link)
soup = BeautifulSoup(response.content, 'html.parser')
paras = soup.fin
浏览 14提问于2016-07-24得票数 1
回答已采纳
如果我想刮一个需要首先使用密码登录的网站，我如何开始使用beautifulsoup4库使用python来抓取它呢？以下是我所做的网站，不需要登录。
from bs4 import BeautifulSoup
import urllib2
url = urllib2.urlopen("http://www.python.org")
content = url.read()
soup = BeautifulSoup(content)
如何更改代码以适应登录？假设我想刮的网站是一个论坛，需要登录。一个例子是
浏览 12提问于2014-04-16得票数 93
回答已采纳
我可以在Firefox/Mozilla中打开一个新的选项卡，抓取内容，并将大量文本写入文件，如下所示。
from bs4 import BeautifulSoup
import requests
import urllib.request
import webbrowser
url = 'https://console.cloud.google.com/'
webbrowser.open_new_tab(url)
r=requests.get(url)
data = r.text
print(data)
soup = BeautifulSoup(data, 'ht
浏览 0提问于2018-09-04得票数 0
回答已采纳
我正在尝试抓取这个网站：https://www.footpatrol.com/ 然而，似乎网站拒绝了我的抓取尝试。 使用头文件并没有什么帮助。 from bs4 import BeautifulSoup
import requests
url = "https://www.footpatrol.com/"
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0
浏览 7提问于2019-04-22得票数 0
回答已采纳
我的python代码成功地从https://www.groupeactual.eu/offre-emploi中抓取文本并将其保存到csv文件中。 然而，在上面的网站上有多个页面可用，我希望能够在其中刮。 例如，使用上面的url，当我单击指向"page 2“的链接时，整个url会发生变化，但当我在代码中使用该url时，我会得到来自page 1的结果。 如何更改我的代码以从所有列出的可用页面中抓取数据？ 我的代码： from bs4 import BeautifulSoup
import requests
import pandas as pd
response = requests
浏览 16提问于2020-07-17得票数 1
我正在尝试抓取这里的网站：。使用如下代码：
from bs4 import BeautifulSoup
import urllib.request
html = urllib.request.urlopen("ftp://ftp.sec.gov/edgar/daily-index/")
soup = BeautifulSoup(line, "lxml")
soup.a # or soup.find_all('a') neither of them works
#return None.
请帮帮忙，我真的很沮丧。我怀疑是标签导致了问题。站点的超
浏览 1提问于2012-07-11得票数 2
回答已采纳
1回答
我对从网站上抓取数据的世界非常陌生，不知道如何从使用Tableau Public的网站上抓取数据 网址：https://showmestrong.mo.gov/data/public-health/ 我一直在阅读一些关于如何检查元素并找到其中的表的资料，但我不知所措。我试过在Python、requests和BeautifulSoup中使用，但不知道如何工作。 import requests
from bs4 import BeautifulSoup
import json
import re
r = requests.get("https://showmestrong.mo.gov
浏览 17提问于2020-09-30得票数 1
回答已采纳
1回答
我对尽可能快地抓取许多不同的网站感兴趣。URL可能存在大量的web抓取问题；例如，它们可能引用文件而不是站点，或者它们可能根本没有指向任何真实的内容。我一直未能解决的问题是，当BeautifulSoup挂起或由于某种原因而失败并没有退出时，该怎么办。如果html解析在X秒后似乎无法完成，则需要有一种方法来停止它。这似乎非常重要，但似乎我不是唯一一个，这个网站似乎提供了最相关的信息：。
因此，考虑到在某个时间结束后很难终止挂起的进程(如BeautifulSoup(文本))，我该怎么办？
浏览 2提问于2014-12-24得票数 2
回答已采纳
1回答
我正在尝试通过浏览一个视频网站来练习抓取，并在主页上抓取所有的视频标题。我唯一的问题是，如果标题太长，就会使用.string函数在BeautifulSoup中剪短。
下面是用于解析的HTML示例：
<head>...</head>
<body class="home">
<div id="main">
<div id="content">
<div id="vid_28" class="thumb-block
浏览 3提问于2016-07-23得票数 0
回答已采纳
我正在尝试从抓取所有的搜索结果。如果你去网站，你会看到在结果的底部有一个按钮来显示更多的结果，这将继续下去，直到没有更多的结果。我不确定如何从所有的结果中抓取数据，然后检查它是否完整。下面的代码适用于最初显示在结果页面上的内容。
感谢你在这里的帮助！
import requests
from bs4 import BeautifulSoup
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.29
浏览 0提问于2021-06-05得票数 0
所以我正在做一个主要是网络抓取的小项目。不过，我有一个小问题。我需要检查网站的特定元素是否有红色或绿色的背景颜色。为了能够看到元素，我需要先在文本字段中插入一些文本...我该怎么做呢？
我现在正在和BeautifulSoup打交道。
浏览 0提问于2021-11-29得票数 0
所以我试着抓取下面的网址：
该页面有一些隐藏的文本，可在单击后解锁。它们的HTML代码在按钮单击后也会隐藏和取消隐藏。
单击前：
单击后：
如何抓取此文本？
BeautifulSoup不适用于此文本。
浏览 5提问于2021-08-01得票数 0
2回答
我试图从一个带有BeautifulSoup + python请求的网站上抓取文本。但它只是作为一种产出。
from bs4 import BeautifulSoup
import requests
url = "http://nos.nl/artikel/2093082-steeds-meer-nekklachten-bij-kinderen-door-gebruik-tablets.html"
r = requests.get(url)
soup = BeautifulSoup(r.content)
data = soup.find_all("div"
浏览 1提问于2016-03-16得票数 1
回答已采纳
3回答
我遵循中关于使用Python和BeautifulSoup抓取网站的教程。我试图从我的政府抓取网站(用于研究目的)，但它给我的错误如下: Traceback (最近一次调用)：
File "C:/Python27/scrap web.py", line 8, in <module>
name = name_box.text.strip()
AttributeError: 'NoneType' object has no attribute 'text'
我尝试了另一个网站，比如，它就能工作。当我查看我的政府网站并使用“查看页面源
浏览 0提问于2018-05-07得票数 0
我是网络抓取的新手，对requests和BeautifulSoup也不是很熟悉。
我正在尝试用BeautifulSoup抓取aspx网站。但是要获得我想要抓取的值，我首先需要选择一个下拉值，输入一个ID，然后按submit。
这有可能吗？
任何帮助都将不胜感激！
浏览 4提问于2020-09-08得票数 0
2回答
我希望从一个给定的网站使用Python3和BeautifulSoup提取所有表单。
下面是一个执行此操作的示例，但无法提取所有表单：
from urllib.request import urlopen
from bs4 import BeautifulSoup
url = 'https://www.qantas.com/au/en.html'
data = urlopen(url)
parser = BeautifulSoup(data, 'html.parser')
forms = parser.find_all('form')
for f
浏览 0提问于2017-03-27得票数 2
我试图从伦敦证券交易所( London Stock Exchange )的一篇新闻文章中抓取正文，但当我试图使用BeautifulSoup提取正文时，它并没有出现。有没有人知道我是怎么获取这些信息的？ 单击inspect时可以找到标记，但是当我查看源代码(Ctrl + U)时，文本不会出现。我认为信息可能是从另一个网站加载到这个网站上的，但是我不确定这一点，也不知道如何抓取它。 我正在查看的网站是：https://www.londonstockexchange.com/news-article/PFG/interim-results-for-six-months-ended-30-june-
浏览 10提问于2020-09-16得票数 1
回答已采纳
3回答
虽然我在R中做过一些屏幕抓取，但我对Python中的屏幕抓取这个概念还是个新手。我正在尝试抓取Yelp网站。我在试着抓取yelp搜索返回的每家保险公司的名字。对于大多数抓取任务，我能够执行以下任务，但在解析xml时总是遇到困难。
import urllib2
from BeautifulSoup import BeautifulSoup
soup = BeautifulSoup(urllib2.urlopen('http://www.yelp.com/search?find_desc=insurance+agency&ns=1&find_loc=Austin'
浏览 0提问于2011-06-30得票数 3
回答已采纳
我正在练习网络抓取，使用BeautifulSoup4从网站抓取数据。然而，当我运行我的代码时，当我检查网站上的元素时，它只显示开始标记和结束标记，当它们之间有明显的文本时。 我的代码： import requests
from bs4 import BeautifulSoup as bs
url = 'https://emenscr.nesdc.go.th/thaime/loanact/view.html?id=43k11nkm0VFwVVOZxlX9'
r = requests.get(url).text
soup = bs(r,'lxml')
p_na
浏览 33提问于2021-07-28得票数 0
回答已采纳
我一直在使用BeautifulSoup成功地从网站上抓取一些信息，但是我在从图片/链接中抓取"alt“标签时遇到了问题。
下面是我迄今为止使用的代码：
import requests
from bs4 import BeautifulSoup
page = "https://www.transfermarkt.com/fc-porto/startseite/verein/720?saison_id=2017"
tree = requests.get(page)
soup = BeautifulSoup(page.content, 'html.parser
浏览 1提问于2020-04-24得票数 2
回答已采纳
我正在使用BeautifulSoup抓取IMDB网站上的电影。我能够成功地抓取电影的名称，类型，时长，分级。但我无法抓取电影的描述，因为当我查看类时，它是“文本静音”的，因为这个类多次保存其他数据，如评级，流派，持续时间。但由于这些数据也有内部类，所以对我来说更容易抓取它，但当涉及到描述时，它没有任何内部类。因此，当提取数据时，仅使用"text-muted“也会给出其他数据。我如何才能获得电影的描述？ 附上代码和截图以供参考： ? 我用来抓取风格的示例代码如下： genre_tags=data.select(".text-muted .genre")
genre=
浏览 37提问于2020-08-29得票数 0
我正试图从耐克的产品页面上抓取所有可用的大小。例如，本页：
我试着加载这个网站并将它写到这样的文本文件中：
import requests
from bs4 import BeautifulSoup
url = "https://www.nike.com/t/air-force-1-07-mens-shoe-JkTGzADv/315122-111"
page = requests.get(url)
soup = BeautifulSoup(page.content, 'html.parser')
soupstirng = str(soup)
with op
浏览 0提问于2020-10-08得票数 1
回答已采纳
我想与一个网络托管的地理信息系统地图应用程序进行交互，以刮取其中包含的数据。数据在一个切换按钮后面。
通常，通过BeautifulSoup和requests.get()创建网站文本的汤就足以使文本数据具有可解析性，但是此方法返回某种esri脚本，而不返回任何所需的html或文本数据。
网站快照，并检查了所需内容：
按钮的快照被切换，显示我想要抓取的文本数据：
代码的第一个mis(步骤)：
import requests
from bs4 import BeautifulSoup
site = 'https://dwrapps.utah.gov/fishing/fStart
浏览 5提问于2022-04-04得票数 0
回答已采纳
1回答
我是一个从事文本挖掘和玩具项目的纽比人，负责从网站上抓取文本，并将其分割成令牌。但是，在使用Beautifulsoup下载内容之后，我未能用下面的代码使用.split方法将其拆分
# -*- coding: utf-8 -*-
import nltk
import operator
import urllib3
from bs4 import BeautifulSoup
http = urllib3.PoolManager()
url= 'http://python.org/'
response = http.request('GET',url)
# nltk
浏览 2提问于2017-09-05得票数 0
回答已采纳
2回答
我想要抓取电子商务网站，我已经解析了html，但是为什么我的解析没有包含div类中的任何文本？
from urllib.request import Request, urlopen
from bs4 import BeautifulSoup
import pandas
html = urlopen("https://www.bhinneka.com/jual?cari=iphone&catId=3457215").read()
print (type(html))
soup = BeautifulSoup(html, "html.parser&#
浏览 11提问于2020-05-28得票数 1
回答已采纳
我正在迭代合同的.csv，试图从网站中提取一个单独的列。
以下是该网站的一个示例：
我想从网页末尾的表格中抓取标签为“商品描述”的栏。但是，我不知道如何抓取列--只抓取行。
下面是我目前正在使用的代码
def scraper(first, second, third):
url = "https://www.austintexas.gov/financeonline/contract_catalog/OCCViewMA.cfm?cd=%s&dd=%d&id=%s" % (first, second, third)
soup = Beautiful
浏览 12提问于2016-08-11得票数 2
回答已采纳
我想从一个网站提取数据使用BeautifulSoup (或其他网络抓取工具)，虽然我正在努力，因为网站的网址是相同的，您登录之前和之后作为一个用户。我不想在这里公开分享网站地址，但如果需要，我会在下面的评论中。举个简单的例子，让我们使用"example.com“作为引用：
当您第一次导航到abc.com时，URL就是那个(example.com)。要登录，用户单击登录按钮，然后进入"example.com/ login“。问题是，在成功登录之后，尽管example.com代码发生了变化，URL仍然返回到“HTML”。当我尝试用BS4获取网站的超文本标记语言代码时，我得到的是登录
浏览 2提问于2020-11-30得票数 1
2回答
用漂亮的汤解析<br>标签
、、、、
我正在抓取一个网站，
标签是：
<div class="content"
<p>
"C Space"
<br>
"802 white avenue"
<br>
"xyz 123"
<br>
"Lima"
</p>
当我使用下面的命令来获取文本时：
html=urlopen("something")
bsOb
浏览 3提问于2017-04-27得票数 3
1回答
抓取无显示隐藏可见性python
、、、、
我试图用python中的Beautifulsoup从一个网站上抓取数据，当我解析页面时，我想抓取的信息没有显示出来，相反，我看到了以下内容：
<span class="frwp-debug hidden" style="display: none!important; visibility: hidden!important;">
解析后的html与我检查页面时看到的不同。
这是我的代码：
site = "http://www.fifa.com/worldcup/stories/y=2017/m=11/news=australia-292
浏览 3提问于2018-06-04得票数 0
2回答
我正在尝试使用Python抓取这个网站：'‘。
首先，我注意到我感兴趣的表实际上位于这个url：
但是，requests + BS4只给了我HTML格式的页面源代码。我假设这是因为内容是动态的。
因此，我尝试了Selenium + BS4来抓取网站，但我仍然只能抓取页面源代码。
from selenium.webdriver import Firefox
from bs4 import BeautifulSoup
import lxml
driver = Firefox()
url = 'https://ec.europa.eu/assets/eac/msca/jobs/im
浏览 4提问于2020-02-02得票数 0
我是beautifulSoup的新手，所以我在这个网站上练习我的网页抓取，文本属性不断破坏.find()函数。这是代码：
from bs4 import BeautifulSoup
import requests
url = 'https://montanahistoriclandscape.com/tag/glasgow-montana/'
page = requests.get(url)
soup = BeautifulSoup(page.text, 'lxml')
article = soup.find('article')
fir
浏览 9提问于2022-06-23得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
