如何使用BeautifulSoup获取多个div下的div元素？
BeautifulSoup是一个Python库，用于从HTML或XML文档中提取数据。它提供了一种简单而灵活的方式来遍历文档树，并根据需要搜索和提取特定元素。
要使用BeautifulSoup获取多个div下的div元素，可以按照以下步骤进行操作：
- 导入BeautifulSoup库：
from bs4 import BeautifulSoup- 创建BeautifulSoup对象并解析HTML文档：
html = '''
<html>
<body>
<div>
<div>元素1</div>
<div>元素2</div>
<div>元素3</div>
</div>
</body>
</html>
'''
soup = BeautifulSoup(html, 'html.parser')- 使用select方法选择多个div元素：
div_elements = soup.select('div div')这里的'div div'是CSS选择器，表示选择所有父级为div的子级div元素。
- 遍历获取到的div元素并提取内容：
for div in div_elements:
print(div.text)这里的div.text可以获取到div元素的文本内容。
使用BeautifulSoup获取多个div下的div元素的完整代码如下：
from bs4 import BeautifulSoup
html = '''
<html>
<body>
<div>
<div>元素1</div>
<div>元素2</div>
<div>元素3</div>
</div>
</body>
</html>
'''
soup = BeautifulSoup(html, 'html.parser')
div_elements = soup.select('div div')
for div in div_elements:
print(div.text)BeautifulSoup的优势在于它提供了一种简单而灵活的方式来解析和提取HTML或XML文档中的数据。它支持各种选择器和过滤器，使得定位和提取特定元素变得非常方便。此外，BeautifulSoup还具有自动修复破损标记和编码转换等功能，使得处理不规范的文档变得更加容易。
在腾讯云的产品中，与BeautifulSoup相关的产品是腾讯云爬虫托管服务（Tencent Cloud Crawler Hosting Service），它提供了一种可扩展的爬虫托管平台，可以帮助用户快速构建和部署爬虫应用。您可以通过以下链接了解更多信息： 腾讯云爬虫托管服务
请注意，以上答案仅供参考，具体的技术实现可能因个人需求和环境而异。
相关·内容
1回答
使用BeautifulSoup将HTML插入html文件
python、html、beautifulsoup
我有一个文件，它包含指向不同页面的链接。我想将它们插入到带有div的id="links"下面的HTML文件中。要明确的是，div已经存在，所以我不想在任何地方创建新标记。
我的python和HTML尝试如图所示
<html>
<head>
</head>
<body>
<div id="links">
</div>
</body>
</html>
from bs4 import BeautifulSoup
soup = BeautifulSoup(ope
浏览 13提问于2020-04-14得票数 1
回答已采纳
2回答
如何从BeautifulSoup中的html中提取未指定的链接？
python、beautifulsoup、urllib2
关于从HTML文档中提取链接的问题，我还没有找到一个很好的答案。我已经看到了一些答案，您可以直接指定链接。但是，如果你想提取一个未指定的url呢？我只是想知道这是否可能。我在这里有这个HTML
我把这个放到Pycharm中
html = """
<
<html>
<head>
<title>About me</title>
</head>
<body>
<h1>About Me</h1>
<h4>My Hobbies</h4>
&l
浏览 8提问于2018-08-04得票数 1
1回答
使用优美汤从python嵌套表中提取名称文本
python、html、web-scraping、beautifulsoup
我对使用Python进行web抓取比较陌生，而且我在从CoinMarketCap.com上的HTML行中提取名称值时遇到了很多困难。他们的结构我不熟悉。我尝试过几种方法，无论是在堆栈溢出上还是在其他站点上，都没有结果。下面是他们html的一个片段： --这是我目前拥有的代码：
import requests
from bs4 import BeautifulSoup
page = requests.get("https://coinmarketcap.com/rankings/exchanges/").text
soup = BeautifulSoup(page, fe
浏览 3提问于2022-05-17得票数 0
回答已采纳
1回答
从下一个兄弟的文本中提取数字
python、python-2.7、parsing、beautifulsoup、nlp
我想将每个数字分配给python2.7中合适的标记。在下面的例子中，我有两个数字和两个标签。由于NavigableString类型的原因，我不能迭代next_siblings的元素。但是，如果我不能处理这个问题，我该如何处理呢？谢谢
编辑:我不能基于div标签进行搜索，因为名称和数字可能在完全不同的html标签中。因此，我不想限制这一点。
from bs4 import BeautifulSoup
tempHtml = """
<html>
<body>
<div>
浏览 2提问于2017-08-27得票数 0
3回答
用美丽汤提取下标签和不同标签的含量
html、python-3.x、ubuntu、beautifulsoup
我想要刮一些特定的html代码。
我的python代码：
soup = '''
<p>
<strong> abc </strong>
</p>
<ul>
<li> 123 </li>
<li> 456 </li>
</ul>
''
浏览 4提问于2019-12-25得票数 1
回答已采纳
1回答
尝试基于类列表对象链接来选择元素--美丽汤
python、beautifulsoup
我使用的是Beautiful汤4.4和python 3.6.6。我已经提取了所有的链接，但是我无法打印出所有包含
“类”：“_self”
这是我要从链接列表中获取的完整链接。
{'href': 'https://www.racingnsw.com.au/news/latest-racing-news/highway-sixtysix-on-right-route/', 'class': ['_self'], 'target': '_self'}
虽然语法看起来像bs4上的文档，但语法不正确。
浏览 0提问于2018-07-08得票数 0
回答已采纳
2回答
这种方法可以从带有BeautifulSoup的两个类属性的标记中获取项吗？
python、beautifulsoup
我想从有BeautifulSoup的网站上获得商品。
<div class="post item">
目标标签是这个。标签有两个吸引符和空白。
首先，我写道，
roots = soup.find_all("div", "post item")
但是，这不管用。然后我写道，
html.find_all("div", {'class':['post', 'item']})
我可以用这个得到物品，但我不确定这是否正确。这个代码正确吗？
/附加/
我很抱歉
html.find_a
浏览 9提问于2016-03-28得票数 2
回答已采纳
2回答
Python bs4如何从find_all()中找到内联样式
python、web、beautifulsoup
我正在尝试使用python和BeautifulSoup获取内联样式元素的高度值，我设法获得了带有特定类的所有div，但无法知道如何获得下面输出的内联style=height值，这是我的代码。
import requests
from bs4 import BeautifulSoup
URL = "https://exampleonly.org/"
page = requests.get(URL)
soup = BeautifulSoup(page.content, "html.parser")
samples = soup.find_all("div
浏览 3提问于2022-05-28得票数 0
回答已采纳
5回答
BeautifulSoup webscraping find_all( )：找到精确匹配
python、html、regex、web-scraping、beautifulsoup
我使用Python和BeautifulSoup进行web抓取。
假设我有下面的html代码要刮：
<body>
<div class="product">Product 1</div>
<div class="product">Product 2</div>
<div class="product special">Product 3</div>
<div class="product special">
浏览 1提问于2014-03-29得票数 40
3回答
美丽的汤'ResultSet‘对象没有属性’文本‘
python、beautifulsoup
from bs4 import BeautifulSoup
import urllib.request
import win_unicode_console
win_unicode_console.enable()
link = ('https://pietroalbini.io/')
req = urllib.request.Request(link, headers={'User-Agent': 'Mozilla/5.0'})
url = urllib.request.urlopen(req).read()
soup = Beau
浏览 1提问于2016-03-18得票数 8
1回答
如何从“美丽汤”的标题中提取信息？
python、web-scraping、beautifulsoup
我正试图从屏幕截图中发布的html中提取评级。它嵌入在div下的标题中。下面的代码返回“无”
HTML：
from bs4 import BeautifulSoup
html_soup = BeautifulSoup(response.text, 'html.parser')
type(html_soup)
rest_container = html_soup.find_all('div',
class_ = 'i-stars i-stars--regular-5 rating-large')
first_rest=rest_c
浏览 2提问于2018-01-10得票数 0
1回答
如何使用BeautifulSoup从表中提取单列
python
我正在尝试从这个中提取主题列表
到目前为止我的代码
import urllib2
from bs4 import BeautifulSoup
quote_page = 'https://www.fda.gov/ICECI/EnforcementActions/WarningLetters/2017/default.htm'
page = urllib2.urlopen(quote_page)
soup = BeautifulSoup(page, 'html.parser')
soup.prettify()
print soup.find_all("tab
浏览 0提问于2017-04-28得票数 1
2回答
不同类的Soup.Find
python、beautifulsoup
我有一个关于python的问题，我只想抓取一个带有不同属性类的页面，并在它们上循环，所以这是我需要的html代码：
‘：“类: a”
‘'div'：“类: b”
'h1‘：“类: c”
页面中只有一个，所以我尝试使用"else if“和" try”语句，但我仍然不明白。此代码仅适用于一个类：
#!/usr/bin/env python
import csv
import requests
from bs4 import BeautifulSoup
urls = csv.reader(open('link.csv'))
for
浏览 2提问于2017-01-29得票数 1
回答已采纳
2回答
BeautifulSoup没有读取节标记中的html组件。
python、web-scraping、beautifulsoup
我试图从以下链接：中删除数据，但是在执行以下代码时：
import urllib
from bs4 import BeautifulSoup
import xml.etree.ElementTree as ET
url= "https://www.kickstarter.com/projects/298226251/subform-a-modern-tool-for-digital-product-designer"
html=urllib.urlopen(url).read()
soup=BeautifulSoup(html,"html.parser")
浏览 4提问于2016-10-31得票数 0
回答已采纳
1回答
从bing中提取链接
python、beautifulsoup
我在使用Python和BeautifulSoup从必应搜索引擎中提取urls时遇到了问题。我想提取<div class="b_title">标记中的内容，但当我运行此代码时，urls变量为空：
import requests, re
from bs4 import BeautifulSoup
payload = { 'q' : 'sport', 'first' : '11' }
headers = { 'User-agent' : 'Mozilla/11.0' }
req
浏览 2提问于2018-05-07得票数 1
3回答
为什么这种提取在示例上很好，而在真实的url上却不起作用？
python-3.x、beautifulsoup
我正在尝试提取href在a类中的内容，该类位于<td class="DataZone">内部。它在下面的示例中工作。
from bs4 import BeautifulSoup
text = '''
<td class="DataZone"><div id="Content_CA_DI_0_DataZone">
<div style="font:bold 8pt 'Courier New';letter-spacing:-1px">
<
浏览 2提问于2020-08-22得票数 2
回答已采纳
1回答
从维基百科文章中删除书目
python、python-3.x、beautifulsoup
我用的是这个代码：
from bs4 import BeautifulSoup
import requests
html = requests.get(url).content
soup = BeautifulSoup(html, features = "html.parser")
for t in soup.find_all(["script", "style"]):
t.decompose()
for t in soup.find_all("div", class_ = "reflist"):
浏览 1提问于2020-11-07得票数 0
回答已采纳
2回答
如何使用漂亮的汤从html文档中获取<text>标记
python、html、python-3.x、beautifulsoup
如何使用用于<text>的漂亮汤从html文档中获取标记
我希望使用下面的代码提取<text></text>标记的所有子标记名
from bs4 import BeautifulSoup
import urllib.request
url ='https://www.sec.gov/Archives/edgar/data/1800/000104746919000624/a2237733z10-k.htm'
htmlpage = urllib.request.urlopen(url)
soup = BeautifulSoup(htmlpage,
浏览 0提问于2019-06-26得票数 3
回答已采纳
1回答
使用Python&BeautifulSoup从Vkontakte提取跟随者数字
python、twitter、beautifulsoup
我正试图从俄罗斯社交网络Vkontakte的一个页面中提取追随者的数量。由于我是Python的完全初学者，我尝试使用我在StackOverflow上发现的一段代码来提取推特上的追随者计数。这是原始代码：
from bs4 import BeautifulSoup
import requests
username='realDonaldTrump'
url = 'https://www.twitter.com/'+username
r = requests.get(url)
soup = BeautifulSoup(r.content, "html.par
浏览 2提问于2017-10-16得票数 0
回答已采纳
1回答
用BeautifulSoup从HTML中提取特定的urls
beautifulsoup、raspberry-pi4
我需要从给定的HTML中提取特定的urls。例如，<a>和属性href如下所示：
<a href="https://hoster.com/some_description-specific_name-more_description.html">
我只需要提取包含"hoster.com“和"specific_name”的urls。
我在覆盆子Pi上使用了BeautifulSoup，但我只能提取HTML的所有ULR。
from bs4 import BeautifulSoup
with open("page.html")
浏览 2提问于2022-04-03得票数 -1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频活动推荐
腾讯云开发者
