Python BeautifulSoup选择属性以开头的所有元素
答案：
Python BeautifulSoup是一个用于解析HTML和XML文档的第三方库。它提供了一种简单而直观的方式来遍历、搜索和修改文档树，并提供了多种解析器供选择。
对于选择属性以开头的所有元素，可以使用BeautifulSoup的find_all()方法结合CSS选择器来实现。具体步骤如下：
- 导入BeautifulSoup库：
from bs4 import BeautifulSoup- 创建BeautifulSoup对象并解析HTML文档：
html = """
<html>
<head>
<title>Example</title>
</head>
<body>
<div class="example-class" data-attr="value1">Element 1</div>
<div class="another-class" data-attr="value2">Element 2</div>
<div class="example-class" data-attr="value3">Element 3</div>
<div class="example-class" data-attr="value4">Element 4</div>
</body>
</html>
"""
soup = BeautifulSoup(html, 'html.parser')- 使用find_all()方法选择属性以开头的所有元素：
elements = soup.find_all(lambda tag: tag.has_attr('data-attr') and tag['data-attr'].startswith('value'))
for element in elements:
print(element)以上代码将输出所有具有以'value'开头的属性的元素。注意，lambda表达式用于定义一个匿名函数，其中tag是指每个标签对象，通过tag.has_attr()检查标签是否具有指定属性，通过tag['data-attr'].startswith()检查属性值是否以'value'开头。
对于推荐的腾讯云相关产品和产品介绍链接地址，可参考以下内容：
腾讯云相关产品：
- 云服务器CVM：提供弹性计算能力，可满足不同规模的计算需求。产品介绍链接：https://cloud.tencent.com/product/cvm
- 云数据库CDB：提供稳定可靠的关系型数据库服务。产品介绍链接：https://cloud.tencent.com/product/cdb
- 云存储COS：提供安全可靠、低成本的云端存储服务。产品介绍链接：https://cloud.tencent.com/product/cos
请注意，以上产品链接仅作为示例，实际使用时应根据需求选择合适的腾讯云产品。
相关·内容
我很难使用Beautiful 4从存储在span标记中的许多html文件中提取内容
我使用了soupstrainer和find( "dl“)将html简化为带有”dl“标记的重复项，然后找到所有的跨度。
我的问题是如何从每个span中提取正确的值，并将其存储在变量中，以及如何处理
<span class="iconYes">Public</span>
<span class="iconNo">Private</span>
所以我知道他们提供的服务
我的Python3代码
WebText=Beautiful
浏览 3提问于2016-03-19得票数 0
2回答
我是一个新的Python程序员，学习如何设计网页刮板。我所遵循的教程使用了我在下面发布的代码，并试图遵循它。但是，代码运行时没有显示任何信息，而且我在VSCode中得到了两条问题消息，告诉我：
缺少方法'requests.get‘的超时参数会导致程序无限期挂起pylint (缺失超时) Ln 4，Col 12。
2)缺少模块docstring pylint(缺少模块-docstring)Ln 1，Col 1
import requests
from bs4 import BeautifulSoup
response = requests.get("https://
浏览 5提问于2022-10-19得票数 -1
我正在使用python 2.7.8。我不知道到底发生了什么。一切都很顺利，但突然出现了这个错误。我真的不明白这是什么。找了很多，但没能解决。
完全错误是：
IOError: [Errno 2] The system cannot find the path specified: '\\settings\\ads\\preferences?hl=en'
这是我的代码：
#!/usr/bin/env python
import re
import requests
import urllib
from bs4 import BeautifulSoup
def addtoinde
浏览 0提问于2016-04-04得票数 0
回答已采纳
19回答
如何按类查找元素
、、、
我在使用Beautifulsoup解析带有"class“属性的HTML元素时遇到了问题。代码如下所示
soup = BeautifulSoup(sdata)
mydivs = soup.findAll('div')
for div in mydivs:
if (div["class"] == "stylelistrow"):
print div
在脚本结束后，我在同一行得到了一个错误。
File "./beautifulcoding.py", line 130, in getlanguage
浏览 6提问于2011-02-18得票数 532
回答已采纳
1回答
我正在尝试使用Python脚本从网页中获取链接。但我发现了错误：
如果链接0:4 == '/wiki‘和链接!= '#':TypeError：'NoneType’对象是不可订阅的。
你能帮忙吗？
from bs4 import BeautifulSoup
import requests
my_url = ('https://en.wikipedia.org/wiki/Kashmir')
response = requests.get(my_url)
page_soup = BeautifulSoup(response.content, &
浏览 0提问于2019-05-19得票数 1
回答已采纳
我不知道这是什么：
的第33行
.row [class^="span"] {
display: inline;
float: left;
margin-left: 20px;
}
我理解这种风格，但我以前从未见过这种风格
[class^="span"]
浏览 2提问于2011-09-10得票数 61
我在一个文件中遇到了css选择器，如下所示：
#contactDetails ul li a, a[href^=tel] {....}
浏览 3提问于2013-01-03得票数 41
回答已采纳
我在这个网站上读到的答案描述了在BeautifulSoup中使用reg ex进行'find‘查询。然而，关于reg ex的使用以及在使用'select_one‘时查询多个标签，答案并不是很清楚。
具体地说，我有两个标记，如下所示。
'#CommitYear14'
'#CommitYear12'
因此，我只需要一个查询来查找匹配的内容“”that“”。
我现在的问题是
college_info = beautiful_soup_parsing.select_one(tag)
其中，tag是“#CommonYear14”或“#CommendYear1
浏览 1提问于2019-06-11得票数 0
我使用Python和HTML解析器来选择BeautfulSoup元素。然而，我无法让它工作。
response = requests_session.post(login_url, headers=headers, data=data_credentials) # log in to the requests Session so that you can reuse it
search_url= 'https://www.website.com/search.php'
p_id='342953'
response = requests_session.ge
浏览 2提问于2019-04-20得票数 1
1回答
我正在编写一个使用beautiful soup解析xml文档的python脚本。有些文档包含名为"area“的元素。由于某些原因，我无法正确地解析这些元素。它们总是作为空的<area/>元素出现。
下面是正在发生的事情的一个极小的例子：
#!/usr/bin/python3.5
from bs4 import BeautifulSoup
xml = """""
<?xml version = '1.0' encoding = 'UTF-8' standalone = 'yes'?
浏览 4提问于2017-11-23得票数 2
回答已采纳
1回答
如何选择I以"row_“开头的所有元素，例如"row_223425”、"row_at264“等？
我最终想要做的是给这个结构中的每个甚至.productWrapper div一个背景颜色：
<div id="container">
<div id="row_2531865">
<div class="productWrapper">
Product 1 content here...
</div>
</di
浏览 0提问于2010-08-20得票数 0
回答已采纳
1回答
我已经刮了标题和网站链接，但我没有提取电话号码和地址。我怎么弄到它们？
我现在拥有的是：
import re
import requests
from bs4 import BeautifulSoup
url='https://www.constructionplacements.com/top-construction-companies-in-india/'
req=requests.get(url)
soup =BeautifulSoup(req.content,'lxml')
for h4 in soup.find_all(lambda tag:
浏览 6提问于2022-01-07得票数 0
回答已采纳
你能帮我简化这个选择器吗？
代码如下：
$("input[name='grpQuestion1'], input[name='grpQuestion2'], input[name='grpQuestion4']").change(function (event) {
/* Some code here */
});
浏览 1提问于2012-09-01得票数 2
回答已采纳
我正在处理带有漂亮汤4.3.2的html/xhtml链接，并且在元素中出现br时遇到了一些奇怪的情况。
from bs4 import BeautifulSoup
html = BeautifulSoup('<html><head></head><body><a href="/track?no=ABCD0000000">ABCD0000000<br /></a></body></html>')
html.find_all('a', tex
浏览 3提问于2014-08-08得票数 3
回答已采纳
2回答
我要解析的HTML中有以下元素：
<td class="line"> GARBAGE </td>
<td class="line text"> I WANT THAT </td>
<td class="line heading"> I WANT THAT </td>
<td class="line"> GARBAGE </td>
如何使CSS选择器选择具有属性、类行和类(可以是标题、文本或其他任何内容)的元素，而不只是属性类行？
我试过
浏览 2提问于2016-08-23得票数 5
回答已采纳
我试图获取一个页面链接到的页面列表(使用标记)。在解析页面时，我使用BeautifulSoup：
page = opener.open(url)
soup = BeautifulSoup(page.read(), features='lxml')
links = soup.findAll("a", href=True)
for link in links:
validLink = bool(re.match(r'^(?:https?:\/\/)?(?:[^@\/\n]+@)?(?:www\.)?([^:\/\n]+)', link[
浏览 1提问于2019-04-24得票数 0
回答已采纳
这不是绝对必要的，但它会使代码更短，而且可能更快。我想使用Selenium对通常属于同一个类的web元素执行相同的操作，但是如果单击其中一个元素，则会动态地更改其类以指定它是“活动”元素。基本上，我只能通过类名(XPATH)定位这些元素。是否有方法将属于同一变量的不同类的元素存储到同一变量中，然后对该变量执行操作？
浏览 0提问于2021-11-30得票数 0
回答已采纳
2回答
使用python解析网页
、、、、
我正试图解析一个网页(forums.macrumors.com)，并得到所有发布的线程的列表。
因此，到目前为止，我已经得到了如下结论：
import urllib2
import re
from BeautifulSoup import BeautifulSoup
address = "http://forums.macrumors.com/forums/os/"
website = urllib2.urlopen(address)
website_html = website.read()
text = urllib
浏览 3提问于2015-06-22得票数 0
回答已采纳
1回答
我正在用Python3.5开发一个网络爬虫。使用请求和Beautifulsoup4。我正在尝试获得所有主题的链接在论坛的第一页。并将它们添加到列表中。
我有两个问题：
1)不确定如何使用beautifulsoup获得链接，我无法进入链接本身，只有div 2) Beautifulsoup似乎只返回了几个主题，而不是所有的主题。
def getTopics():
topics = []
url = 'http://forum.jogos.uol.com.br/pc_f_40'
source_code = requests.get(url)
plain_text = source_c
浏览 1提问于2015-10-28得票数 1
使用BeautifulSoup，我希望只返回包含"Company“的"a”标记，而不返回href字符串中的“扇区”。是否有一种方法可以使用re.compile()中的regex只返回公司而不是部门？
代码：
soup = soup.findAll('tr')[5].findAll('a') print(soup)
输出
[<a class="example" href="../ref/index.htm">Example</a>,
<a href="?Company=FB&
浏览 8提问于2016-05-05得票数 2
回答已采纳
2回答
我是python的新手，并开始尝试使用“美丽汤4”，我试着编写代码，将所有链接放在一个页面上，然后使用这些链接重复prosses，直到我对整个网站进行分析。
import bs4 as bs
import urllib.request as url
links_unclean = []
links_clean = []
soup = bs.BeautifulSoup(url.urlopen('https://pythonprogramming.net/parsememcparseface/').read(), 'html.parser')
for url i
浏览 1提问于2019-03-16得票数 1
回答已采纳
我有一段这样的代码：
<div class="container">
<div class="row">
<div class="col">
<input class="form-control" type="text" id="#first">
</div>
<div class="col">
<in
浏览 0提问于2018-03-02得票数 0
5回答
当我在一个站点上工作时，我遇到了一个需要选择带有动态id号的div类的情况。例如，每个新的div类都会在其类名中携带来自我的数据库的"id“，如下所示：
<div class="reply_to_08"></div>
所以我可以这样做
.reply_to_08 {}
但是我不想为每个div编写一个新的css选择器。我想选择其中包含".reply_to_“的所有参数，而忽略动态数字"08”。
所以我在一个网站上的一篇博客文章中找到了一个解决方案：
div[class^=reply_to_]
好吧，它是有效的，但没有解释为什么它会工
浏览 1提问于2012-01-11得票数 0
回答已采纳
我对web抓取很陌生，遇到了一个带有以下代码的小路障：
import requests
from bs4 import BeautifulSoup
url = "www.website.com"
page = requests.get(url)
soup = BeautifulSoup(page.content, "html.parser")
price_scripts = soup.find_all('script')[23]
print(price_scripts)
所提取的脚本似乎都是Python脚本。下面是从上面的代码中打印出来的内容：
浏览 5提问于2019-11-27得票数 1
回答已采纳
我正在尝试编写一个xpath表达式，它选择属性id以CompanyCalendar开头的所有div标记。下面是我正在查看的HTML的一个片段：
<td class="some class" align="center" onclick="Calendar_DayClicked(this,'EventCont','Event');">
<span class="Text"></span>
<div id="Company
浏览 0提问于2014-10-15得票数 23
回答已采纳
我正在尝试理解python代码。它有一份声明
soup.findAll()
其中soup是Beautifulsoup object
我打印了结果的类型和长度
类型：<class 'bs4.element.ResultSet'>
长度= 1359
findAll与这里的匹配是什么？
浏览 2提问于2015-04-05得票数 0
回答已采纳
1回答
我正在开发一些关于bootstrap的项目，其中一个类遇到了一些问题。
.nav-pills > .active > a > [class^="icon-"],
.nav-pills > .active > a > [class*=" icon-"],
你能给我一些链接，在那里我可以找到关于这个课程的一些信息^/*。它把我的代码弄得乱七八糟，你知道用谷歌搜索那些符号和类键盘有多难)
浏览 0提问于2012-11-28得票数 0
回答已采纳
我正在尝试使用BeautifulSoup来提取一些链接。
下面是我使用的python代码。
resp = urlopen("http://target-page.com").read().decode("utf-8")
soup = BeautifulSoup(resp, "html.parser")
all_links = soup.find_all("a")
for link in all_links:
print(link["href"])
下面是我用print("soup")得到的一
浏览 12提问于2017-03-05得票数 1
对于我的移动应用程序，我使用多页面布局的jquery mobile (一个html，多个页面)。我用相同的页脚id在所有页面上引用了一个页脚。在其中一个页面上，页脚文本已更改。如何将此更改传播到我的多页面jquery移动应用程序的其他页面上的所有其他页脚。
<div data-role="page" id="page1">
<header data-role="header"></header>
<div class="content" data-rol
浏览 0提问于2012-04-09得票数 0
回答已采纳
给定一些html代码，我如何删除所有标记，保留文本、img和标签？例如，我有
<div><script bla bla></script><p>Hello all <a href ="xx"></a> <img rscr="xx"></img></p></div>
我想留下
Hello to <a href ="xx"></a> <img rscr="xx"></img&
浏览 6提问于2017-02-02得票数 3
回答已采纳
我有以下代码，它是我从这个中获得的：
from bs4 import BeautifulSoup
import requests
req=requests.get("http://www.aflcio.org/Legislation-and-Politics/Legislative-Alerts")
data=req.text
soup=BeautifulSoup(data)
letters=soup.find_all("div",class_="ec_statements")
print(letters)
我收到以下错误：
Traceback
浏览 1提问于2015-12-16得票数 2
1回答
如何从网页中获取图像
、、、、
我正在编辑一个Python脚本，它从一个网页上获取图像(这需要一个私有登录，所以我张贴一个链接到它是没有意义的)。它使用BeautifulSoup库，原始脚本是。
我想做的是定制这个脚本，以获得一个图像，其中的HTML具有id属性id="fimage"。它没有课。以下是代码：
from bs4 import BeautifulSoup
import urllib.request
import urllib.parse
import urllib.error
from urllib.request import urlopen
# use this image scraper
浏览 0提问于2014-10-13得票数 0
回答已采纳
1回答
爬行机制的问题
、、、
下面是我的twitter爬虫机制的一小部分代码片段：
from BeautifulSoup import BeautifulSoup
import re
import urllib2
url = 'http://mobile.twitter.com/NYTimesKrugman'
def gettweets(soup):
tags = soup.findAll('div', {'class' : "list-tweet"})#to obtain tweet of a follower
for tag in ta
浏览 2提问于2011-08-05得票数 0
回答已采纳
我使用作为解析通过Wiktionary返回的JSON的起点。我想定制这段代码，以提取任何单词的IPA发音信息。我本来希望自己写的，但是没有进展，所以我开始乱搞上面链接的代码。我几乎全部理解，但我碰到的地方是这样的：
$("#wikiInfo").find('a:not(.references a):not(.extiw):not([href^="#"])').attr('href',
function() {
return baseURL + $(this).attr("href");
}
);
我
浏览 1提问于2017-08-15得票数 2
回答已采纳
2回答
我想从指定的父标记中获取任意级别嵌套兄弟姐妹下的所有img标记，但是我的实现没有打印出任何el。
<div class='grand'>
<div>
<img src='1.png'>
</div>
<div>
<div>
<img src='2.png'>
</div>
</div>
<img src='3.png
浏览 3提问于2020-05-02得票数 1
回答已采纳
我在为我的页面浏览示例时遇到了一个奇怪的JQuery选择器。你们中的任何人可以解释它是如何工作的，我可以用它在HTML中选择具有唯一索引的ID吗？
//The selector which I don't know how it works
//what is "^" exactly for?
"div[id^='myModal']"
//How Jquery for me dyanimcally creates HTML with Array elements and indexes ID's
id=\"Moda
浏览 17提问于2020-02-17得票数 0
我使用BeautifulSoup和urllib2来下载和解析超文本标记语言页面。问题出在格式错误的HTML页面。尽管BeautifulSoup擅长处理格式错误的超文本标记语言，但它仍然不如火狐。
考虑到Firefox或Webkit在处理HTML方面更新、更灵活，我认为理想的做法是使用它们来构造和规范化页面的DOM树，然后通过Python对其进行操作。
然而，我找不到任何相同的python绑定。有没有人能给我一个建议？
我遇到了一些运行无头Firefox进程并通过python操作它的解决方案，但是有没有更有python风格的解决方案呢？
浏览 1提问于2009-04-22得票数 6
回答已采纳
我正在从一个网站上提取一些数据，我可以成功地浏览到列出了前一天所有更新数据的页面，但现在我需要迭代所有的链接，并将每个页面的源代码保存到一个文件中。
在文件中，我想使用BeautifulSoup更好地排列数据，这样我就可以解析它。
#learn.py
from BeautifulSoup import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
url1 = 'https://odyssey.tarrantcounty.com/default.
浏览 2提问于2014-08-02得票数 1
2回答
我有多个类的span标签：
<div class="container">
<span class="otherclass item3">Text</span>
<span class="otherclass item1">Blah</span>
<span class="item2">Stuff</span>
</div>
我感兴趣的是计算带有'item‘前缀的类的span元素的数量。我知道我可以做到：
$(doc
浏览 2提问于2013-06-19得票数 1
回答已采纳
目前，我有id名称为CDT-B2-1, CDT-B2-2, and CDT-B2-3的元素。
我想使用document.querySelector()来选择这3
我使用这个代码document.querySelector(`[id="CDT-B2-*"]`)，但它没有工作。
元素id名称是动态的，所以它并不总是CDT-B2-1, CDT-B2-2, and CDT-B2-3，但有时它可以是CDT-B2-10, CDT-B2-20, and CDT-B2-27
浏览 3提问于2021-08-11得票数 1
回答已采纳
在BeautifulSoup中，如果我想找到其类为span3的所有div，我只需这样做：
result = soup.findAll("div",{"class":"span3"})
但是，在我的例子中，我想查找类以span3开头的所有div，因此，BeautifulSoup应该找到：
<div id="span3 span49">
<div id="span3 span39">
以此类推。
我如何实现我想要的？我熟悉正则表达式；但是我不知道如何将它们实现为美丽的汤，也没有通过阅读Beaut
浏览 2提问于2016-02-18得票数 25
回答已采纳
下面是url的html源：
<h1>Queue <<hotspot-00:26:BB:05:BB:10>> Statistics </h1>
<ul>
<li>Source-addresses: 10.10.1.130
<li>Destination-address: ::/0
<li>Max-limit: 1.02Mb/2.04Mb (Total: <i>unlimited</i>)
<li>Limit-at: 1
浏览 2提问于2019-09-23得票数 1
回答已采纳
我尝试了许多次，但都未能以可靠和完整的方式记录我需要的数据。我理解用于自动化简单任务的python和selenium的极端基础知识，但在这种情况下，内容是动态生成的，我无法找到正确的方法来访问并随后记录我需要的所有数据。 我要从中抓取内容的URL的结构类似于以下内容： https://dutchie.com/embedded-menu/revolutionary-clinics-somerville/menu 特别是，我正在尝试使用像这样的东西来获取所有信息- browser.find_elements_by_xpath('//*[@id="products-containe
浏览 3提问于2021-05-01得票数 1
回答已采纳
1回答
Web链接抓取
、、
我正在做一个项目，它需要我从网站上抓取独特的链接，并将它们保存到CSV文件中。我已经阅读了相当多关于如何做到这一点的材料，我看过视频，做了关于Pluralsight和LinkedIn学习的培训，我基本上弄清楚了这种情况，作业中有一个方面我不确定该怎么做。 该程序被认为是从给定的域(见下面的代码)和域外的任何网络链接刮网络链接。 import bs4 as bs
from bs4 import BeautifulSoup
import urllib.request
import urllib.parse
BASE_url = urllib.request.urlopen("https
浏览 19提问于2019-04-13得票数 0
回答已采纳
我有一些代码看起来
[class|="e"]
{
margin: 0 0 0 0;
}
这|=是什么意思？我应该搜索什么？
我尝试搜索堆栈溢出(它可以找到标点符号)和谷歌，但它很难搜索没有名字。
浏览 0提问于2014-05-05得票数 3
回答已采纳
2回答
我有一个PHP选项卡脚本，它从由链接定义的jQuery文件中获取内容，并将其解析为div元素。当页面加载时，已经选择了一个选项卡，用户可以选择另一个选项卡。但是，当您单击选项卡之外的任何位置时，选定的选项卡将被删除。为什么会这样呢？
这是我当前的jQuery代码：
function load(url){
$.ajax({
url:url,
success:function(message){
$("#content").html(message);
}
});
}
$(document).
浏览 1提问于2011-07-08得票数 0
回答已采纳
1回答
XPath选择属性名以开头的节点
、、、、
假设一个HTML文件看起来像这个简化的摘录：
<body>
<p data-x-foo="...">...</p>
<p>...</p>
<div data-x-bar="...">...sil</div>
</body>
我可以使用哪个XPath表达式来选择包含"data-x-*“属性的每个节点？
为了给出更多的上下文，我使用PHP并想要查询一个DOMXpath对象。
浏览 8提问于2018-03-01得票数 2
回答已采纳
我使用的是Beautiful汤4.4和python 3.6.6。我已经提取了所有的链接，但是我无法打印出所有包含
“类”：“_self”
这是我要从链接列表中获取的完整链接。
{'href': 'https://www.racingnsw.com.au/news/latest-racing-news/highway-sixtysix-on-right-route/', 'class': ['_self'], 'target': '_self'}
虽然语法看起来像bs4上的文档，但语法不正确。
浏览 0提问于2018-07-08得票数 0
回答已采纳
我想在返回的http头中找到一个url。根据，有一种方法可以使用soup.find_all(re.compile("yourRegex")来收集数组中的regex匹配。但是，我的regex中肯定缺少了一些内容，它在的regex查找中有一个匹配项，但不匹配以下代码：
从bs4导入BeautifulSoup导入请求重新导入csv导入json导入时间导入文件输入导入urllib2
data = urllib2.urlopen("http://stackoverflow.com/questions/16627227/http-error-403-in-python-3-web-
浏览 5提问于2014-10-23得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
