使用Beautiful Soup查找具有部分id值的标签
Beautiful Soup是一个Python库，用于从HTML或XML文档中提取数据。它提供了一种方便的方式来解析和遍历HTML/XML树，并根据各种标准选择器（如标签名、类名、id、属性等）查找和操作标签。
在Beautiful Soup中，可以使用.find()或.find_all()方法来查找具有部分id值的标签。这两个方法接受一个字典参数，其中可以使用id关键字来指定部分id值。以下是一个示例代码：
from bs4 import BeautifulSoup
html = '''
<html>
<body>
<div id="content1">Content 1</div>
<div id="content2">Content 2</div>
<div id="other">Other Content</div>
</body>
</html>
'''
soup = BeautifulSoup(html, 'html.parser')
# 使用find_all()方法查找具有部分id值的标签
partial_id = "content"
result = soup.find_all(id=lambda value: value and partial_id in value)
for tag in result:
print(tag)
# 输出：
# <div id="content1">Content 1</div>
# <div id="content2">Content 2</div>在上面的代码中，我们定义了一个HTML字符串，并将其传递给Beautiful Soup进行解析。然后，使用.find_all()方法并通过lambda函数来筛选具有部分id值的标签。输出结果显示了具有部分id值的两个<div>标签。
关于Beautiful Soup的更多详细用法和示例，可以参考腾讯云的文档链接：Beautiful Soup官方文档
相关·内容
我使用Python中的Beautiful Soup。
以下是一个示例URL：
在HTML中，有一堆标记，我指定要查找哪些标记的唯一方法是使用它们的id。我唯一想找的就是电话号码。标签看起来像这样：
<td class="dispTxt" id="value_xxx_c_1_f_8_a_134242498">5134231582</td>
我去了同一网站上的其他URL，每次都发现电话号码标签的id几乎相同。始终保持不变的部分是：
'value_xxx_c_1_f_8_a_'
然而，在那之后的数字总是变化的。有没有一种方法
浏览 1提问于2012-08-13得票数 5
回答已采纳
3回答
我真的希望能够让Beautiful Soup匹配任何标签列表，就像这样。我知道attr接受正则表达式，但是在漂亮的汤中有什么东西允许你这样做吗？
soup.findAll("(a|div)")
输出：
<a> ASDFS
<div> asdfasdf
<a> asdfsdf
我的目标是创建一个可以从网站抓取表格的抓取器。有时标签的命名不一致，我希望能够输入一个标签列表来命名表格的“数据”部分。
浏览 0提问于2014-07-15得票数 27
回答已采纳
1回答
我目前有一个包含beautiful_soup列的Pandas DataFrame (它包含一个BeautifulSoup对象)。我想为几个超文本标记语言标签(例如，img标签的数量)添加一个列。
例如，这是我使用列表理解的旧代码：
df['text_img_count'] = [len(x.find_all('img')) for x in df['beautiful_soup']]
但是使用apply应该更快，所以我想转换这段代码。
我在考虑写一个可以传递给apply的小函数，就像这样：
def get_imgs_count():
然后我会这样
浏览 6提问于2017-08-15得票数 0
2回答
使用Beautiful Soup4，我尝试打印不带标签的h1内容。
我使用的是python 3.6和Beautiful Soup 4。
from urllib.request import urlopen
from bs4 import BeautifulSoup
html = urlopen('https:/place_holder.com/')
bs = BeautifulSoup(html.read(), 'html.parser')
headings = bs.find_all('h1')
浏览 6提问于2019-08-09得票数 0
1回答
我正在网络上抓取UpWork求职建议，并找到了包含所有招聘信息的div标签，它的开始标签看起来像这样：
<div data-job-list-responsive="" data-ng-if="isInitialRequestComplete && !(isSavedJobsTabAvailable && isSavedJobsTab())" class="ng-scope">
#bunch of section objects for each job proposal
<\div>
浏览 17提问于2021-06-09得票数 0
1回答
我正在尝试使用python和Beautiful Soup4来替换一些html中的每一个换行标记。
文档中有<br>、<br/>和</br>标签，但由于Beautiful Soup处理标签的方式，每当它找到一个<br>时，它就会删除它与它看到的下一个</br>之间的所有内容。
有什么办法可以解决这个问题吗？
浏览 3提问于2014-12-19得票数 1
我正试图从MLB.com检索2016年赛季的球员统计数据。我正在使用Python中的Beautiful，我需要提取表中的信息：
以下是我所做的尝试：
r=requests.get(url)
soup=BeautifulSoup(r.content,'html.parser')
gdata=soup.find_all('div',{'id':'datagrid'})
print(gdata)
这应该会返回标签中的所有子标记，但它不会返回。这样做的结果如下：
[<div id="datagrid"><
浏览 3提问于2017-05-01得票数 0
回答已采纳
1回答
标签python html
、、、、
我想从一个给定的网站中提取出所有的标签:例如，“我喜欢#stack overflow，因为#人们非常乐于助人！”这应该会将3个标签拉到一个表中。在我的目标网站上，有一个带有#标签描述的表格，这样我们就可以找到#love这个标签讲述了爱
这是我的工作：
#import the library used to query a website
import urllib2
#specify the url
wiki = "https://www.symplur.com/healthcare-hashtags/tweet-chats/all"
#
浏览 9提问于2017-08-01得票数 1
回答已采纳
我试图使用Python代码中的Beautiful从url中提取体育数据。这个数据源的问题是数据出现在html标记中。具体来说，这个标签的标题是"“
我要的是玩家数据--这些数据似乎是XML格式的。然而，这些数据出现在"match“标记中，而不是作为开始/结束标记中的内容出现。
就像这样：
print(soup.match)
返回：(不包括所有文本)：
<match :matchdata='{"match":{"id":"5dbb8e20-6f37-11eb-924a-1f6b8ad68.....ALL DATA HERE..
浏览 5提问于2021-04-08得票数 0
回答已采纳
2回答
我正在试着从这个中抓取那些过生日的人
下面是现有的代码：
hdr = {'User-Agent': 'Mozilla/5.0'}
site = "http://en.wikipedia.org/wiki/"+"january"+"_"+"1"
req = urllib2.Request(site,headers=hdr)
page = urllib2.urlopen(req)
soup = BeautifulSoup(page)
print soup
这一切都很好，我得到了整个HTML页面
浏览 0提问于2013-07-17得票数 2
回答已采纳
1回答
阻止美汤关闭我的标签
、、、、
我用PHP导入页眉和页脚，在其中关闭头部，开始和关闭正文，并关闭html。如下所示：
<html>
<head>
<?php include ('Header.php');?>
CODE
<?php include ('Footer.php');?>
美丽的汤试图通过插入标签来修复这个问题，以修复我的“坏”标签。
<html>
<head>
<?php include ('Header.php');?>
</head><body> <
浏览 13提问于2018-08-18得票数 0
1回答
使用Python的Beautiful，我分析了许多html文件(内部：soup)。它们都有点不同，我的目标有四个不同的标签--或者根本没有。在两种情况下，我的目标可能不在那里，但标记可能存在。在这种情况下，我找到了一个↵。
在这里，我有一个非常难看的代码来检查它们：
#1: in <div class = "section ack">
if len(soup.find_all("div", {"class":"section ack"})) > 0:
thanktag = soup.find("d
浏览 0提问于2015-04-13得票数 2
回答已采纳
如果Beautiful Soup给我一个这样的锚标签：
<a class="blah blah" id="blah blah" href="link.html"></a>
如何检索href属性的值？
浏览 3提问于2009-11-06得票数 10
1回答
我正在尝试保存一个使用Python 3和Beautiful Soup 4的网站上的电影列表。问题是，我对Python和BS非常陌生，我真的不知道从哪里开始。
网站是，电影列表紧跟在“过去的电影：”之后。我不知道如何提取那块数据。我一直在谷歌搜索，似乎Beautiful Soup在试图查找标签时效果最好，但我只需要它来找到一个文本列表，而不是在任何特定的标签中(该网站不是专业设计的)。
有没有办法让Beautiful Soup和Python提取“过去的电影：”和“对于我们播放过的电影的完整列表，请点击这里”之间的文本？
浏览 3提问于2016-05-12得票数 6
回答已采纳
我有这样的文本：
<div>
<script></script>
<h1>name</h1>
<p> Description </p>
<i> italic </i>
</div>
我想删除除h标签和p标签之外的所有html标签。为此，我尝试创建一个更通用的方法，如下所示：
def strip_tags(text, a_list_of_tags_to_not_remove)
使用下面的Beautiful Soup代码，我可以删除所有的html标记，但它不允许保
浏览 1提问于2018-10-16得票数 1
4回答
目前，我正试图用python和Beautiful Soup一起编写一个脚本，以更改indigo文件(.igs)中的摄像机，但我遇到了一个特定的问题：
<scenedata>
<tonemapping> <camera>...</camera> </tonemapping>
<camera>...</camera>
</scenedata>
我只想删除不在“调色”标签中的“相机”标签。
我试过soup.find('').replace，_with和soup.select(&
浏览 5提问于2021-12-12得票数 0
我刚刚开始接触Python，正如许多人所做的一样，我从一个web抓取示例开始尝试这种语言。我尝试的是收集任何特定标签类型的内容，并将其作为列表返回。为此，我使用BeautifulSoup和请求。这个测试使用的站点是一个名为“Staxel”的小游戏的博客。
我可以让我的代码使用soup.find和print输出标签的第一次出现，但是当我将代码更改为下面的代码时，我会收到关于将列表打印为固定变量的警告。
有人能说明一下我该用什么吗？
# import libraries
import requests
import ssl
from bs4 import BeautifulSoup
# set
浏览 0提问于2019-02-06得票数 1
回答已采纳
是否可以只对页面上两个字符串之间包含的内容运行Beautiful Soup？
在反复遇到使用Yahoo Pipes进行截屏的限制后，我开始使用Beautiful Soup，部分原因是Scraperwiki上提供了托管版本。
Yahoo Pipes中的HTML Import块的一个方便之处在于，它允许您标识开始字符串和结束字符串，因此可以将抓取限制在页面的特定区域。
我在Beautiful soup中找到了一种从/from/中抓取特定字符串的方法：
def scrapeFrom(soup,txt,el,attr=''):
`start=soup.find(text=txt)`
浏览 0提问于2010-11-04得票数 1
如何使用Beautiful Soup(库)在HTML页面中的title标签后面添加一个meta标签。我正在使用python语言进行编码，但无法做到这一点。
浏览 2提问于2014-04-16得票数 3
我使用以下脚本对登录到LinkedIn进行身份验证，然后使用Beautiful Soup抓取HTML。
登录身份验证没有问题(我看到了我的帐户信息)，但是当我试图加载页面时，我得到一个"fs.config({"failureRedirect})“错误。
import cookielib
import os
import urllib
import urllib2
import re
import string
import sys
from bs4 import BeautifulSoup
username = "MY USERNAME"
password =
浏览 3提问于2015-02-03得票数 1
2回答
美丽的汤找不到线
、、
在解析http://en.wikipedia.org/wiki/Israel时，我遇到一个包含文本的H2标记，但Beautiful Soup为它返回了一个None类型：
$ python
Python 2.7.3 (default, Apr 10 2013, 05:13:16)
[GCC 4.7.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import bs4
>>>
浏览 0提问于2013-08-30得票数 2
1回答
我正在尝试使用Beautiful Soup来解析xml文件，我尝试阅读了Crummy的BS文档，但没有找到任何令人满意的xml解析。现在，我只能弄清楚这一点：
file = open("input.xml")
page = file.read()
soup = BeautifulSoup(page, "xml")
for word in soup.findAll('word'):
word_attr = dict(word.attrs)
netag = word.find('ner')
nertag =
浏览 2提问于2014-10-21得票数 0
我试图从数据-ldpemail标签中删除信息，而不是整个a标记。
关于我如何用巨蟒和漂亮的汤来做这件事，有什么想法吗？我不断得到整个标签，而不仅仅是‘数据-ldpemail’。下面是示例标记：
<a class="lf_font-weight--light agent-email mailto" data-ldpphone="111-111-111" data-ldpemail="person@company.com" data-personid="10480733">Me</a>
import reque
浏览 3提问于2020-02-25得票数 1
回答已采纳
当我检查网页上的代码时，我可以看到html和javascript。我已经使用Beautiful Soup来导入和解析html，但是有一大段是用javascript编写的，它从可编程逻辑控制器(PLC)中提取变量。在我用Beautiful Soup加载和解析之后，我找不到python中的数据--只有html代码。
PLC正在被网页直接读取，我看到实时值在我面前更新，但我不能直接导入它们。屏幕截图显示的是inspect窗口中的代码。假设我想用class="on"属性导入变量id="aout7"，我该怎么做呢？
浏览 3提问于2019-03-13得票数 0
我可以使用Beautifulsoup抓取数据，现在我希望生成一个文件，其中包含我使用Beautiful Soup抓取的所有数据。
file = open("copy.txt", "w")
data = soup.get_text()
data
file.write(soup.get_text())
file.close()
我在文本文件中看不到所有的标签和全部内容。有关于如何实现它的想法吗？
浏览 0提问于2019-12-28得票数 1
我正在尝试使用Beautiful Soup中的find方法来获取某个标签的内部文本。当我输入一个变量作为find的参数时，它返回None，但是使用相同文本的str输入将返回我想要的结果。为什么会这样呢？ 以下是代码片段： soup = BeautifulSoup(raceResults, 'html.parser')
racedetdict={
"courseGoing": '{"class": "rp-raceTimeCourseName_condition"}',
"race
浏览 39提问于2020-06-14得票数 0
回答已采纳
2回答
为什么通过查找以<a href="开头的字符串的所有实例来获取beautiful soup内容并提取所有链接是不明智的。如果不能使用beautiful soup，还有什么其他方法可以提取链接？
浏览 1提问于2015-01-02得票数 0
如何通过python获取用户为HTML页面输入的文本？
例如：
<html>
<input id="post_form_id" name="fooput" value="" />
</html>
现在，用户在文本字段中输入值abcxyz。如何使用python获取该值？我已经知道它是如何通过javascript实现的，但我想使用python来实现它。
另外，我已经尝试过Beautiful Soup，但它只能返回字段的预设值。所以我能做到
soup=BeautifulSoup(open("myhtmldoc
浏览 1提问于2012-06-13得票数 2
回答已采纳
我有一点困难，让我的代码，以解决问题。我正在尝试使用selenium、漂亮的汤和python来抓取覆盖层或灯箱的内容。我不太清楚覆盖是如何创建的，但我认为它的ajax
当我运行下面的python2.7代码时，火狐浏览器打开，导航到页面，点击正确的链接并显示覆盖到用户，我可以检查它的标签和标记使用火狐，但我不知道如何让python访问覆盖。
这位新手若能提供任何帮助，将不胜感激。
#Import the beautiful soup library
from bs4 import BeautifulSoup
# import urllib2 library to actually go get
浏览 1提问于2015-11-24得票数 3
回答已采纳
从下面的链接中，我希望能够抓取数据。然而，当我使用Beautiful Soup时，我在html中找不到它，并且Beautiful soup不起作用。此外，我想也许我可以使用selenium来抓取这些数据，但我也找不到这些内容。你知道我会如何使用selenium或Beautiful Soup来获得2015-2020年间每年1月的“这个家”的Z估计值吗？提前感谢您的帮助。我正在使用Python。
浏览 0提问于2020-08-17得票数 1
我正在使用Beautiful Soup来尝试从石油价格网上刮掉商品表格。我可以找到第一个div，table，table body，以及表体的行。但是在其中一行中有一列，我使用Beautiful soup找不到它。当我告诉python打印特定行中的所有表时，它没有显示我想要的表。这是我的代码：
from urllib2 import urlopen
from bs4 import BeautifulSoup
html = urlopen('http://oil-price.net').read()
soup = BeautifulSoup(html)
div = soup.f
浏览 0提问于2014-02-09得票数 1
回答已采纳
我使用漂亮的soup4进行网页抓取，但是find_all('tables')没有结果。
下面是我的代码：
#import the library used to query a website
import urllib.request
#specify the url
wiki="https://en.wikipedia.org/wiki/List_of_state_and_union_territory_capitals_in_India"
#Query the website and return the html to the variable
浏览 0提问于2017-08-12得票数 0
3回答
我正在解析一个HTMl页面，并且很难弄清楚如何在没有类或id的情况下拉出某个'p‘标签。我正在试着用lat和long来达到'p‘的标签。下面是我当前的代码：
import bs4
from urllib import urlopen as uReq #this opens the URL
from bs4 import BeautifulSoup as soup #parses/cuts the html
my_url = 'http://www.fortwiki.com/Battery_Adair'
print(my_url)
uClient
浏览 0提问于2018-04-03得票数 4
回答已采纳
1回答
下面的代码提供了如下所示的HTML代码：
from urllib.request import urlopen
from bs4 import BeautifulSoup
# open webpage
url = "https://www.google.com/finance?cid=12377955"
pageSource = urlopen(url).read()
# parse HTML into Beautiful Soup
savSoup = BeautifulSoup(pageSource, "html.parser")
# extract d
浏览 0提问于2016-03-22得票数 0
6回答
我正在用Beautiful Soup 3解析一些HTML，但是它包含了Beautiful Soup 3不能自动为我解码的HTML实体：
>>> from BeautifulSoup import BeautifulSoup
>>> soup = BeautifulSoup("<p>£682m</p>")
>>> text = soup.find("p").string
>>> print text
£682m
如何将text
浏览 0提问于2010-01-19得票数 324
回答已采纳
这是我的代码：
from bs4 import BeautifulSoup as BS
import urllib2
url = "http://services.runescape.com/m=news/recruit-a-friend-for-free-membership-and-xp"
res = urllib2.urlopen(url)
soup = BS(res.read())
other_content = soup.find_all('div',{'class':'Content'})[0]
print other
浏览 3提问于2012-12-20得票数 4
回答已采纳
我正在尝试在里面提取锚定标签...(附在下面的屏幕截图)与BeautifulSoup，但得到空的列表，而只有锚标签是工作的。
我阅读了BeautifulSoup文档，并尝试了select()方法和find_all()方法，但仍然给出了一个空列表。
>>> import requests, webbrowser, bs4
>>> res = requests.get('https://www.google.com/search?q=beautiful+soup')
>>> soup = bs4.BeautifulSoup(re
浏览 4提问于2019-09-07得票数 0
我正在尝试使用Beautiful来构建一个字典，其中包含了许多不同的博客帖子ids的标签。
我首先编写了一个函数来处理一个post ID：
def tags(id_):
r = h.unescape(requests.get('https://example.com/category/'+id_).text)
soup = BeautifulSoup(r)
return {"id": id_, "tags": [tag.text for tag in soup.find("ul",
浏览 1提问于2015-07-06得票数 2
回答已采纳
2回答
我正在开发一个从特定站点抓取数据的python脚本。我使用Beautiful Soap作为python模块。HTML页面中有趣的数据包含在下面的结构中：
<tbody aria-live="polite" aria-relevant="all">
<tr style="">
<td>
<a href="www.server.com/art/crag">Name<a>
</td>
<td class="nowra
浏览 2提问于2017-05-15得票数 0
我尝试使用Beautiful Soup4访问页面上的DIV元素的样式，但我一直收到一个关键错误。我知道样式肯定在那里，因为我可以使用浏览器中的检查器检查它们，并且我可以看到带有"header large border“类的DIV的样式。(见附图) 这是我的代码； url = 'https://www.themoviedb.org/movie/595743-sas-red-notice'
response = requests.get(url, headers=headers)
soup = bs4.BeautifulSoup(response.text, 'h
浏览 31提问于2021-09-19得票数 1
1回答
利用美汤识别DJIA数据
、、、
我是编程新手，正在尝试编写一个脚本，在运行时以一定的时间间隔拉取市场数据，然后比较每次拉取之间的增量，并通知用户变化-寻找简单的变化，假设在任何时间间隔>1.1%。 我最初的方法是运行一个Beautiful Soup脚本来获取发布的市场数据，使用Yahoo Finance或Barron的，因为这两个似乎都有HTML代码中的数据： https://finance.yahoo.com/calendar http://www.barrons.com/mdc/public/page/9_3000.html?mod=bol_mdc_topnav_9_3000 这就是我所得到的，没有太多的运气，f
浏览 11提问于2019-05-02得票数 2
回答已采纳
我是Beautiful Soup的新用户，正在尝试创建一个从YouTube url检索视图计数的婴儿应用程序。
所以，我看了一下BS文档，我发现你可以通过它们的id来检索它们。因此，我尝试检索信息id -但每当我尝试这样做时，它都会显示为"None"，所以它一定没有找到id。
import requests
import urllib.request
import time
from bs4 import BeautifulSoup
url = 'https://www.youtube.com/watch?v=bUPvE5yv72I'
respons
浏览 3提问于2019-07-14得票数 0
回答已采纳
3回答
我很难用BeautifulSoup4.(我是个十足的Python/BeautifulSoup新手，所以如果我笨的话，请原谅我)
为什么下面的代码：
from bs4 import BeautifulSoup
soup_ko = BeautifulSoup('<select><option>foo</option><option>bar & baz</option><option>qux</option></select>')
soup_ok = BeautifulSoup(
浏览 3提问于2013-06-05得票数 1
回答已采纳
我有以下html：
<html lang="en-US" xml:lang="en-US" xmlns="http://www.w3.org/1999/xhtml">
<body>
<title>CATe - hj1612</title>
</td></tr></table>
</td></tr></table></td><td><img src="icons/arrowredright.g
浏览 0提问于2013-10-19得票数 1
回答已采纳
我正在尝试使用Python漂亮的soup解析器解析网页，但遇到了一个问题。
我们从他们那里得到的HTML头声明了一个utf-8字符集，因此Beautiful Soup以utf-8对整个文档进行了编码，实际上HTML标签也是以UTF-8编码的，所以我们得到了一个结构良好的HTML页面。
问题是，这个愚蠢的网站将gb2312编码的正文文本注入到页面中，页面被漂亮的汤解析为utf-8。有没有办法将文本从"gb2312假装是utf-8“状态转换为”utf-8字符集的正确表达“？
浏览 2提问于2012-08-02得票数 0
回答已采纳
2回答
所以我可能只是在这里装傻，不了解python的基本机制，但我正在尝试浏览和爬行一个网页，然后获得一个新的链接并递归地继续。
def go_to_next_page(soup, data, curr_link):
print "Curr Link: " + curr_link
# gather information and append to data
new_link = "" # unless I find link with Beautiful Soup
if new_link is not "":
浏览 0提问于2013-07-26得票数 1
一点背景(我在编程方面是超级新手，请耐心听我说)：
我正在尝试从谷歌地图中获取duration_in_traffic数字(我知道有一个应用程序接口，但这个数据片段仅限于‘商业地图’，所以我认为这将是最简单的路线)。
当我使用Beautiful Soup查找所有的<div>标签时，几乎什么都没有显示出来。在仔细检查元素后，页面的大部分看起来嵌套在一个标记下，如下所示：
<jsl jstcache="79"></jsl>
我假设这与javascript和页面的动态特性有关，但是有没有办法使用Beautiful Soup访问这个jsl标记下的分区呢
浏览 0提问于2015-08-18得票数 2
Beautiful Soup允许div (或其他过滤器)排除html代码吗？
我正在尝试解析编写得非常糟糕的代码，在解析所需内容时没有适当的标签、id、类或任何其他内容。
我正在寻找的是一个select或findall一个id中不是某个类的所有东西。根据下面的示例代码，我需要id-main中没有包含在class-toc-indentation中的所有内容。
下面我有main_txt和toc_txt，虽然我的目标是进一步解析出带有toc_txt的main_txt。
soup = BeautifulSoup(orig_file)
title = soup.find('tit
浏览 0提问于2013-12-13得票数 4
2回答
我正在尝试抓取这个页面https://ntrs.nasa.gov/search。我使用下面的代码，当有更多的标签时，Beautiful soup只找到了3个标签。我尝试过使用html5lib、lxml和HTML解析器，但它们都不起作用。 你能告诉我有什么问题吗？ import requests
import urllib.request
import time
from bs4 import BeautifulSoup
# Set the URL
url = 'https://ntrs.nasa.gov/search'
# Connect to the URL
respo
浏览 22提问于2021-06-18得票数 0
回答已采纳
2回答
我的HTML代码是：“1. <a href="/title/tt0111161/?ref_=adv_li_tt">The Shawshank Redemption</a>
<span class="lister-item-year text-muted unbold">(1994)</span> “ 如何使用Beautiful soup从'a‘标签中提取“肖申克的救世主”？
浏览 26提问于2020-03-28得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
