如何在使用Python抓取时摆脱特定的div标签？
在使用Python抓取时摆脱特定的div标签，可以通过以下几种方法实现：
- 使用BeautifulSoup库：BeautifulSoup是一个Python库，可以帮助解析HTML或XML文档。可以使用该库的find_all()方法来查找特定的div标签，并通过extract()方法将其从文档中删除。以下是一个示例代码：
from bs4 import BeautifulSoup
# 假设html为要抓取的HTML文档
soup = BeautifulSoup(html, 'html.parser')
# 查找特定的div标签
divs = soup.find_all('div', {'class': 'specific-div'})
# 删除特定的div标签
for div in divs:
div.extract()- 使用正则表达式：如果你熟悉正则表达式，也可以使用re模块来匹配和删除特定的div标签。以下是一个示例代码：
import re
# 假设html为要抓取的HTML文档
pattern = r'<div\s+class="specific-div".*?</div>'
html = re.sub(pattern, '', html, flags=re.DOTALL)- 使用XPath：如果你对XPath比较熟悉，可以使用lxml库结合XPath来选择和删除特定的div标签。以下是一个示例代码：
from lxml import etree
# 假设html为要抓取的HTML文档
tree = etree.HTML(html)
# 查找特定的div标签
divs = tree.xpath('//div[@class="specific-div"]')
# 删除特定的div标签
for div in divs:
div.getparent().remove(div)以上是几种常用的方法，根据具体情况选择适合的方法来摆脱特定的div标签。
相关·内容
1回答
为什么xpath输出在爬行amazon网站时提供空白输出。请帮助解决以下问题
python、xpath、beautifulsoup、domxpath
下面是我用来抓取amazon站点的代码，但是输出结果为空白值。请帮帮忙
from bs4 import BeautifulSoup
import pandas as pd
from lxml import etree
import requests
import time
HEADERS = ({'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:94.0) Gecko/20100101 Firefox/94.0','Accept-Language': 'en-US, e
浏览 11提问于2022-03-21得票数 0
1回答
webscraping:使用python: airbnb列表从html中的xpath中提取url
python、xpath、web-scraping、beautifulsoup、lxml
我正在尝试使用Python3库从AirBnb的城市页面中提取列表的urls。我熟悉如何使用Beautifulsoup和requests库来抓取更简单的网站。
网址：'‘
如果我检查页面上链接的元素(在Chrome中)，我会得到：
xpath: "//*[@id="listing-9770909"]/div[2]/a"
selector: "listing-9770909 > div._v72lrv > a"
我的尝试：
import requests
from bs4 import BeautifulSoup
url =
浏览 16提问于2018-08-31得票数 0
1回答
从网页中抓取信息
python、html、web-scraping
我已经梳理了这个网站，并尝试了几种方法，但都没有效果。我试图从bscscan.com (见附件图片)中抓取令牌的最高持有者百分比和钱包地址。以下是我的尝试。如果带有此信息的端点不是高级服务，Bscscan API将使我摆脱痛苦。另外，如果你知道一种不那么痛苦的方法来获取这些信息，请不要犹豫。请建议以下任何一种方法，提前谢谢。 import requests
from bs4 import BeautifulSoup
from lxml import etree
token = "0x7754c0584372D29510C019136220f91e25a8f706"
url
浏览 7提问于2021-10-09得票数 2
回答已采纳
1回答
使用lxml.html与BeautifulSoup定位元素
python、beautifulsoup、lxml
我正在使用lxml.html抓取一个html文档；在BeautifulSoup中有一件事我可以做，但是用lxml.htm做不到。这就是它：
from BeautifulSoup import BeautifulSoup
import re
doc = ['<html>',
'<h2> some text </h2>',
'<p> some more text </p>',
'<table> <tr> <td> A table</td&g
浏览 5提问于2011-04-23得票数 0
回答已采纳
2回答
如何在python bs4中使用xpath获取字符串？
python、html、beautifulsoup、lxml、xml.etree
我需要使用python和bs4将字符串放入li标记中。我正在尝试下面的代码：
from bs4 import BeautifulSoup
from lxml import etree
html_doc = """
<html>
<head>
</head>
<body>
<div class="container">
<section id="page">
<div class="content">
浏览 2提问于2022-03-26得票数 0
回答已采纳
2回答
元素中子节点的控制方法，在xpath之后使用lxml给出。
python、xpath、lxml
我在我的pc机中试用了以下示例代码
from bs4 import BeautifulSoup
from lxml import etree, html
import requests
URL = "https://en.wikipedia.org/wiki/Nike,_Inc."
HEADERS = ({'User-Agent':
'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 \
(
浏览 7提问于2022-11-02得票数 0
2回答
如何使用lxml，XPath和Python从网页中提取链接？
python、screen-scraping、hyperlink、lxml、extraction
我得到了这个xpath查询：
/html/body//tbody/tr[*]/td[*]/a[@title]/@href
它提取所有带有标题属性的链接-并在中给出href。
但是，我似乎不能在lxml中使用它。
from lxml import etree
parsedPage = etree.HTML(page) # Create parse tree from valid page.
# Xpath query
hyperlinks = parsedPage.xpath("/html/body//tbody/tr[*]/td[*]/a[@title]/@href")
f
浏览 0提问于2010-01-18得票数 5
回答已采纳
1回答
BeautifulSoup / lxml:大型元素是否存在问题？
python、python-2.7、beautifulsoup、lxml、activepython
import os, re, sys, urllib2
from bs4 import BeautifulSoup
import lxml
html = urllib2.urlopen("http://www.hoerzu.de/tv-programm/jetzt/")
soup = BeautifulSoup(html, "lxml")
divs = soup.find_all("div", {"class":"block"})
print len(divs)
输出：
ActivePython 2.7.2.5
浏览 5提问于2013-04-16得票数 1
2回答
在Airbnb中针对特定城市或位置的主机排名
python-3.x、web-scraping
我想从Airbnb网站上获得一个主机的排名，通过抓取与个人评论和排名在该地区的页面数据。我能够从页面获得评论的数量，但没有任何关于排名的想法。以下是我的代码
from bs4 import BeautifulSoup # BeautifulSoup is in bs4 package
import requests
URL = input("Please enter an URL to the number of reviews \n")
#'https://www.airbnb.co.in/users/show/154131896'
content = r
浏览 0提问于2020-09-02得票数 2
1回答
使用lxml从站点抓取信息
python、html、parsing、screen-scraping、lxml
我正在尝试使用lxml从站点Reddit.com获取所有标题的列表。我使用了这个查询：
reddit = etree.HTML( urllib.urlopen("http://www.reddit.com/r/all/top").read() )
reddit.xpath("//div[contains(@class,'title')]//b/text()")
但是，当我运行表达式时，Python shell中什么也没有出现。XPath是否不正确？
使用Python 2.7运行
下面是完整的代码：
import urllib
import
浏览 1提问于2011-01-16得票数 0
回答已采纳
1回答
BeautifulSoup返回一个TypeError: NoneType的对象没有len()
python、python-3.x、web-scraping、beautifulsoup、python-requests
我使用BeautifulSoup来抓取数据，并返回列表中所有div的列表，但是它给了我这个错误：
Traceback (most recent call last):
File "C:\Users\intel\Desktop\One page\test.py", line 16, in <module>
soup = BeautifulSoup(div.html,'html5lib')
File "C:\Users\intel\AppData\Local\Programs\Python\Python38\lib\site-pa
浏览 0提问于2020-11-06得票数 0
回答已采纳
4回答
解析网站上的HTML以进行抓取
python、html、scrape
我无法正确解析此网站上的html：
我想提取行"Latitude 34°02'48.57"，经度117°02'09.16“。虽然这显示在页面源代码(web开发人员工具)的第862行中，但当我通过BeautifulSoup解析时，它不会显示出来。使用lxml解析器也不会产生预期的结果。
import requests
import re
from bs4 import BeautifulSoup
page = requests.get('https://nwis.waterdata.usgs.gov/usa/nwis/gwlevels/?site_no=
浏览 0提问于2017-09-26得票数 1
1回答
我有以下Python代码，它从特定url上的每个链接中抓取所有锚文本链接和相应的href值：
from requests_html import HTMLSession
from urllib.request import urlopen
from bs4 import BeautifulSoup
import requests
url="https://www.mydomain.co.uk/my-url"
session = HTMLSession()
r = session.get(url)
b = requests.get(url)
soup = Beautifu
浏览 3提问于2021-03-11得票数 0
回答已采纳
2回答
使用BeautifulSoup和Python3从html中删除元素
html、python-3.x、web-scraping、beautifulsoup
我正在从web上抓取数据，并尝试删除所有具有标签'div‘和类’note module‘的元素，如下所示：
<div class="notes module" role="complementary">
<h3 class="heading">Notes:</h3>
<ul class="associations">
<li>
Translation into Русский available:
浏览 0提问于2017-12-23得票数 0
3回答
Web从ajax页面抓取数据
python、ajax、web-scraping、beautifulsoup、python-requests
我正在尝试从here上抓取职位。 我正在学习python抓取技术，但我遇到了抓取像这样的Ajax页面的问题。我能够使用第一页的以下代码获得开发人员工具的响应数据。如何从这些数据中提取职位。 from bs4 import BeautifulSoup
import requests
import json
s = requests.Session()
headers={"User-Agent":"Mozilla/5.0"}
r=s.get('https://epco.taleo.net/careersection/alljobs/jobsearch.f
浏览 54提问于2021-07-21得票数 1
1回答
尝试从amazon获取基于xpath的价格，但如果else语句不能正常工作
python、web-scraping、xpath、beautifulsoup
我试图根据xpath从amazon获取价格，但是如果solve语句不能正常工作--有人能帮我解决这个问题吗？如果第一个xpath没有找到该服务，那么它将通过第二个xpath找到
from bs4 import BeautifulSoup
from lxml import etree
import requests
HEADERS = ({'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:94.0) Gecko/20100101 Firefox/94.0','Accept-Languag
浏览 3提问于2022-03-28得票数 -3
回答已采纳
2回答
美丽的汤什么也不回
python、html、beautifulsoup
这是HTML代码：
<div xmlns="" style="box-sizing: border-box; width: 100%; margin: 0 0 10px 0; padding: 5px 10px; background: #fdc431; font-weight: bold; font-size: 14px; line-height: 20px; color: #fff;">42263 - Unencrypted Telnet Server</div>
我正在尝试使用美丽汤打印42263 - Unencrypted Tel
浏览 1提问于2018-04-05得票数 1
回答已采纳
1回答
Python/HTML如何在没有cookie顾问的情况下抓取网页内容？
javascript、python、html、cookies
我正在尝试用Python抓取网页的内容，并且我能够获得我需要的所有内容，但是在返回的HTML中也有cookie顾问。我想删除它，但是我不知道如何将它排除在XPath查询或中。在这里，您可以在页脚中找到顾问。
#!C:/Python27/python
from lxml import etree
import requests
import cgi
fs = cgi.FieldStorage()
q =fs.getfirst ("URL")
page = requests.get(q)
if q.find("http://www.dlib.org") !=
浏览 0提问于2015-09-02得票数 1
回答已采纳
1回答
如何在csv文件中添加刮过的数据？
python、python-3.x、csv、web-scraping、beautifulsoup
我对网络抓取很陌生，我从一个网站上抓取数据，在那里我刮了第一页href，然后我去每个href，在类‘address - data’中找到'p标记‘。我想把一个url 'p标记’数据存储在一行中，第二个url 'p标记‘标签在第二个row.My数据中附加在’myUrl‘中，我想把数据保存在csv文件中，地址，长线，电话，电子邮件，然后新的行开始。
这里是我的代码：
from bs4 import BeautifulSoup
import requests
import csv
myUrl=[]
urls = ["http://www.shaditayari.pk
浏览 3提问于2017-11-03得票数 1
3回答
使用BeautifulSoup抓取谷歌搜索结果描述
python、beautifulsoup、google-search
我想使用BeautifulSoup抓取谷歌搜索结果的描述，但我无法抓取包含描述的标签。
祖先：
html
body#gsr.srp.vasq.wf-b
div#main
div#cnt.big
div.mw
div#rcnt
div.col
div#center_col
div#res.med
div#search
div
div#rso
div.g
div.rc
div.IsZvec
div
span.aCOpRe
孩子们
em
Python代码：
from bs4 import BeautifulSoup
import requests
import bs4.builder._lxml
i
浏览 31提问于2020-11-18得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
