使用XPath从网页抓取中获取空结果

XPath是一种用于在XML文档中定位节点的查询语言。它可以用于从网页抓取中获取特定的数据。当使用XPath从网页抓取中获取空结果时，可能有以下几种原因：

定位路径错误：XPath使用路径表达式来定位节点，如果路径表达式错误，就无法获取到目标节点。在定位路径时，需要确保路径表达式正确，并且与网页结构相匹配。
网页结构变化：如果网页的结构发生变化，原先的XPath表达式可能无法准确地定位到目标节点。在这种情况下，需要更新XPath表达式，以适应新的网页结构。
动态加载内容：有些网页使用JavaScript或AJAX等技术动态加载内容，这些内容可能无法通过静态的XPath表达式获取。在这种情况下，可以使用模拟浏览器行为的工具，如Selenium，来获取动态加载的内容。
网页访问限制：有些网站可能对爬虫进行限制，如设置了验证码、IP封禁等。这些限制可能导致无法正常获取网页内容。在这种情况下，可以尝试使用代理IP、模拟登录等方式来规避限制。

总结起来，当使用XPath从网页抓取中获取空结果时，需要检查定位路径是否正确，网页结构是否发生变化，是否存在动态加载内容以及是否有网页访问限制等因素。根据具体情况进行调整和处理，以确保能够正确获取目标数据。

腾讯云相关产品和产品介绍链接地址：

腾讯云爬虫服务：提供高可用、高并发的爬虫服务，可用于网页抓取和数据采集。详情请参考：https://cloud.tencent.com/product/crawler
腾讯云内容安全：提供多维度的内容安全检测和过滤服务，可用于过滤非法、有害的网页内容。详情请参考：https://cloud.tencent.com/product/cms
腾讯云CDN加速：提供全球分布式的内容分发网络服务，可加速网页的访问速度和稳定性。详情请参考：https://cloud.tencent.com/product/cdn

使用XPath从网页抓取中获取空结果

python、xpath、web-scraping、python-requests

我使用下面的代码从“最便宜”标签中抓取票价。然而，我得到的结果是"[]“。有人能验证我的代码和XPath是正确的吗？我尝试过使用相对("//span@class='title price'")和绝对XPath。另外，我应该注意到，我使用的是一个在使用'Request‘之前首先呈现页面的服务。渲染应该不是问题所在。sort=price_a

浏览 10提问于2019-05-22得票数 0

2回答

Python -尝试使用Scrapy从web抓取中获取URL (href

python、html、web-scraping、scrapy

我正在尝试使用web抓取从网页中获取URL或href，特别是使用Scrapy。但是，当I response.xpath('XPATH').extract() href链接时，它返回一个空列表。我尝试获取的特定HTML元素href是：<a href="#2020-38970" class="redNoticeItem__labelLink&quo

浏览 27提问于2020-06-11得票数 0

回答已采纳

1回答

Scrapy:如何基于url正确创建scrapy.http.response.html.HtmlResponse对象

python、web-scraping、scrapy

我写了一个抓取蜘蛛来从有几个子页面的网页中抓取数据。他们中的每一个也有几个子页面等。我想访问所有的子子页面，并采取具体的信息从它。为了更深入地了解，我想用xpath()查询后续的子页面，以获得链接并输入它们。但是要使用xpath，我需要一个scrapy.http.response.html.HtmlResponse类的对象。from scrapy.http import HtmlResponse new_respo

浏览 35提问于2020-04-25得票数 0

1回答

正确的xpath返回空结果

xpath、scrapy

我想要从这个网页上的表格中抓取数据假设我想提取左上角单元格中的文本LM2015122827458，我使用了response.xpath("//tr[@class = 'tr_css']/

浏览 2提问于2016-01-05得票数 0

1回答

使用Xpath从此Etsy产品列表页面中抓取链接和描述

python、selenium、xpath、web-scraping、google-chrome-devtools

我试图抓取上的所有链接，然后从每个链接中提取产品描述。问题:找不到链接的正确xpath。要获取该网页上的链接的xpath并从中提取产品描述，应该如何设置？有没有办法只使用Chrome Dev工具和适当的Xpath，或者我需要Python

浏览 18提问于2018-03-03得票数 0

1回答

无法使用XPaths从网页获取价格

python、html、dom、xpath、web-crawler

我使用的是Content Egg WordPress插件，它会抓取价格并进行更新，但我无法从网页中获取价格。()`.//div[@class='price-desktop']//span[2]`请帮我找到合适的XPath来获取价格。

浏览 2提问于2021-10-18得票数 0

3回答

如何查找xpath表单网页

ruby-on-rails、xpath

我正在尝试查找xpath表单网页。我使用了3个附加组件从网页中查找xpath2) FireFinder这些函数返回一些xpath。我复制了这些xpath。在我的应用程序中，我使用nokogiri gem进行屏幕抓取。如果我在我的试验中输入这些xpath。这不是回应。我也尝试了以

浏览 0提问于2011-10-18得票数 0

回答已采纳

1回答

代码中有防刮保护的页面吗？

python-3.x、xpath、scrapy

我正在尝试从网页中提取信息，当处理Xpath helper (chrome扩展)时，它完美地显示了内容，但当它进行抓取时，它返回"None“或"empty"：Web：https://cutt.ly/bjj3ohW我已经尝试过Xpath (//*[@id="da_price"]，//*[@id="da_price"]/text())，.get('&#

浏览 14提问于2021-01-08得票数 1

回答已采纳

2回答

初学抓取，不断得到空列表

python、xpath、web-scraping

我决定尝试使用Python (使用lxml和请求)进行web抓取。我想要学习的网页是：from lxml import htmlpage=requests.get("http://www.football-lineups.com/season/Real_Madrid/2013-2014") tree=htm

浏览 1提问于2014-06-11得票数 1

1回答

使用xpath抓取网页内容时获取空列表

python、python-3.x、web-scraping、request、lxml

当我试图在下面的代码中使用xpath从url检索一些数据时，我会得到一个空列表：import requests tree = html.fromstring(page.content) print(tr

浏览 4提问于2021-11-09得票数 0

回答已采纳

2回答

使用Scrapy无法使用xpath从响应html中提取数据，原因是名称空间

python、xpath、scrapy、namespaces、web-crawler

我使用scrapy和xpath从网页中提取数据。我的html响应如下，我想提取高亮显示的"a“标记中的href链接。通常我使用response.xpath('//a@id="jr-alt-sw"/@href')获取数据，但在这里，我认为由于名称空间问题，结果是空的。如果存在命名空间，如何获得数据。

浏览 4提问于2020-03-18得票数 0

1回答

xpath在抓取文本时返回空节点列表。

php、xpath

我正在构建一个小的抓取工具，它将从google页面中绘制urls。我试图从包含url作为文本的“引号”中获得值。我使用curl加载网页到doms加载html。当我执行print_r时，结果将显示出来。所以卷发没有问题 $dom = new DOMDocument();

浏览 0提问于2014-02-04得票数 0

1回答

使用Python XPath lxml包抓取<span>标记中的文本

python、web-scraping、lxml

我正在尝试从网页上的标签中获取文本。使用Chrome的Inspect element功能，我看到我想要的文本如下所示： <span id> " 12"print(monsterAr

浏览 66提问于2020-07-08得票数 0

回答已采纳

2回答

难以理解Google，IMPORTXML和Xpath

xml、xpath、web-scraping、google-sheets、google-sheets-importxml

，我想构建两个查询：(1)获取评级(持有、购买等)。(2)这就抓住了为平均评级做出贡献的分析师的数量。www.barchart.com/stocks/quotes/W/analyst-ratings","//div[@class='block__colored-header rating']") 这给了我一个"#N/A导入的内容是空的“错误在Google中。div/div[2]/div

浏览 4提问于2020-07-05得票数 0

1回答

如何使用Selenium从javascript网页中刮取特定信息？

python、selenium-webdriver

正如我所相信的那样，我不能从javascript网页上抓取“解决方案”字段。网页地址：我需要提取描述，原因和解决方案。尝试了各种获取元素的方法，包括： find_element_by_class_name。什么也没有给出预期的结果。你能告诉我该怎么做吗？

浏览 0提问于2019-07-18得票数 0

回答已采纳

2回答

从唯一的html类从网站获取数据

html、web-scraping

如何从网站获取特定数据？如果它有帮助，那么我需要的数据被标记在一个唯一的html类下。

浏览 1提问于2015-07-24得票数 0

1回答

在没有BeautifulSoup的Python语言中将HTML表解析为列表

python、html、html-parsing

我想知道是否有一种方法可以从HTML表中提取数据，并仅使用HTMLParser将其解析到字典中。由于某种原因，我不能做这件事..

浏览 1提问于2012-03-04得票数 0

2回答

如何从网页中提取动态ajax内容

c#、parsing、c#-4.0、html-parsing、web-scraping

我的要求是从网页中提取所需的内容。该页面有一个使用ajax填充的部分。当我在页面源代码中查看时，它没有显示使用ajax加载的内容。部分内容将根据选中的复选框进行更改。页面源代码将只显示默认内容，而不显示使用ajax显示的内容。选中复选框后，我检查了页面源代码，但它仍然只显示默认值。如何获取该部分内容，

浏览 1提问于2012-08-24得票数 3

1回答

如何使用XPath在iOS上进行刮擦？

ios、swift、parsing、web-scraping、xpath

我正在寻找关于如何在XPath平台上使用iOS的信息。在苹果文档中，我发现了关于XPath 的信息，XPath只能在macOS上使用。我的目标是通过XPath抓取网页，但是我找不到任何有关这方面的信息，而不是XPath，我使用HTMLKit。有没有一种使用XPath脚本在iOS平台上抓取网页的方法？

浏览 2提问于2021-04-22得票数 2

回答已采纳

1回答

无法使用python路径从选项卡中提取数据

python、xpath、web-scraping

您好，我正在尝试从页面的选项卡中提取数据我在试着提取位置我使用下面的python代码和path(使用google chrome inspect)。priva-the-invincible-and-reusable-camera-privacy-s/description') testxpath= test_pagetree.xpath

浏览 2提问于2016-02-20得票数 0

点击加载更多