使用scrapy从Javascript网站提取数据时得到空结果
问题描述：使用scrapy从Javascript网站提取数据时得到空结果。
解决方案： 在处理Javascript网站时，使用scrapy可能会遇到无法提取到数据的问题。这是因为scrapy默认情况下只能处理静态页面，无法执行Javascript代码。
为了解决这个问题，可以考虑使用以下几种方法：
- 使用Scrapy-Splash：Scrapy-Splash是一个与Scrapy集成的Javascript渲染服务。它通过调用Splash服务来执行网页中的Javascript，并将渲染后的页面返回给Scrapy进行解析。你可以将Scrapy-Splash集成到你的项目中，并使用它来处理Javascript渲染的网站。
- 推荐的腾讯云相关产品：腾讯云容器服务 TKE 产品介绍链接地址：https://cloud.tencent.com/product/tke
- 使用Selenium：Selenium是一个自动化测试工具，可以模拟用户在浏览器中的操作。你可以使用Selenium来打开网页并执行Javascript代码，然后从渲染后的页面中提取数据。在Scrapy中，你可以通过调用Selenium来获取Javascript渲染后的页面内容，并进行解析。
- 推荐的腾讯云相关产品：腾讯云容器服务 TKE 产品介绍链接地址：https://cloud.tencent.com/product/tke
- 分析API接口：有些网站会提供API接口供开发者获取数据，这些API接口通常会返回结构化的数据，可以直接使用Scrapy进行提取。你可以通过浏览器开发者工具或网络抓包工具来分析网站的API接口，并根据API文档使用Scrapy发送请求并解析响应数据。
- 推荐的腾讯云相关产品：腾讯云API网关 产品介绍链接地址：https://cloud.tencent.com/product/apigateway
通过使用上述方法之一，你应该能够解决使用scrapy从Javascript网站提取数据时得到空结果的问题。根据具体的情况选择合适的方法，并根据需要进行相应的配置和开发。
相关·内容
我正在尝试从一个网站中提取数据，这些网站提供的信息如下： <html>......'user_id' : '', 'data_source' : 'Non AMP'</script> 我使用了以下命令)]/text()')
浏览 21提问于2021-08-03得票数 0
回答已采纳
我被指派使用python和scrapy创建一个爬虫来获取特定酒店的评论。我阅读了相当多的教程和指南，但我的代码仍然生成一个空的CSV文件。Item.py import scrapy
# define the fields for your item here like: StarRating = scrapy.Field()
T
浏览 20提问于2020-04-05得票数 0
我想了解如何使用Python中的Scrapy从下面的页面提取数据
https://fincaraiz.com.co/inmueble/apartamento-en-arriendo/florida-blanca/bogota/6738284问题
这个页面动态加载内容，所以当我从Scrapy发出请求
浏览 18提问于2022-02-18得票数 0
我试图使用scrapy-playwright从动态加载的javascript网站中提取一些数据，但我在一开始就坚持了下来。从我在settings.py文件中面临的测试结果来看，如下所示： DOWNLOAD_HANDLERS = {
"http": "scrapy_playwright.handler.ScrapyPlaywrightDownloadHandlertwisted.
浏览 67提问于2021-12-08得票数 3
我正在准备使用"scrapy shell“命令从网站中提取数据的脚本：
使用web浏览器进入url (例如"")，我将获取要提取的数据。该页包含静态数据+动态数据。使用命令"scrapy “，然后发出命令(”view(响应)“)，我可以在web浏览器中看到页面的静态数据，而不是动态数据
浏览 5提问于2013-07-21得票数 1
我已经为windows7安装了scrapy和docker工具箱，以便能够使用javascript从网站中抓取数据。安装似乎是好的，因为所有的检查都是预期的结果。Docker已经成功地提取了scrapinghub/splash，但是当我使用docker run -p 8050:8050 scrapinghub/splash运行它时，我得到了以下错误：
docker
浏览 3提问于2020-01-23得票数 0
回答已采纳
1回答
我正在学习如何使用scrappy，我想从这个中提取一些youtube视频链接。我写了这个脚本来提取链接从网站到一个json文件。import scrapy name = 'wbScraper'
start_urls = ['https://research.google.com//div[@class='u&#x
浏览 12提问于2020-03-06得票数 1
1回答
//div[@class='owl-wrapper']scrapy shell ("website")那个班就在那里请帮帮忙
屏幕截图从我的
浏览 0提问于2015-03-02得票数 1
回答已采纳
我有一个项目，我想把它放在一起做一个数据分析实验。我有一个管道，但我不知道如何继续获取我需要的数据。我想抓取一个网站，并找到所有的内部和外部链接，分开他们和爬行的外部链接递归，直到它达到一定的深度。我想要这样做，以创建一个网站的所有连接的图表，然后使用中心算法找到中心节点并从那里开始。理想情况下，我希望在这个项目中使用python 2。在爬行和创建图表时，任何帮助和/或建议都将是非常感谢的，特别是编辑：
我正在尝试实现您建议的解决方案，在下面的代码中，
浏览 2提问于2017-11-25得票数 0
2回答
我是第一次使用scrapy，我一直在尝试从意大利政府https://www.governo.it/it/cscovid19/report-vaccini/的网站上抓取接种疫苗的数量(中间的大数字)。我想我已经能够正确地设置scrapy了，当我在scrapy shell中写"view(response)“时，我正确地得到了整个网站，但是不管我用xpath写了什么，我都
浏览 34提问于2021-03-23得票数 0
回答已采纳
我刚接触scrapy，已经在这个简单的程序上花了很多时间，但我搞不懂。我使用chrome检查此页面中所有教授的链接的x路径，并使用控制台测试xpath。import scrapy
from scrapy.contrib.spiders import Rule
class scraperSpider(
浏览 4提问于2016-03-18得票数 0
1回答
使用scrapy删除空数据
、、、、
我使用scrapy从某个网站上抓取数据，但抓取的数据中充满了我不想要的空值，因此为了清理我提取的数据，我更改了pipeline.py脚本。当我提取一个或两个值时，它就起作用了，它就像一个咒语。但是，当我提取多个值时，由于每个提取行上至少有一个空值，因此算法最终删除了几乎所有的数据。有没有办法阻止这种情况的发生？
浏览 44提问于2020-04-27得票数 0
我正在使用Python Scrapy工具从网站提取数据。我能够抓取数据。现在我想要从一个特定的网站上刮下来的项目的计数。我怎样才能得到抓取的项目数？在Scrapy中有内置的类吗？任何帮助都将不胜感激。
浏览 0提问于2013-10-24得票数 1
我正试图从monsterindia.com上爬几页。但是，每当我在scrapy shell上编写任何xpath时，它都会给出空的结果。结果总是空白的。="job-tittle"]/text()').extract()得到了空的结果。然后，response.xpath('//*[@class="card-apply-content"]/t
浏览 1提问于2019-04-12得票数 0
回答已采纳
1回答
我正在尝试使用scrapy来收集谷歌搜索结果，并将其放入MongoDB。但是，我没有得到任何回应。我遗漏了什么？import scrapy
name = "google"
allowed_domains
浏览 2提问于2015-10-05得票数 0
请求包含完整的网站，并且提取了正确的值。 f.write(str(soup.body))
令我惊讶的是，这产生了同样的
浏览 4提问于2020-10-22得票数 0
1回答
我正在使用这个页面上的刮擦外壳来获取单个团队的统计数据。例如，我想为客场队(464)拉出总码，当检查元素和复制XPath生成时但当我跑//*[@id="team_stats&qu
浏览 3提问于2016-08-05得票数 0
回答已采纳
4回答
我正在抓取Flipcart网站，我想从该网站提取图像URL。。import scrapyclass QuotesSpider(scrapy.Spider): #items['product_page']=title这是我写的代码，在
浏览 1提问于2021-02-07得票数 0
我试着用Scrapy和Python从网站上抓取一些数据。问题是我的搜索结果总是被切断。我在两台不同的电脑上试过这个。一种是使用windows 10，scrapy 1.4.0，python 2.7.13。另一个是使用Windows 7，scrapy 1.4.0，python 2.7.13。我在这两台电脑上的结果是一样的。另一个例子是：
当在im网站上使用开发工具试图刮(或任何其他<e
浏览 3提问于2017-06-07得票数 0
回答已采纳
1回答
我刚刚开始使用Scrapy:下面是一个我想爬的网站的例子：
from scrapy.spider import BaseSpiderfrom dic_crawler.items import DicCrawlerItem
from urlBuilder我的问题是，如果我在xpath中选择“tbody”并返回一个<e
浏览 2提问于2013-11-07得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
云直播
即时通信 IM活动推荐
腾讯云开发者
