以递归方式解析数据的Scrapy crawler无法回调
Scrapy是一个基于Python的开源网络爬虫框架，用于快速、高效地从网页中提取数据。它提供了强大的工具和机制，使开发者能够轻松地编写和管理爬虫程序。
递归方式解析数据是Scrapy的一种常见方式，它通过定义爬虫规则和回调函数来实现。然而，有时候在使用递归方式解析数据时，可能会遇到无法回调的情况。这可能是由于以下几个原因导致的：
- 爬取的网页结构发生变化：如果目标网页的结构发生了变化，例如HTML标签的层次结构改变或者某些元素的属性发生变化，递归方式解析数据可能无法正确地找到目标数据，从而导致无法回调。
- 爬取的网页存在反爬虫机制：有些网站为了防止被爬虫程序抓取数据，会采取一些反爬虫机制，例如验证码、动态加载数据、IP封锁等。这些机制可能会导致递归方式解析数据无法正常工作，从而无法回调。
- 爬取的网页存在访问限制：有些网站对访问频率、并发连接数等进行了限制，如果爬虫程序超过了这些限制，可能会导致无法回调。
针对以上问题，可以尝试以下解决方案：
- 更新爬虫规则和回调函数：根据目标网页的变化，更新爬虫规则和回调函数，确保能够正确地找到目标数据。可以使用Scrapy提供的选择器（Selector）和XPath等工具来定位和提取数据。
- 处理反爬虫机制：针对网页的反爬虫机制，可以尝试使用一些技术手段进行处理，例如使用代理IP、模拟登录、解析动态加载数据等。具体的处理方法需要根据具体情况进行调整。
- 控制爬取频率和并发连接数：为了避免被网站封锁或限制访问，可以通过设置合理的下载延迟、并发连接数等参数来控制爬取的频率。可以使用Scrapy提供的下载中间件（Downloader Middleware）来实现这些功能。
总结起来，递归方式解析数据的Scrapy crawler无法回调可能是由于网页结构变化、反爬虫机制或访问限制等原因导致的。针对这些问题，可以通过更新爬虫规则和回调函数、处理反爬虫机制、控制爬取频率和并发连接数等方法来解决。具体的解决方案需要根据具体情况进行调整和实施。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云爬虫托管服务：提供了一站式的爬虫托管服务，可帮助用户快速搭建和管理爬虫程序。详情请参考：https://cloud.tencent.com/product/crawler-hosting
- 腾讯云CDN加速：提供全球分布式的内容分发网络，可加速网页的访问速度，提高爬取效率。详情请参考：https://cloud.tencent.com/product/cdn
- 腾讯云云服务器（CVM）：提供弹性、安全、稳定的云服务器，可用于部署和运行爬虫程序。详情请参考：https://cloud.tencent.com/product/cvm
相关·内容
我是一个新手，我用python scrapy写了一个脚本来递归地获取信息。 它首先抓取包含旅游信息的城市链接，然后跟踪每个城市并到达它们的页面。接下来，它在移动到下一页之前获取与城市相关的旅游的所需信息，依此类推。分页在没有可见链接的java-script上运行。我用来获得结果和csv输出的命令是： scrapy crawl pratice -o practice.csv -t csv 预期结果为csv文件： title, city,
浏览 32提问于2019-01-19得票数 0
回答已采纳
我目前正在做一个刮板项目，这对于确保每个请求都得到了正确的处理非常重要，也就是说，要么记录错误，要么保存成功的结果。我已经实现了基本的爬行器，现在我可以成功地处理99%的请求，但我可能会得到像captcha、50x、30x这样的错误，甚至在结果中没有足够的字段(然后我将尝试另一个网站来查找缺少的字段)。起初，我认为在解析回调中引发异常并在errback中处理它们更“合乎逻辑”，这可以使代码更具可读性。但我只想找出er
浏览 1提问于2012-06-17得票数 11
import signals, log from scrapy.settings import Settings正如您所看到的，让Scrapys信号系统调用我的回调的唯一方法是使它成为一个非部分的、模块级的可访问函数，而且我不知道如何在不将数据放入全局变量的情况下将额外<e
浏览 2提问于2015-04-30得票数 0
回答已采纳
我使用scrapy创建了一个项目并将数据保存到我的mongodb中。它能行得通。下面是我的代码：import scrapyimport time
from scrapy.utils.pro
浏览 0提问于2018-03-17得票数 1
希望只计算刮掉的东西的数量。python和scraping的新手，只需遵循示例，以及如何计算阿尔伯特·爱因斯坦出现的次数并打印到json文件。只是不能让它打印到文件使用打印，输出，或返回。import scrapy
name = "author" 'http
浏览 0提问于2020-07-03得票数 0
2回答
当我执行这样的脚本时，如何查看爬行器的解析函数的返回数据？from twisted.internet import reactorfrom scrapy.settings import Settingsfrom scrapy import log, signals
from testspiders.spiders.followall import
浏览 2提问于2013-09-25得票数 3
目前，我正在构建一个web应用程序，用于显示由一只刮伤蜘蛛收集的数据。用户发出请求，蜘蛛爬行一个网站，然后返回数据到应用程序，以便得到提示。我想直接从刮板中检索数据，而不依赖中间的.csv或.json文件。类似于：from scraper.spiders import MySpider
spider = MySpid
浏览 2提问于2016-11-21得票数 12
回答已采纳
我有一个爬虫，它抓取一些数据，并将一个项目生成到管道中。然后，管道检查该数据是否存在于数据库中。如果没有，它就会丢弃该项目。爬行器通过信号连接来调用item_drop信号上的回调。我想在item_dropped回调中向不同的url发出另一个请求，以便用额外的数据填充相同的项。如果我没有在回调中包含yield语句，它会触发，但如果我包含了，它就不会
浏览 12提问于2020-04-17得票数 0
回答已采纳
我试着用Scrapy做递归解析脚本，但是Request()函数没有调用回调函数Scrapy，也没有回调suppose_to_parse()中提供的任何函数。我尝试了不同的变体，但它们都不起作用。from scrapy.http import Requestfrom scrapy.selector impor
浏览 0提问于2013-03-23得票数 3
回答已采纳
2回答
我在python中创建了一个脚本，它使用scrapy和selenium来解析不同餐馆的主页链接，然后从内部页面解析每个餐馆的名称。import scrapy
from selenium import w
浏览 2提问于2019-05-14得票数 0
回调，Rule工作得很好。但是，第二个蜘蛛只运行来自第一个Rule的Rule回调，尽管第二个Rule与第一个Rule相同，并且运行在同一个页面上。
我显然错过了一些很简单的东西，但对于我的生活，我不知道它是什么.dont_filter=True --如果将其保留为默认的False，则不会执行parse_tournament_page回调。这表明Scrapy以某种方式</em
浏览 8提问于2021-12-18得票数 0
回答已采纳
1回答
未被调用的Python回调
、、、、
我在这里阅读了关于SitemapSpider类的文档：class CurrentHarvestSpider(scrapy.spiders.SitemapSpider): with open("/home/dan/debug/newegg_crawler.log运行pip install scrapy
浏览 7提问于2016-11-09得票数 0
回答已采纳
我正在为10.000+网页做一个很大的python抓取，这花了我几个小时的时间。如果我在这个过程中断开了与互联网连接，我的脚本就会停止，当wifi再次连接起来时，它不会重新连接。有没有办法插入一个；“如果互联网停止了，那么从你停止的地方继续”？
浏览 1提问于2015-04-29得票数 0
2回答
如何获取刮伤壳中的刮伤响应
、、、、
我对Scrapy项目很陌生，我读过很多教程。它们似乎都假设您知道如何立即解析响应对象，并且可以立即调用响应回调(例如scrapy.Request(url=url, callback=self.parse))。但在现实中，我需要使用试用和错误的CSS选择器。
如何取回Scrapy响应对象，以便能够交互地操作它？scrapy.Request(url=url)的响应似乎是我无法处理的(见屏幕截图)--不需
浏览 4提问于2017-04-09得票数 2
回答已采纳
1回答
我正在尝试从以下页面解析亚马逊标准识别码(ASIN)。
from scrapy.crawler import CrawlerProcess
name= 'amazon.com'
d
浏览 2提问于2018-09-26得票数 1
4回答
，scrapy的API已经改变了。from celery import Task
from scrapy.uti
浏览 4提问于2014-03-01得票数 37
回答已采纳
2回答
我有一个粗糙的pipelines.py，我想得到给定的参数。在我的spider.py中，它工作得非常完美： def __init__(self, host='', domain_id='',现在，我需要我的pipelines.py中的"user_id“来创建类似于”dom-123.db“的sqlite数据库。我搜索了我的问题的
浏览 0提问于2014-12-16得票数 8
回答已采纳
1回答
我想定期运行Scrapy来获取所有新内容。生成的项目存储在数据库中。当Scrapy再次爬行时，验证已经生成的项目是否没有存储为重复项的最佳方法是什么？谢谢!
浏览 3提问于2018-01-31得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
云直播
对象存储活动推荐
腾讯云开发者
