Scrapy:如何检查之前抓取的页面是否已被删除？
Scrapy是一个基于Python的开源网络爬虫框架，用于快速、高效地抓取和提取网页数据。在使用Scrapy进行页面抓取时，可以通过以下方法检查之前抓取的页面是否已被删除：
- 检查HTTP响应状态码：在Scrapy中，每个请求都会返回一个HTTP响应对象，其中包含了响应的状态码。当页面被删除时，通常会返回404状态码（Not Found）。因此，可以通过检查响应的状态码来判断页面是否已被删除。
- 检查页面内容：在抓取页面后，可以通过检查页面的内容来判断是否已被删除。如果页面内容为空或者包含特定的删除标识（如"页面不存在"、"已删除"等），则可以判断页面已被删除。
- 检查页面链接的有效性：在抓取页面时，可以提取页面中的链接，并通过发送HEAD请求来检查链接的有效性。如果链接返回404状态码，则可以判断页面已被删除。
- 使用布隆过滤器：布隆过滤器是一种高效的数据结构，用于判断一个元素是否存在于一个集合中。可以将已抓取的页面的URL添加到布隆过滤器中，然后在后续的抓取中，通过检查URL是否存在于布隆过滤器中来判断页面是否已被删除。
需要注意的是，以上方法仅能判断页面是否已被删除，无法确定页面是被主动删除还是暂时不可访问。此外，对于大规模的网站抓取，可以考虑使用分布式布隆过滤器来提高效率和准确性。
腾讯云相关产品推荐：
- 腾讯云CDN（内容分发网络）：用于加速静态资源的访问，提高页面加载速度。链接地址：https://cloud.tencent.com/product/cdn
- 腾讯云CVM（云服务器）：提供可扩展的计算能力，用于部署和运行Scrapy爬虫。链接地址：https://cloud.tencent.com/product/cvm
- 腾讯云COS（对象存储）：用于存储和管理爬取的数据，提供高可靠性和可扩展性。链接地址：https://cloud.tencent.com/product/cos
- 腾讯云VPC（虚拟私有云）：提供安全的网络环境，用于保护爬虫和数据的安全。链接地址：https://cloud.tencent.com/product/vpc
相关·内容
1回答
Scrapy:如何检查之前抓取的页面是否已被删除？
python、database、csv、web-scraping、scrapy
我做了一个简单的抓取我所在城市房价广告的Scrapy爬虫。
它收集以下数据:广告标题、价格和URL。然后输出CSV文件。每周我运行爬虫程序，我想让它将最新的CSV文件与之前的文件进行比较，以检查是否有广告被删除。如果有，我希望在CSV文件输出的最后一列中包含今天的日期。我不知道这是否可以用CSV文件来完成，或者这项工作是否需要一个数据库。我也不知
浏览 9提问于2017-02-22得票数 2
回答已采纳
1回答
如何使用Scrapy更新价格
python、web-scraping、beautifulsoup、scrapy、scrapy-splash
我正在开发价格下降通知应用程序，我正在考虑使用Scrapy，但是，我不确定如何使用它，我是否需要在特定间隔后定期检查产品价格，或者有任何其他方法来做到这一点。
浏览 2提问于2021-06-13得票数 0
1回答
在运行scrapy之前检查是否已建立连接
python、scrapy、tor
在我开始使用python scrapy爬行之前，我想检查一下。我在linux上使用。 logging.info("Check tor page:" + str(response.css('.conte
浏览 0提问于2016-05-10得票数 3
2回答
如何将所有的Scrapy HTML文件保存到S3？
python、django、amazon-s3、scrapy
我想设置一个系统，保存所有的HTML文件抓取找到的s3。然后，在拉取任何页面之前，我想检查一下该页面是否已经被抓取并存储到S3。我看过scrapy的ITEM_PIPELINES，但它似乎只适用于parse_item函数？，每当scrapy找到HTML时就会自动完成这项工作？这样，我就不必向代码库中的每个parse()函数和parse_item()函数添加此代码。一旦我有了这个设置，
浏览 1提问于2019-07-25得票数 0
2回答
如何抓取一个网站只给定域网址与scrapy
python、web-crawler、scrapy、scrape
我正在尝试使用scrapy抓取一个网站，但网站没有网站地图或页面索引。如何使用scrapy抓取网站的所有页面？
我只需要下载网站的所有页面，而不提取任何项目。我只需要在蜘蛛规则中设置关注所有链接吗？但我不知道scrapy是否会以这种方式避免复制urls。
浏览 0提问于2013-01-06得票数 5
回答已采纳
1回答
Python Twitter scrapy，用于提取twitter关注度、关注者计数等
python、scrapy
我正在使用scrapy在twitter上提取用户信息，但我目前在使用python提取以下内容、追随者计数等方面遇到了问题。//div[@class="content"]/div[@class="stream-item-header"]/a/img/@src').extract()[0]
不幸的是，我在从用户的“跟随”html中提取属性计数时遇到了问题，因为我不知道正确的xpath来提取数据，或者是否</e
浏览 0提问于2018-02-22得票数 2
1回答
在C++中使用curl获取某个时间后更改的页面
c++、curl、web-crawler、libcurl
有一个网页，我试图得到的html代码，但页面改变了一两秒钟后，我想要的链接。如何让程序等到某个时候才返回html？编辑:我想做一个卷发呼叫一次，然后等待一些时间，然后再做另一个卷曲调用相同的网页后一段时间。(不要再次打开链接，因为它会给出相同的页面)
浏览 4提问于2020-08-24得票数 1
回答已采纳
2回答
如何使用scrapy抓取多个页面？
python、scrapy
我发现的Scrapy的所有例子都是关于如何抓取单个页面，具有相同url模式的页面或网站的所有页面。我需要抓取一系列的页面A，B，C，在A中你得到了B的链接，依此类推。例如，网站结构为：----> BD我需要抓取所有的C页面，但是为了获得C的链
浏览 3提问于2013-12-16得票数 8
1回答
我正在尝试抓取一个使用Js的站点，但scrapy一直将下一个页面的url作为副本丢弃，并停止抓取。根据我的理解，scrapy通过检查请求所指向的资源的散列来检查重复项，默认情况下会丢弃URL中的片段。可以通过更改request_fingerprint模块中的Keep_Fragments命令来更改此行为。(参见下面的scrapy发布说明摘录) “<
浏览 20提问于2020-09-09得票数 0
回答已采纳
1回答
使用Scrapy从使用java脚本生成数据的网站获取信息
python、web-scraping、scrapy、scrapy-spider
我试图用Scrapy抓取一个网站，但是网站的网址没有改变，页面是用java脚本加载的。在我执行搜索之前，站点和URL是这样的：
这是我执行搜索后站点和URL的外观：
在这些情况下，我如何使用Scrapy从站点获取数据？
浏览 0提问于2016-07-26得票数 1
1回答
如何在scrapy中更改请求的顺序？
python、scrapy
我正在尝试将多个页面分成一个项目：|-- a|-- c|-- a通过抓取页面A及其子页面(a，b，c)，我将得到1个项目。我的代码很大，但这里是缩小的版本： def parse(self, response): yield scrapy.Request
浏览 2提问于2016-01-12得票数 1
2回答
Scrapy如何避免重新下载最近下载的媒体？
python、scrapy
根据的说法，Scrapy的文件管道和图像管道都“避免重新下载最近下载的媒体”。
我有一个爬虫，我正在使用 (JOBDIR)运行它，以便暂停和恢复爬行。最初，我在不下载文件的情况下抓取项目；后来，我添加了一个Files Pipeline。然而，在使用管道重新运行爬行器之前，我忘记了删除JOBDIR。我担心的是，JOBDIR中的requests.seen文件将包含已被抓取的</
浏览 0提问于2017-05-19得票数 3
6回答
Scrapy -静默地删除项目
python、scrapy
我正在使用Scrapy抓取几个网站，这些网站可能会共享多余的信息。
对于我抓取的每个页面，我将页面的url、标题和html代码存储到mongoDB中。我想避免数据库中的重复，因此，我实现了一个管道，以检查是否已经存储了类似的项。在这种情况下，我会引发一个DropItem异常。我的问题是，每当我基于DropItem异常原因放置一个项目时，Scrapy都会将该项目的全部内容显示到日志中
浏览 1提问于2012-11-23得票数 26
回答已采纳
1回答
您如何区分哪些站点是HTML & JS，哪些站点是使用React、Angular等通过JS呈现的？
javascript、scrapy、rabbitmq、scrapy-splash
在创建我的第一个爬虫时，我想检查网站是否使用了某个框架。我知道我可以使用SplashRequest来使用无头浏览器来呈现它，但这样做效率不高。我如何才能弄清楚哪些网站需要通过Splash，哪些网站不需要这样做，而不是真正制作无用的SplashRequests？
谢谢!
浏览 3提问于2021-03-26得票数 0
2回答
Scrapy crawler无法从多个页面爬行数据
python、web-scraping、scrapy、web-crawler
我正在尝试删除以下页面的结果：
`import sys from scrapy.selector import HtmlXPathSelectorfrom scrapy.contrib.spiders import CrawlSpider,
浏览 1提问于2013-06-01得票数 1
1回答
链接选择的简陋规则
python、web-scraping、scrapy
我正在尝试在html方向上垂直抓取遵循一个简单规则的页面：问题是，对于下面的代码，当/MLA####或/####MLA###页面出现时，scrapy只能检测到名称为/MLA-#的页面，我的scrapy代码不起作用，而且抓取是错误的
rules = (Rule(LinkExtractor(a
浏览 0提问于2020-10-21得票数 0
1回答
仅抓取缓存图像
python、scrapy
我正在寻找一种只缓存被刮掉的图像的方法。我有HTTPCACHE_ENABLED，目前正在实现scrapy扩展: FilesystemCacheStorage
但是现在它会缓存所有被抓取的url，而只有那些进入图像管道的url才应该被缓存。另一种解决方案是缓存页面，但仍然检查自上次抓取以来抓取的值是否发生了变化，并忽略图像。我已经尝试过HTTPCACHE_IGNORE_SCHEMES
浏览 0提问于2016-11-20得票数 0
1回答
在Scrapy中如何检查导出的文件是否已经存在？
python、web-scraping、scrapy
我写了一些抓取蜘蛛。它将数据导出到我通过命令行传递的文件名：E:\Anaconda3\envs\Blog2Doc\Lib\site-packages\scrapy\cmdline.py runspider blog2doc_scrapy如果这个文件已经存在，这个爬行器只是将内容附加到已存在的文件中。如何检查输出文件是否已经存在以及是否存在-删除它。它不是打开的输出文件，在构造函数中它已经获得了打开<
浏览 0提问于2017-03-02得票数 0
1回答
Scrapy；尝试在amazon中抓取以下页面
python、web-scraping、scrapy
我试图从这个亚马逊产品的The link is here上抓取所有评论。但是，它只呈现第一页的结果。Snapshot of the first page result 下面是我在scrapy框架中的代码。import scrapyname = 'spideramazonif i.startswith('a-
浏览 30提问于2020-04-13得票数 0
1回答
如何报废网站上的所有页面(第1页直到无穷大)
python、xpath、web-scraping、css-selectors、scrapy
伙计们，我想从上抓取一切都好，我抓取它的成功
然后我在想，如果我想抓取所有的页面(第一页直到无限取决于数据库文章)会怎么样？我刚开始使用python和scrapy，在此之前我使用的是java和c#...their两种语言它与python非常不同，但对我来说还可以。item['body'] ='' .join(article.css('.excerpt p::text').extract()).
浏览 1提问于2016-07-25得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频活动推荐
腾讯云开发者
