一日一技：Scrapy最新版不兼容scrapy_redis的问题
一日一技：Scrapy最新版不兼容scrapy_redis的问题
青南
发布于 2023-08-21 16:22:13
发布于 2023-08-21 16:22:13
摄影：产品经理
四个餐前小菜
有不少同学在写爬虫时，会使用Scrapy + scrapy_redis实现分布式爬虫。不过scrapy_redis最近几年更新已经越来越少，有一种廉颇老矣的感觉。Scrapy的很多更新，scrapy_redis已经跟不上了。
大家在安装Scrapy时，如果没有指定具体的版本，那么就会默认安装最新版。
这两天如果有同学安装了最新版的Scrapy和scrapy_redis，运行以后就会出现下面的报错：
TypeError: crawl() got an unexpected keyword argument 'spider'
如下图所示：
遇到这种情况，解决方法非常简单，不要安装Scrapy最新版就可以了。在使用pip安装时，绑定Scrapy版本：
python3 -m pip install scrapy==2.9.0本文参与 腾讯云自媒体分享计划，分享自微信公众号。
原始发表：2023-08-20，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
相关产品与服务
云数据库 Redis
腾讯云数据库 Redis（TencentDB for Redis）是腾讯云打造的兼容 Redis 协议的缓存和存储服务。丰富的数据结构能帮助您完成不同类型的业务场景开发。支持主从热备，提供自动容灾切换、数据备份、故障迁移、实例监控、在线扩容、数据回档等全套的数据库服务。