您可以看到下面的设置:ElastiCache实例位于选定的安全组中;其他两个组是两个Scrapy EC2实例。这个问题被隔离到Scrapy,因为我可以使用redis-cli连接到两个Scrapy框中,并且没有问题。connecting to server")我在这里抓稻草,但是我从我在原始帐户中创建的一个AMI创建了
但是想要尝试用Scrapy模块在Python中创建一个坏链接检查器,它将爬行我的网站,并向我展示404代码的所有内部链接。到目前为止,我已经成功地编写了以下代码: from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractorsBroken_URLs['anchor']= respons