如何设置Scrapy并让它一个接一个地爬行？
如何设置Scrapy并让它一个接一个地爬行？
提问于 2017-08-03 22:50:01
如何设置Scrapy并让它一个接一个地爬行?首先，看看我的代码：
def parse(self, response):
movies = Movie.query.filter(Movie.rating_num>6).all()
for m in movies:
url = "http://movie.douban.com/subject/"+str(m.id)+"/comments?sort=time&status=P"
yield Request(url, self.parse_comment)当我运行这个爬虫时，它在同一个moment.In中抓取了多个way.So事实上，我要抓取的网站会保护这个urls我想知道是否有一个设置来设置scrapy来逐个抓取urls？
回答 1
Stack Overflow用户
回答已采纳
发布于 2017-08-03 22:58:46
您可以在设置中将CONCURRENT_REQUEST和CONCURRENT_REQUESTS_PER_DOMAIN都设置为1。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/45487678
复制相关文章
相似问题
腾讯云开发者
