开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

社区首页 >专栏 >scrapy进阶开发（二）：暂停与重启

scrapy进阶开发（二）：暂停与重启

Meet相识

发布于 2018-09-12 16:36:01

1.2K0

发布于 2018-09-12 16:36:01

举报

文章被收录于专栏：技术专栏技术专栏技术专栏

方法1：命令行设置

# 进入虚拟环境
workon ${YOUR_VIRTUAL_ENV}
# 进入爬虫目录
cd ${YOUR_SPIDER_HOME}
# 爬虫启动命令
srapy crawl spider lagou -s JOBDIR=${STATE_SAVE_PATH}
# 暂停 ctrl+c
# 重启 srapy crawl spider lagou -s JOBDIR=${STATE_SAVE_PATH}

方法2：爬虫文件内设置

# spider项目里自定义配置
custom_settings={
    JOBDIR : ${STATE_SAVE_PATH}
}
...
# 命令行正常启动
srapy crawl spider lagou 
...

中间态文件内容

文件名	类型	用处
request.seen	文件	已经访问过的url
spider.state	文件	spider的状态信息
requests.queue	文件夹	request队列
requests.queue/p0	文件	需要继续做完的request

注意
- JOBDIR目录下保存中间态信息
- 不同的spider不能共用同一个目录
- 不同的run不能共用同一个目录
- 不能用kill -9 main.py 命令强制结束爬虫
- 正常退出使用ctrl+c（只能按一次，按完需要一段时间处理中间状态）

本文参与腾讯云自媒体分享计划，分享自作者个人站点/博客。

原始发表：2018.03.01 ，如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体分享计划，欢迎热爱写作的你一起参与！

评论

登录后参与评论

0 条评论

热度

最新

LV.