# 进入虚拟环境
workon ${YOUR_VIRTUAL_ENV}
# 进入爬虫目录
cd ${YOUR_SPIDER_HOME}
# 爬虫启动命令
srapy crawl spider lagou -s JOBDIR=${STATE_SAVE_PATH}
# 暂停 ctrl+c
# 重启 srapy crawl spider lagou -s JOBDIR=${STATE_SAVE_PATH}
# spider项目里自定义配置
custom_settings={
JOBDIR : ${STATE_SAVE_PATH}
}
...
# 命令行正常启动
srapy crawl spider lagou
...
文件名 | 类型 | 用处 |
---|---|---|
request.seen | 文件 | 已经访问过的url |
spider.state | 文件 | spider的状态信息 |
requests.queue | 文件夹 | request队列 |
requests.queue/p0 | 文件 | 需要继续做完的request |
kill -9 main.py
命令强制结束爬虫ctrl+c
(只能按一次,按完需要一段时间处理中间状态)