Python网络爬虫进阶扩展
13 /10
周日 晴
scrapy crawl spider_name
scrpay crawl spider_name -s LOG_FILE=all.log
LOG_FILE = "mySpider.log"
LOG_LEVEL = "INFO"
CRITICAL - 严重错误(critical)
ERROR - 一般错误(regular errors)
WARNING - 警告信息(warning messages)
INFO - 一般信息(informational messages)
DEBUG - 调试信息(debugging messages)
LOG_ENABLED 默认: True,启用logging
LOG_ENCODING 默认: 'utf-8',logging使用的编码
LOG_FILE 默认: None,在当前目录里创建logging输出文件的文件名
LOG_LEVEL 默认: 'DEBUG',log的最低级别
LOG_STDOUT 默认: False 如果为 True,进程所有的标准输出(及错误)将会被重定向到log中。例如,执行 print "hello" ,其将会在Scrapy log中显示
from scrapy import log
log.msg("This is a warning", level=log.WARNING)
END
岁月有你 惜惜相处