Scrapy命令行基本用法
1.创建一个新项目：
scrapy startproject myproject2.在新项目中创建一个新的spider文件：
scrapy genspider mydomain mydomain.commydomain为spider文件名，mydomain.com为爬取网站域名
3.全局命令：
startproject
genspider
settings
runspider
shell
fetch
view
version4.只在项目中使用的命令（局部命令）：
crawl
check
list
edit
parse
bench5.运行spider文件：
scrapy crawl <spider>6.检查spider文件有无语法错误：
scrapy check7.列出spider路径下的spider文件：
scrapy list8.编辑spider文件：
scrapy edit <spider>相当于打开vim模式，实际并不好用，在IDE中编辑更为合适。
9.将网页内容下载下来，然后在终端打印当前返回的内容，相当于 request 和 urllib 方法：
scrapy fetch <url>10.将网页内容保存下来，并在浏览器中打开当前网页内容，直观呈现要爬取网页的内容:
scrapy view <url>11.打开 scrapy 显示台，类似ipython，可以用来做测试：
scrapy shell [url]12.输出格式化内容：
scrapy parse <url> [options]13.返回系统设置信息：
scrapy settings [options]如：
$ scrapy settings --get BOT_NAME
scrapybot14.运行spider：
scrapy runspider <spider_file.py>15.显示scrapy版本：
scrapy version [-v]后面加 -v 可以显示scrapy依赖库的版本
16.测试电脑当前爬取速度性能：
scrapy bench本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2018-02-08 ，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读