scrapy ---- 命令行工具

help: 查看帮助信息。

F:\wamp\www\scrapy>scrapy --help
Scrapy 1.4.0 - no active project

Usage:
  scrapy <command> [options] [args]

Available commands:
  bench         Run quick benchmark test
  fetch         Fetch a URL using the Scrapy downloader
  genspider     Generate new spider using pre-defined templates
  runspider     Run a self-contained spider (without creating a project)
  settings      Get settings values
  shell         Interactive scraping console
  startproject  Create new project
  version       Print Scrapy version
  view          Open URL in browser, as seen by Scrapy

  [ more ]      More commands available when run from project directory

Use "scrapy <command> -h" to see more info about a command

version: 查看版本信息。查看各组件版本信息可以用“ version -v”命令。

各组件推荐通过pycharm安装,简单快捷。

F:\wamp\www\scrapy\example>scrapy version
Scrapy 1.4.0

F:\wamp\www\scrapy\example>scrapy version -v
Scrapy    : 1.4.0
lxml      : 4.0.0.0
libxml2   : 2.9.5
cssselect : 1.0.1
parsel    : 1.2.0
w3lib     : 1.18.0
Twisted   : 17.5.0
Python    : 3.6.1 (v3.6.1:69c0db5, Mar 21 2017, 17:54:52) [MSC v.1900 32 bit (Intel)]
pyOpenSSL : 17.3.0 (OpenSSL 1.1.0f  25 May 2017)
Platform  : Windows-10-10.0.14393-SP0

startproject: 创建一个工程。

F:\wamp\www\scrapy>scrapy startproject example
New Scrapy project 'example', using template directory 'C:\\Users\\***\\AppData\\Roaming\\Python\\Python36\\site-packages\\scrapy\\templates\\project', created in:
    F:\wamp\www\scrapy\example

You can start your first spider with:
    cd example
    scrapy genspider example example.com

genspider: 创建一个spider, 一个工程可以有多个spider,但要保证name唯一。

F:\wamp\www\scrapy\example>scrapy genspider baidu www.baidu.com
Created spider 'baidu' using template 'basic' in module:
  example.spiders.baidu

F:\wamp\www\scrapy\example>scrapy genspider google www.google.com
Created spider 'google' using template 'basic' in module:
  example.spiders.google

list: 用来列出本工程中所有spider。

F:\wamp\www\scrapy\example>scrapy list
baidu
google

view: 此命令会打开浏览器,查看源代码在浏览器中具体显示效果。

F:\wamp\www\scrapy\example>scrapy view https://bangumi.bilibili.com/33/

parse: 在工程中使用固定的parse函数解析某个页面。

F:\wamp\www\scrapy\example>scrapy parse https://bangumi.bilibili.com/33/

shell: 很强大的命令。可以调试数据、获取源代码、筛选信息等。

F:\wamp\www\scrapy>scrapy shell https://bangumi.bilibili.com/33/
.
.
.
[s] Available Scrapy objects:
[s]   scrapy     scrapy module (contains scrapy.Request, scrapy.Selector, etc)
[s]   crawler    <scrapy.crawler.Crawler object at 0x03592CD0>
[s]   item       {}
[s]   request    <GET https://bangumi.bilibili.com/33/>
[s]   response   <200 https://bangumi.bilibili.com/33/>
[s]   settings   <scrapy.settings.Settings object at 0x04E4C0F0>
[s]   spider     <DefaultSpider 'default' at 0x5273150>
[s] Useful shortcuts:
[s]   fetch(url[, redirect=True]) Fetch URL and update local objects (by default, redirects are followed)
[s]   fetch(req)                  Fetch a scrapy.Request and update local objects
[s]   shelp()           Shell help (print this help)
[s]   view(response)    View response in a browser

runspider: 运行自包含的spider。

F:\wamp\www\scrapy>scrapy runspider baidu.py

bench: 执行一个基准测试,常用来检测scrapy是否安装成功。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Albert陈凯

Nginx|Tengine的编译安装步骤

练习一下linux的操作命令 tengine的下载地址 http://tengine.taobao.org/download.html wget http:/...

56660
来自专栏菩提树下的杨过

java学习:Hibernate入门

相对微软的linq-to-sql或EF框架而言,"Hibernate对于eclipse的集成开发“ 新手并不容易掌握,下面是新手上路的步骤: 一、准备工作: 1...

22180
来自专栏一个默默无闻的工程师的日常

通过 Rally 进行 OpenStack Tempest 测试

42830
来自专栏Android先生

Android插件化快速入门与实例解析(VirtualApk)

集成一个第三方相册功能,只需集成一个插件APK到项目中,无需集成额外代码,并且支持随时更新相册功能,无需发布版本更新,无需AndroidMani...

14610
来自专栏Coding01

花 2 小时撸一个 RSS 生成器

现在越来越多的网站都不支持 RSS 订阅了,而作为 RSS 的忠实粉丝,还是希望有个工具可以将自己关注的网站内容聚合在一起,然后实时推送到手机上,及时获取最新消...

81820
来自专栏散尽浮华

分布式监控系统Zabbix3.4-针对MongoDB性能监控操作笔记

公司在IDC机房的一台服务器上部署了MongoDB,由于所存储的业务数据比较重要,所以对MongoDB的监控显得尤为重要!Zabbix监控MongoDB性能的原...

49640
来自专栏蓝天

Redis-5.0.0集群配置

参考:http://redis.io/topics/cluster-tutorial。

1.5K20
来自专栏JackeyGao的博客

五个很实用的Django 项目推荐

很多Django的包都能很大的增加我们的开发效率或者增加我们项目的功能, 比如: django-rest-framework 、wagtail, 它们带来了很棒...

16340
来自专栏移动开发之家

Android插件化快速入门与实例解析(VirtualApk)

集成一个第三方相册功能,只需集成一个插件APK到项目中,无需集成额外代码,并且支持随时更新相册功能,无需发布版本更新,无需AndroidManifest中声明四...

7920
来自专栏程序源代码

springcloud学习手册-Ribbon(第二节)

导读 |整合ribbon 一、如何添加并整合Ribbon ? 这段英文中主要提到添加整合Ribbon,需要引入spring-cloud-starter-ribb...

30740

扫码关注云+社区

领取腾讯云代金券