专栏首页Hank’s BlogScrapy框架: 基本命令

Scrapy框架: 基本命令

1.创建爬虫项目

scrapy startproject [项目名称]

2.创建爬虫文件

scrapy genspider +文件名+网址

3.运行(crawl)

scrapy crawl 爬虫名称

# -o  output 输出数据到文件
scrapy crawl [爬虫名称] -o zufang.json
scrapy crawl [爬虫名称] -o zufang.csv

4.check检查错误

scrapy check

5.list返回项目所有spider

scrapy list

6.view 存储、打开网页

scrapy view http://www.baidu.com

7.scrapy shell, 进入终端

scrapy shell https://www.baidu.com

8.scrapy runspider

scrapy runspider zufang_spider.py

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Scrapy问题

    hankleo
  • Scrapy框架: 通用爬虫之CSVFeedSpider

    hankleo
  • 17.splash_case06_ScrapySplashTest-master

    hankleo
  • Scrapy1.4最新官方文档总结 3 命令行工具配置设置使用 scrapy 工具创建项目管理项目Scrapy 的可用命令parse

    这是官方文档的命令行工具https://docs.scrapy.org/en/latest/topics/commands.html 配置设置 Scrapy 默...

    SeanCheney
  • Learning Scrapy(一)

      学习爬虫有一段时间了,从Python的Urllib、Urlllib2到scrapy,当然,scrapy的性能且效率是最高的,自己之前也看过一些资料,在此学习...

    oYabea
  • scrapy ---- 命令行工具

    SuperHeroes
  • Scrapy框架| 详解Scrapy的命令行工具

    今天开始JAP君正式来写Python的Scrapy爬虫框架的系列教程了,我大部分内容会根据Scrapy的官方文档来的,并且会写一些实战项目来练手。...

    Python进击者
  • Python爬虫从入门到放弃(十三)之 Scrapy框架的命令行详解

    这篇文章主要是对的scrapy命令行使用的一个介绍 创建爬虫项目 scrapy startproject 项目名 例子如下: localhost:spider ...

    coders
  • 爬虫0060:scrapy快速入门爬虫高级操作:Scrapy framework

    官方网站:https://scrapy.org/,打开官方网站,可以看到一段关于scrapy的描述

    大牧莫邪
  • Python scrapy框架的简单使用

    注意:Scrapy运行ImportError: No module named win32api错误。请安装:pip install pypiwin32

    Python知识大全

扫码关注云+社区

领取腾讯云代金券