专栏首页python3scrapy的简单使用

scrapy的简单使用

使用之前的创建虚拟环境方法(pipenv)

创建虚拟环境并进入虚拟环境

mkdir douban 
cd douban
pipenv install
pipenv shell

再安装我们的scrapy

pipenv install scrapy

然后创建项目

scrapy startproject doubanmovie
cd doubanmovie
scrapy genspider douban_movie (这里加入你想要爬的网站url)

再使用pychram打开这个目录

写好代码后在pycharm下方点击终端输入

scrapy crawl douban_movie
scrapy crawl douban_movie -o detail.json #为json格式保存
scrapy crawl douban_movie -o detail.jl #以行的形式保存
scrapy crawl douban_movie -o detail.csv #以csv文件格式保存
scrapy crawl douban_movie -o detail.xml #以xml文件格式保存

运行任务

简单使用结束

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Python openpyxl 之 Ex

    背景:生活中常常因日常工作,在记录统计方面需频繁处理较多 Excel 表格,这部分工作虽可由人工完成,但这样会显得有些繁琐且可能存在偏差,遂闲时查阅了是否有相关...

    py3study
  • python中的__new__、__in

    __new__、__init__、__del__三个方法用于实例的创建和销毁,在使用python的类中,我们最常用的是__init__方法,通常称为构造方法,_...

    py3study
  • scrapy-redis 分布式哔哩哔哩

    scrapy里面,对每次请求的url都有一个指纹,这个指纹就是判断url是否被请求过的。默认是开启指纹即一个URL请求一次。如果我们使用分布式在多台机上面爬取数...

    py3study
  • C#学习系列文章之Windows窗体应用程序003

    紧接着上一篇文章,我已经学习了控制台的使用,以及创建不同应用的Helloworld程序,这一篇文章,我介绍Windows窗体应用程序的简单实用,按照调用流程一步...

    算法发
  • Comparison method violates its general contract!

    今天在刷LeetCode题目的时候,问题使用HashMap按照value排序来解决,自定义比较器,但是报错:java.lang.IllegalArgumentE...

    用户1148830
  • node.js中this指向失效解决

    原因:虽然类默认的方法指向类的实例,但是如果在外部单独使用该方法,this会指向该方法运行时所在的环境,不再指向对象

    雪山飞猪
  • 用Qt写软件系列五:一个安全防护软件的制作(3)

    引言        上一篇中讲述了工具箱的添加。通过一个水平布局管理器,我们将一系列的工具按钮组合到了一起,完成了工具箱的编写。本文在前面的基础上实现窗体分割效...

    24K纯开源
  • iOS自动布局

    剑行者
  • Magicodes.IE编写多框架版本支持和执行单元测试

    很多情况下,我们编写了一些工具库之后,往往在某些框架版本中会出现一些问题,比如本人最近写的一个导入导出的工具库Magicodes.IE就出现了以下问题:

    心莱科技雪雁
  • 语音翻译成中文怎么做?如何实现中英文实时对话翻译,试试这个方法

    相信大家都听说过录音转文字助手,知道可以使用这个工具快速完成录音转文字、音频转文字的需求。最近,录音转文字助手又迎来了更新,新增语音翻译功能,可以实现实时对话语...

    鱼儿说科技

扫码关注云+社区

领取腾讯云代金券