Scrapy框架学习记录

随着Python爬虫学习的深入,开始接触Scrapy框架

记录下两个参考教程:

官网教程可以说是比较权威比较全的,但是有一部分细节存没有交代清楚,例如第一个Scrapy框架项目的建立,这个时候我们可以参考第二个知乎的教程,主要还是以官网教程为主滴。

首先,按照官网的Scrapy安装教程安装Scrapy

安装指南

安装Scrapy

注解

请先阅读 平台安装指南.

下列的安装步骤假定您已经安装好下列程序:

您可以使用pip来安装Scrapy(推荐使用pip来安装Python package).

使用pip安装:

pip install Scrapy

在这过程中我遇到了这个错误(原因是pip版本太低):

注意一下黄色字体的说明,大致意思就是你的pip版本太低需要更新。

更新用cmd进行,在cmd里面运行python,输入以下语句即可完成更新:

python -m pip install --upgrade pip

在更新完pip后我们就可以按照Scrapy了。

如果lxml还没安装的童鞋,可以通过pip完成安装,安装语句:

pip install lxml

Scrapy项目的建立

安装好以上环境、包之后,打开cmd,输入scrapy startproject liaoxuefeng,出现以下提示后,就说明你已经成功创建一个scrapy的新项目:

该命令将会创建包含下列内容的 tutorial 目录:

tutorial/
    scrapy.cfg
    tutorial/
        __init__.py
        items.py
        pipelines.py
        settings.py
        spiders/
            __init__.py
            ...

这些文件分别是:

  • scrapy.cfg: 项目的配置文件
  • tutorial/: 该项目的python模块。之后您将在此加入代码。
  • tutorial/items.py: 项目中的item文件.
  • tutorial/pipelines.py: 项目中的pipelines文件.
  • tutorial/settings.py: 项目的设置文件.
  • tutorial/spiders/: 放置spider代码的目录.

CMD部分

输入:“cd..”返回更目录

输入:“f:”进入f盘

输入:“cd”并将test文件夹拖入cmd中,回车,进入test文件夹,然后就可以执行我们的“scrapy startproject liaoxuefeng”语句了

备注:以管理员身份进入cmd是不允许将文件(夹)拖入cmd中的,这个时候就比较麻烦需要手动输入文件地址了,一般我是不会以管理员身份进入cmd。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 知识点讲解六:fake-useragent的用法

    UserAgent是识别浏览器的一串字符串,相当于浏览器的身份证,在利用爬虫爬取网站数据时,频繁更换UserAgent可以避免触发相应的反爬机制。fake-us...

    明天依旧可好
  • Python爬虫 - 解决动态网页信息抓取问题

    这里我用天津市的信访页面来做示例,(地址:http://www.tj.gov.cn/zmhd/zmljl0524/wywtwqz/)。

    明天依旧可好
  • urllib.parse包学习

    我是在进行全站爬取某个网站时用到的这个包,它的主要功能就是分解URL,在对URL处理时是一个非常有用的包

    明天依旧可好
  • 可掌握人类语言的人工神经网络

    2015年11月11日,据知名科技期刊PLOS ONE报道,来自意大利萨萨里大学(University of Sassari)和英国普利矛斯大学(Univers...

    人工智能快报
  • 微软超融合私有云测试22-SCOM2016部署之导入SCOM管理包

    SCOM通过一个个管理包来确定监控的项目及告警方式,例如Windows Server 管理包、SQL Server管理包、Linux管理包、网络设备管理包等,可...

    SuperDream
  • 手把手教你安装大数据开发测试环境手把手教你安装大数据开发测试环境

    手把手教你安装大数据开发测试环境 下载地址 http://isoredirect.centos.org/centos/6/isos/x86_64/ 安装虚拟...

    Albert陈凯
  • 三分钟Kubernetes-环境搭建篇

    学习K8s第一步就是要搭建环境,刚开始我被复杂的k8s搭建过程耽搁了学习的进度,如果你跟我一样,那么下面简单的几个步骤,就能让你把K8S跑起来!

    李明成
  • 树洞外链安装

    一直想给树莓派安装一个图床什么的,一直没有找到合适的程序,直到发现了这个树洞外链 树洞外链是一个开源的,支持本地存储远程存储,多用户的一个外链系统,界面也是挺...

    bboysoul
  • AAAI 2020「自然语言处理(NLP)论文」影响文本简化因素分析???

    自我隔离的第六天,今天阳光特别好,但是不能出门,不过托别人的福,今天整了个汉堡(好久没有吃肉了),美滋滋~~

    ShuYini
  • PHP字符串和数组操作

    *字符串查找 $email = 'name@example@.com'; $domain = strstr($email, '@'); echo $do...

    wangxl

扫码关注云+社区

领取腾讯云代金券