Scrapy框架学习记录

随着Python爬虫学习的深入，开始接触Scrapy框架

记录下两个参考教程：

• 官网教程：http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/tutorial.html
• 知乎：https://zhuanlan.zhihu.com/p/26342933

官网教程可以说是比较权威比较全的，但是有一部分细节存没有交代清楚，例如第一个Scrapy框架项目的建立，这个时候我们可以参考第二个知乎的教程，主要还是以官网教程为主滴。

首先，按照官网的Scrapy安装教程安装Scrapy

安装指南

安装Scrapy

注解

请先阅读 平台安装指南.

下列的安装步骤假定您已经安装好下列程序:

• Python 3.6.5
• Python Package: pip and setuptools. 现在 pip 依赖 setuptools ，如果未安装，则会自动安装 setuptools 。
• lxml. 大多数Linux发行版自带了lxml。如果缺失，请查看http://lxml.de/installation.html
• OpenSSL. 除了Windows(请查看 平台安装指南)之外的系统都已经提供。

您可以使用pip来安装Scrapy(推荐使用pip来安装Python package).

使用pip安装:

pip install Scrapy

在这过程中我遇到了这个错误（原因是pip版本太低）：

注意一下黄色字体的说明，大致意思就是你的pip版本太低需要更新。

更新用cmd进行，在cmd里面运行python，输入以下语句即可完成更新：

python -m pip install --upgrade pip

在更新完pip后我们就可以按照Scrapy了。

如果lxml还没安装的童鞋，可以通过pip完成安装，安装语句：

pip install lxml

Scrapy项目的建立

安装好以上环境、包之后，打开cmd，输入scrapy startproject liaoxuefeng，出现以下提示后，就说明你已经成功创建一个scrapy的新项目：

该命令将会创建包含下列内容的 tutorial 目录:

tutorial/
    scrapy.cfg
    tutorial/
        __init__.py
        items.py
        pipelines.py
        settings.py
        spiders/
            __init__.py
            ...

这些文件分别是:

• scrapy.cfg: 项目的配置文件
• tutorial/: 该项目的python模块。之后您将在此加入代码。
• tutorial/items.py: 项目中的item文件.
• tutorial/pipelines.py: 项目中的pipelines文件.
• tutorial/settings.py: 项目的设置文件.
• tutorial/spiders/: 放置spider代码的目录.

CMD部分

输入：“cd..”返回更目录

输入：“f:”进入f盘

输入：“cd”并将test文件夹拖入cmd中，回车，进入test文件夹，然后就可以执行我们的“scrapy startproject liaoxuefeng”语句了

备注：以管理员身份进入cmd是不允许将文件（夹）拖入cmd中的，这个时候就比较麻烦需要手动输入文件地址了，一般我是不会以管理员身份进入cmd。