纯python爬虫实现框架scrapy安装

运行平台：Windows

Python版本：Python3.x

一、Scrapy简介

Scrapy是一个为了爬取网站数据提取结构性数据而编写的应用框架，可以应用于数据挖掘，信息处理或存储历史数据等一些列的程序中。Scrapy最初就是为了网络爬取而设计的。现在，Scrapy已经推出了曾承诺过的Python3.x版本。

为什么学习Scrapy呢？它能我们更好的完成爬虫任务，自己写Python爬虫程序好比孤军奋战，而使用了Scrapy就好比手底下有了千军万马。Scrapy可以起到事半功倍(甚至好几倍*.*)的效果。所以，学习Scrapy也就显得很有必要了。

Scrapy的整个数据处理流程由Scrapy引擎进行控制，其主要的运行方式为：

二.Scrapy安装

我现在使用的是python3.6，下面我们在cmd里来对其进行Scrapy安装,一般在cmd里的模块安装都是

pip install 模块名

(1).先进性wheel的安装：

pip install wheel

（2）然后呢进行lxml的安装，

pip install lxml

（3）.twisted安装：直接安装容易安装失败，那么这里小编给出一个下载地址：

https://www.lfd.uci.edu/~gohlke/pythonlibs/

上面很多的库 我们找到我们需要的点击进去

下载对应的版本，例如：lxml-3.7.3-cp35-cp35m-win_adm64.whl，表示lxml的版本为3.7.3，对应的python版本为3.5-64bit。我下载的版本如下图所示：

安装后呢我们还需要安装一个pywin32

Srapy已经安装成功，还要下载pywin32，找到对应版本下载，一路下一步安装即可。安装完成后，就可以正常使用Scrapy了。

URL：https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/