纯python爬虫实现框架scrapy安装

运行平台:Windows

Python版本:Python3.x

一、Scrapy简介

Scrapy是一个为了爬取网站数据提取结构性数据而编写的应用框架,可以应用于数据挖掘,信息处理或存储历史数据等一些列的程序中。Scrapy最初就是为了网络爬取而设计的。现在,Scrapy已经推出了曾承诺过的Python3.x版本。

为什么学习Scrapy呢?它能我们更好的完成爬虫任务,自己写Python爬虫程序好比孤军奋战,而使用了Scrapy就好比手底下有了千军万马。Scrapy可以起到事半功倍(甚至好几倍*.*)的效果。所以,学习Scrapy也就显得很有必要了。

Scrapy的整个数据处理流程由Scrapy引擎进行控制,其主要的运行方式为:

二.Scrapy安装

我现在使用的是python3.6,下面我们在cmd里来对其进行Scrapy安装,一般在cmd里的模块安装都是

pip install 模块名

(1).先进性wheel的安装:

pip install wheel

(2)然后呢进行lxml的安装,

pip install lxml

(3).twisted安装:直接安装容易安装失败,那么这里小编给出一个下载地址:

https://www.lfd.uci.edu/~gohlke/pythonlibs/

上面很多的库 我们找到我们需要的点击进去

下载对应的版本,例如:lxml-3.7.3-cp35-cp35m-win_adm64.whl,表示lxml的版本为3.7.3,对应的python版本为3.5-64bit。我下载的版本如下图所示:

安装后呢我们还需要安装一个pywin32

Srapy已经安装成功,还要下载pywin32,找到对应版本下载,一路下一步安装即可。安装完成后,就可以正常使用Scrapy了。

URL:https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180224A1A1ST00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券