Python3网络爬虫(五):Python3安装Scrapy

运行平台:Windows Python版本:Python3.x IDE:Sublime text3

一、Scrapy简介

    Scrapy是一个为了爬取网站数据提取结构性数据而编写的应用框架,可以应用于数据挖掘,信息处理或存储历史数据等一些列的程序中。Scrapy最初就是为了网络爬取而设计的。现在,Scrapy已经推出了曾承诺过的Python3.x版本。

    为什么学习Scrapy呢?它能我们更好的完成爬虫任务,自己写Python爬虫程序好比孤军奋战,而使用了Scrapy就好比手底下有了千军万马。Scrapy可以起到事半功倍(甚至好几倍*.*)的效果。所以,学习Scrapy也就显得很有必要了。

二、Scrapy安装

1.直接使用指令pip3 install scrapy,发现有诸多错误。

  • Failed building wheel for lxml
  • Microsoft Visual C++ 10.0 is required
  • Failed building twisted
  • Unable to find vcvarsall.bat

    遇到的错误,如下图所示:

2.解决办法

    在http://www.lfd.uci.edu/~gohlke/pythonlibs/有很多用于windows的编译好的Python第三方库,我们下载好对应自己Python版本的库即可。

    (1)在cmd中输入指令python,查看python的版本,如下:

    从上图可以看出可以看出我的Python版本为Python3.5.2-64bit。

    (2)登陆http://www.lfd.uci.edu/~gohlke/pythonlibs/,Ctrl+F搜索Lxml、Twisted、Scrapy,下载对应的版本,例如:lxml-3.7.3-cp35-cp35m-win_adm64.whl,表示lxml的版本为3.7.3,对应的python版本为3.5-64bit。我下载的版本如下图所示:

    (3)在cmd中输入DOS指令,进入下载好的whl文件夹下,例如我的三个whl文件放在了Scrapy文件夹下:

    (4)依次执行如下命令:

a.pip3 install wheel

b.pip3 install lxml-3.7.3-cp35-cp35m-win_amd64.whl

c.pip3 install Twisted-17.1.0-cp35-cp35m-win_amd64.whl

d.pip3 install Scrapy-1.3.2-py2.py3-none-any.whl

    这样Scrapy的安装就完成了,请忽略最后两行让我升级pip的信息。*.*

    (5)Srapy已经安装成功,还要下载pywin32,找到对应版本下载,一路下一步安装即可。安装完成后,就可以正常使用Scrapy了。

    URL:https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/

    至此,大功告成,我们可以愉快的使用Scrapy了。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏haifeiWu与他朋友们的专栏

APP启动速度优化

APP启动速度非常重要,APP启动速度慢,可能会造成用户体验不良好,尤其是在最近用Android studio之后,如果长时间不打开app,启动速度就会特别的慢...

531
来自专栏云计算教程系列

如何在Ubuntu 14.04上使用Ghost和Nginx创建博客

Ghost是一个轻量级(~7.5MB)的开源博客平台,非常易于使用。Ghost是完全可定制的。互联网上有很多可供Ghost使用的免费或付费的主题。

490
来自专栏我的博客

BroadcastReceiver基础知识

1、可接受多个广播,无论是系统还程序发送的广播都可以接收 2、实质上是系统级别的监听器 3、 发送广播就会触发与之匹配的接收广播,如果接收广播在10s内不能执行...

3327
来自专栏Django Scrapy

python3elk相关---根据Elasticsearch(es)日志处理,生成excel并定时邮箱发送附件

python3根据Elasticsearch(es)每天线上更新的日志,做成excel统计表并定时邮箱发送附件 程序是来实现 es中上线更新量的统计 代码实现需...

5655
来自专栏机器学习算法与Python学习

Scrapy在Ubuntu下的安装与配置

Scrapy在Ubuntu下的安装与配置 吐槽一下 最近几天由于比较忙,关于Torch7剩下的部分过些日子再更新。现在想想,是不是好久没有更行python爬虫的...

3357
来自专栏子勰随笔

iMac(OS X)不可或缺的套件管理器 —— Homebrew

1555
来自专栏技术小站

Python3 Scrapy 安装方法

转自:https://blog.csdn.net/zjiang1994/article/details/52689144

762
来自专栏张善友的专栏

每周.NET前沿技术文章摘要(2017-05-17)

汇总国外.NET社区相关文章,覆盖.NET ,ASP.NET等内容,本期包含性能分析这一主题内容

3520
来自专栏CodingBlock

Android学习笔记(十)BroadcastReceiver初体验

  BroadcastReceiver是Android系统的四大组件之一,本质是一种全局的监听器,用于接收系统全局的广播消息。真因为如此,BroadcastRe...

1969
来自专栏闵开慧

vitualbox中xp系统一直重启

1 进入XP的安全模式,右击“我的电脑”选属性 进入高级选项中把出错后重启的勾去掉,然后重新启动XP 看看XP会报出什么错误,针对性解决问题。 2 启...

34112

扫码关注云+社区