Python3 Scrapy 安装方法

转自:https://blog.csdn.net/zjiang1994/article/details/52689144

写在前面

最近在学习爬虫,在熟悉了Python语言和BeautifulSoup4后打算下个爬虫框架试试。  没想到啊,这坑太深了。。。

看了看相关介绍后选择了Scrapy框架,然后兴高采烈的打开了控制台,

pip install Scrapy
  • 1

坑出现了。。。。

运行报错

error: Unable to find vcvarsall.bat
  • 1

开始上网查解决方法。。  看了大多数方法,基本上的解决方法就是下载版本对应的visual studio,但是也太大了。。。。。。而且网速看不下去啊。。。

最后花费了将近一天的时间,终于找到了解决方法。

使用wheel安装。

这个网站里边是编译好的各种库的  http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

同时,推荐一篇我的Scrapy入门实例博客:

scrapy爬虫框架入门实例

希望可以帮到刚接触python和scrapy的同学。

安装方法

首先安装wheel

pip install wheel
  • 1

安装完成后验证是否成功

wheel
  • 1

安装成功是这样 

然后去上边的网站下载Scrapy库,  进到网站=>搜索’Scrapy’=>下载

把下载的.whl文件放在一个容易寻找的地址(我放在了D:\)  然后在控制台进入该地址  在该地址下输入

pip install [whl]
  • 1

注:[whl]表示你的.whl文件,一定要全名,XXXX.whl

然后,并没有结束。。。。。

安装过程还是有可能失败

可能会出现

Failed to build XXXX 
  • 1

之类的提示一闪而过(比如说我提示的 twisted),最后安装失败还是提示

error: Unable to find vcvarsall.bat
  • 1

为什么会这样那,因为Scrapy框架基于Twisted

所以,要做的就是去网站下载Twisted之类的安装文件,先把它们装上,安装方法和上边的相同。

最后终于成功了。  建个项目测试一下

scrapy startproject pyjy
  • 1

注:pyjy为项目名

成功了,撒花~~

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏技术博文

Memcached 及 Redis 架构分析和比较

Memcached和Redis作为两种Inmemory的key-value数据库,在设计和思想方面有着很多共通的地方,功能和应用方面在很多场合下(作为分布式缓存...

34830
来自专栏张善友的专栏

[腾讯社区开放平台]介绍开放授权协议-OAuth

OAuth (开放授权) 是一个开放标准,允许用户授权第三方网站访问他们存储在另外的服务提供者上的信息,而不需要将用户名和密码提供给第三方网站或分享他们数据的所...

28170
来自专栏java思维导图

Java中高级面试题部分答案解析(4)

这里选了几道高频面试题以及一些解答。不一定全部正确,有一些是没有固定答案的,如果发现有错误的欢迎纠正,如果有更好的回答,热烈欢迎留言探讨。

13730
来自专栏有趣的django

Django REST framework+Vue 打造生鲜超市(十二) 十三、首页、商品数量、缓存和限速功能开发

十三、首页、商品数量、缓存和限速功能开发  13.1.轮播图接口实现 首先把pycharm环境改成本地的,vue中local_host也改成本地  (1)goo...

73970
来自专栏深度学习计算机视觉

Qt+opencv+EasyPR(车牌识别系统,从配置环境到成功运行)

最近在东软睿道实训搞一个车牌识别系统,所用材料为Qt+opencv+EasyPR,从配环境到成功运行历时几天颇为艰难,这里写篇经验贴,手把手教你~ 作者:张俊怡...

72030
来自专栏美团技术团队

分布式系统互斥性与幂等性问题的分析与解决

前言 随着互联网信息技术的飞速发展,数据量不断增大,业务逻辑也日趋复杂,对系统的高并发访问、海量数据处理的场景也越来越多。如何用较低成本实现系统的高可用、易伸缩...

57040
来自专栏微服务生态

深入浅出Netflix Conductor使用

Netflix Conductor框架是典型的服务编排框架,通过Conductor还可以实现工作流和分布式调度,性能非常卓越。

1.2K30
来自专栏大数据挖掘DT机器学习

用scrapy爬虫抓取慕课网课程数据详细步骤

关于如何安装scrapy框架,可以参考这篇文章 史上最完全Mac安装Scrapy指南 http://www.jianshu.com/p/a03aab073...

60180
来自专栏针针小站

【Soft】NetSarang Xshell 6 Free for Home & School 申请

31320
来自专栏杨建荣的学习笔记

oracle的TAF浅析 (r6笔记第37天)

在使用rac的时候,有几个很闪亮的使用特性,一个就是load balance,这块毋庸置疑,确实做了很大的改进,从10g版本开始的多个vip地址的load b...

49950

扫码关注云+社区

领取腾讯云代金券