首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

在windows下如何新建爬虫虚拟环境和进行scrapy安装

导语:友谊之链不可继承,不可转让,不可贴上封条保存起来而不腐烂,不可冷冻在冰箱里永远新鲜。

在windows下如何新建爬虫虚拟环境和进行scrapy安装,2、尔后进入到scrapy_demo文件夹下,找到Scripts文件夹,输入activate.bat以激活虚拟环境,步骤如下图所示。之后可以看到scrapy_demo被括号括起来了,说明进入了环境,在命令行中输入python,可以看到直接弹出Python3的环境。

3、新建完虚拟环境之后,接下来就开始安装Scrapy,输入安装命令“pip install Scrapy”或者“pip install -i https://pypi.douban.com/simple/ Scrapy”,后面这个命令是通过豆瓣源镜像进行下载,速度会快很多,而且较为稳定,建议使用该方法进行安装,Python中的其他库也建议用该命令进行安装,十分的方便快捷。输入命令之后,等待Scrapy的安装,如下图所示。

4、可以看到Scrapy的安装速度非常快,因为我们使用了镜像进行下载。不过稍等片刻之后可能会碰到timeout的问题,这是由于Scrapy安装的过程中需要很多依赖包,导致下载过程中会遇到网络延时的问题,此时只需要重新输入安装命令进行安装即可。除了timeout的问题之外,可能还会碰到下图这个问题。

5、这个问题的出现是因为缺乏Twisted依赖包,此时通过“pip install twisted”可能有问题,这里给大家介绍一个非常实用的Python包网站,里边的Python包专门用于Windows下的安装的。在网页中找到Twisted安装包,然后选择本机Python对应版本和电脑系统位数的安装包,小编的电脑是64位的,而且Python版本是Python3.4,所以下载的包如下图红色框框所示。

6、下载完成之后,直接进入到下载的目录,由此进入命令行窗口,输入安装命令“pip install Twisted-18.7.0-cp34-cp34m-win_amd64.whl”,一般是可以安装上的,但是有时候会出现下面的错误提示“Twisted-18.7.0-cp34-cp34m-win_amd64.whl is not a supported wheel on this platform.”,表示该平台不支持这个安装包,如下图所示。

7、此时不用慌,在这里小编给大家介绍一个小技巧,专门用来应对这样的问题的。进入到Twisted-18.7.0-cp34-cp34m-win_amd64.whl安装包目录下,一般下载之后将其放到虚拟环境的site-packages文件夹下面,尔后将后缀.whl更改为.zip,有木有觉得很熟悉?对,它就是个压缩文件,现在将压缩包里边的内容全部解压到当前文件夹,如下图所示。

8、之后在虚拟环境下输入pip list命令查看安装包,可以看到Twisted安装包已经在里边了,如下图所示。第一个pip list命令的时候尚未解压Twisted安装包,此时并没有Twisted库;第二个pip list命令是在Twisted安装包解压之后执行的,可以看到Twisted库已经在里边了。

9、尔后我们再次输入Scrapy的安装命令,“pip install -i https://pypi.douban.com/simple/ Scrapy”,等待安装完成,此时可以看到没有任何的报错了。

10、最后通过pip list查看Scrapy是否安装成功,可以看到Scrapy已经在list之内了,如下图所示。

在看完本篇文章的你有什么感触?在看完这篇文章后,无论你是开心还是不开心,小编都很希望你能开开心心的看完了这篇文章,如果你们有什么想吐槽的,可以在下方的评论区来吐槽,小编永远都是在默默的关注着你,你的每一条评论,小编都会看到,如果你是个有脾气的人,小编会给你敞开一条大道,如果你是一个,没有脾气的人,那么小编会给你一个么么哒,看完这篇文章的你们,希望能打赏小编一下,你的关注就是小编的动力。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20190212A0HJVT00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券