专栏首页wfaceboss分布式爬虫搭建系列 之一------python安装及以及虚拟环境的配置及scrapy依赖库的安装

分布式爬虫搭建系列 之一------python安装及以及虚拟环境的配置及scrapy依赖库的安装

python及scrapy框架依赖库的安装步骤:

第一步,python的安装

在Windows上安装Python

首先,根据你的Windows版本(64位还是32位)从Python的官方网站下载Python 3.5对应的64位安装程序或32位安装程序(网速慢请移步国内镜像)或者通过输入网址https://www.python.org/downloads/选择要下载的版本,然后,双击运行下载的EXE安装包:

如下图,并按照圈中区域进行设置,切记要勾选打钩的框,然后再点击Customize installation进入到下一步

特别要注意勾上Add Python 3.5 to PATH,然后点“Install Now”即可完成安装。

对于上图中,可以通过Browse进行自定义安装路径,也可以直接点击Install进行安装,点击install后便可以完成安装了。

为了检查我们的python是否安装成功,我们运行Python进行检查:

安装成功后,打开命令提示符窗口,敲入python后,会出现两种情况:

情况一:

看到上面的画面,就说明Python安装成功!

情况二:得到一个错误:

这是因为Windows会根据一个Path的环境变量设定的路径去查找python.exe,如果没找到,就会报错。如果在安装时漏掉了勾选Add Python 3.5 to PATH,那就要手动把python.exe所在的路径添加到Path中。

如果你不知道怎么修改环境变量,建议把Python安装程序重新运行一遍,务必记得勾上Add Python 3.5 to PATH

以上过程是步骤能执行的前提,请确保python已经正常安装,否则无法进行第二步。

第二步,scrapy框架的建立前提依赖库的完整安装:

特别说明一下:

lxml,Twisted,PyOpenssl需要下载与安装的python相同版本的,否则会报错。

这里有一种方法可以查看当前本机安装的python的版本:

进入python(IDIE或cmd均可,此处以通用的cmd进行使用)。在cmd中,输入python进入python。

然后输入import pip;print(pip.pep425tags.get_supported()),界面上输出当前python的版本信息--划线部分,(此处提供一个python3.5的图例,其他的一样)

然后根据python版本选择依赖库的版本号。

另外此处提供一个完整安装lxmL的参考地址:https://jingyan.baidu.com/article/ad310e80feaac71849f49e98.html

操作步骤为:

(1)通过以上的链接(手动输入吧)去下载库到本地,例如存本地的绝对路径为url

(2)通过管理员启动命令提示符(这里很重要),然后通过pip install url  分别进行安装lxml,Twisted,PyOpenssl

(3)安装完成

注:windows平台需要依赖pywin32,Pywin32是一个.exe文件,需要在已经安装的python中的scripts中执行安装(next即可),这样会默认配置python。

这里需要说明一下就是上述的安装是在没有使用虚拟环境的前提下进行的,这里附上使用虚拟环境(虚拟环境包管理)后的安装步骤:

第一步:包管理的安装

pip install virtualenvwrapper-win
pip install virtualenv

默认创建的虚拟环境位于C:\Users\username\envs,但是我们有时需要把项目环境存储到其他盘,所以我们可以通过环境变量 WORKON_HOME来定制实现虚拟环境的存储位置。

通过计算机-->属性-->高级系统设置-->环境变量-->在系统变量中新建“变量名”:WORKON_HOME,变量值:“你自定义的路径”。

使用workon可以查看虚拟环境包

第二步:创建一个虚拟环境

mkvirtualenv testscrapy

虚拟环境创建好之后会自动进入到该虚拟环境下

使用deactivate可以退出该虚拟环境,使用workon testscrapy可以进入到虚拟环境中

第三步:scrapy框架的安装  使用豆瓣的镜像

pip install -i https://pypi.douban.com/simple scrapy    

对于该步骤有可能会安装出错,原因为一些第三方包的缺失,

这里解决办法为在https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml中下载与我们python对应版本的包,指定下载到某一个目录下,然后在该目录下

打开虚拟环境(指的是路径必须是从当前文件所在盘开始,例如包下载到了D盘,cmd的根目录需要从D开始,如下图):

并在该虚拟环境下使用pip install xx 命令来安装所需的第三方的包(对于安装的包需要名称加扩展名)。例如安装lxml

pip install lxml-4.1.1-cp34-cp34m-win_amd64.whl

 以上步骤成功走完后,我们就可以开心愉快的玩耍了----接下来开启我们scrapy框架之旅

详细我们可以参考:https://www.cnblogs.com/jiuyang/p/7815126.html

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 分布式爬虫搭建系列 之二-----神器PyCharm的安装

    这里我们使用PyCharm作为开发工具,以下过程摘抄于:http://blog.csdn.net/qq_29883591/article/details/526...

    wfaceboss
  • 递归简单学习

    为了能求解从索引为0到n-1的数组元素和,可以分解为第0个数加上索引从1到n-1的数组元素和,如下:

    wfaceboss
  • nop 添加字段

    wfaceboss
  • AI入门工具篇-Tensorflow安装

    还记得去年大火大热的AlphaGo吗?从2015年开始,AlphaGo这名“网络棋手”先后挑战了欧洲围棋冠军、世界围棋冠军,几战成名后,吸引了大量的关注。而它背...

    企鹅号小编
  • Python开发_python的安装

    Python几乎可以在任何平台下运行,如我们所熟悉的:Windows/Unix/Linux/Macintosh。

    Hongten
  • Mac 删除/卸载 自己安装的python

    可参考: https://stackoverflow.com/questions/22774529/what-is-the-safest-way-to-re...

    用户2398817
  • Python下载安装的几种方式

    2、这里勾选安装并添加到PAHT ,下一步。一直默认就可以安装完成(说明:因为我已经安装过了,这里就不截图了)

    用户2398817
  • python3.* windows安装

    Python有2.和3.版本之分,至于之间的区别,在慢慢使用和接触就能了解到。我是直接入手Python3.*的。目前使用下来,情况还好...根据自己的需要进行选...

    用户2398817
  • 环境搭建及介绍

    一:python下载     官网下载对应的版本,安装,设置坏境变量,设置环境变量有两种方法,一种方法是在PATH中添加路径,另一种方法稍后介绍。 二:运...

    用户2398817
  • Windows 10 搭建Python开发环境(PyCharm )

    版权声明:本文为木偶人shaon原创文章,转载请注明原文地址,非常感谢。 https://b...

    shaonbean

扫码关注云+社区

领取腾讯云代金券