前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >在 Windows 下安装 Scrapy

在 Windows 下安装 Scrapy

作者头像
伪君子
发布2018-07-12 11:24:02
9650
发布2018-07-12 11:24:02
举报
文章被收录于专栏:伪君子的梦呓伪君子的梦呓

0 前言

因为要学一点爬虫,我要安装 Scrapy 这个库,直接用 Pycharm 安装就报错, pip 也不行,所以要把 Scrapy 依赖的库安装好,然后再安装 Scrapy 。

也就是说,lxml、pyOpenSSL、Twisted、pywin32 这些基本库都要安装好。

这次的安装环境是 Python3.6, 电脑是 32 位,主要用 PyCharm 安装。

1 安装

安装 lxml

PyCharm 安装比较简单一点

也可以 cmd 内输入

代码语言:javascript
复制
pip install lxml

先 Win键+R,再输入 cmd ,回车

进来后输入

代码语言:javascript
复制
pip install lxml

如果不行,则去下面的网站下载。

https://pypi.org/project/lxml/#files https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

比如我这台电脑是 Python3.6,32位的就下载 lxml-4.2.1-cp36-cp36m-win32.whl

进入 cmd,然后 cd 到文件的路径下,接着就是

代码语言:javascript
复制
pip install lxml-4.2.1-cp36-cp36m-win32.whl

命令后面那一部分要和文件名保持一致,也就是 pip install 文件名.whl回车,等一会就安装好了

安装 pyOpenSSL

用 PyCharm 安装或者用 pip安装

代码语言:javascript
复制
pip install pyOpenSSL

https://pypi.org/project/pyOpenSSL/#files

如果还不行,就下载图中的这个,然后进入 cmd 用 pip 安装 whl文件

安装 Twisted

我这里用 PyCharm 安装不了,pip install Twisted 也不行,直接去下载 whl 文件回来安装

https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted https://pypi.org/project/Twisted/#files

电脑是 python3.6 ,32 位的电脑,所以下载的是 Twisted-18.4.0-cp36-cp36m-win32.whl 这个文件

进入 cmd ,cd 到文件目录下,输入命令

代码语言:javascript
复制
pip install Twisted-18.4.0-cp36-cp36m-win32.whl

命令后面那一部分要和文件名保持一致,也就是 pip install 文件名.whl,回车,等一会就安装好了。

安装 pywin32

PyCharm 安装或者 pip install pywin32

https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/

如果不行,下载 exe 文件,下载回来直接运行一下就好。

最后就是安装 Scrapy 了,在 PyCharm 里面安装

直接用 pip 安装也行

代码语言:javascript
复制
pip install Scrapy

2 说明

听说用 Anaconda 安装可简单了,一个命令就搞定了,可惜我懒得试了。

代码语言:javascript
复制
conda install Scrapy

Anaconda下载链接:https://www.anaconda.com/download/

本次的参考资料是小怪大佬的知识星球【scrapy 爬虫课程】里的资料,这里就不放出来了。

题图:Photo by Kyle Glenn on Unsplash

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2018-05-27,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 伪君子的梦呓 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 0 前言
  • 1 安装
    • 安装 lxml
      • 安装 pyOpenSSL
        • 安装 Twisted
          • 安装 pywin32
          • 2 说明
          领券
          问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档