专栏首页进击的Coder腾讯云主机Python3环境安装Scrapy爬虫框架过程及常见错误
原创

腾讯云主机Python3环境安装Scrapy爬虫框架过程及常见错误

Scrapy安装介绍

Scrapy的安装有多种方式,它支持Python2.7版本及以上或Python3.3版本及以上。下面说明Python3环境下的安装过程。

Scrapy依赖的库比较多,至少需要依赖库有Twisted 14.0,lxml 3.4,pyOpenSSL 0.14。而在不同平台环境又各不相同,所以在安装之前最好确保把一些基本库安装好,尤其是Windows。

腾讯云有Windows、Linux多个版本系统,在这里分别介绍。

各平台安装简介

Anaconda

这种方法是一种比较简单的安装Scrapy的方法(尤其是对Windows来说),你可以使用该方法安装,也可以选用下文中专用平台的安装方法。

Anaconda是包含了常用的数据科学库的Python发行版本,如果没有安装,可以到https://www.continuum.io/downloads下载对应平台的包安装。

如果已经安装,那么可以轻松地通过conda命令安装Scrapy。

安装命令如下:

conda install Scrapy

Windows

  • 安装lxml

最好的安装方式是通过wheel文件来安装,http://www.lfd.uci.edu/~gohlke/pythonlibs/,从该网站找到lxml的相关文件。假如是Python3.5版本,WIndows 64位系统,那就找到lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl 这个文件并下载,然后通过pip安装。

下载之后,运行如下命令安装:

pip3 install wheel
pip3 install lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl

即可完成lxml的安装,其他文件替换文件名即可。

  • 安装zope.interface

到官方网站https://pypi.python.org/pypi/zope.interface#downloads下载对应版本的wheel文件,然后pip安装。比如Python 3.5版本,Windows 64位系统,就下载zope.interface-4.3.3-cp35-cp35m-win_amd64.whl。

然后安装wheel文件即可,命令如下:

pip3 install zope.interface-4.3.3-cp35-cp35m-win_amd64.whl

其他版本替换文件名即可。

  • 安装pyOpenSSL

官方网站下载wheel文件,https://pypi.python.org/pypi/pyOpenSSL#downloads,如当前最新版本名称是pyOpenSSL-16.2.0-py2.py3-none-any.whl,下载后安装即可。

pip3 install pyOpenSSL-16.2.0-py2.py3-none-any.whl
  • 安装Twisted

同理,http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下载wheel文件,利用pip安装即可。 如Python 3.5版本,Windows 64位系统,下载 Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl,然后pip安装。

pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl
  • 安装pywin32

从官方网站 https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/ 下载对应版本的安装包安装即可。

  • 安装Scrapy

最后安装Scrapy即可,依然使用pip,命令如下:

pip3 install Scrapy

CentOS、RedHat、Fedora

  • 依赖库安装

确保一些必须的类库已经安装,运行如下命令:

sudo yum groupinstall development tools
sudo yum install python34-devel epel-release libxslt-devel libxml2-devel openssl-devel
  • 安装Scrapy

利用pip安装Scrapy即可,运行如下命令:

pip3 install Scrapy

Ubuntu、Debian、Deepin

  • 依赖库安装

首先确保一些必须的类库已经安装,运行如下命令:

sudo apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev
  • 安装Scrapy

利用pip安装Scrapy即可,运行如下命令:

pip3 install Scrapy

虽然腾讯云没有Mac系统,不过在这里还是加上MacOS的安装。

Mac OS

  • 依赖库安装

在Mac上构建Scrapy的依赖库需要C编译器以及开发头文件,它一般由Xcode提供,运行如下命令安装即可:

xcode-select --install
  • 安装Scrapy

利用pip安装Scrapy即可,运行如下命令:

pip3 install Scrapy

验证

安装之后,在命令行下输入scrapy,如果出现类似下方的结果,就证明Scrapy安装成功。

常见错误

  • pkg_resources.VersionConflict: (six 1.5.2 (/usr/lib/python3/dist-packages), Requirement.parse('six>=1.6.0'))

six包版本过低,six包是一个提供兼容Python2和Python3的库,升级six包即可。

sudo pip3 install -U six
  • c/_cffi_backend.c:15:17: fatal error: ffi.h: No such file or directory

缺少Libffi这个库。什么是libffi?“FFI” 的全名是 Foreign Function Interface,通常指的是允许以一种语言编写的代码调用另一种语言的代码。而Libffi库只提供了最底层的、与架构相关的、完整的”FFI”。

安装相应的库即可。

Ubuntu、Debian:

sudo apt-get install build-essential libssl-dev libffi-dev python3-dev

CentOS、RedHat:

sudo yum install gcc libffi-devel python-devel openssl-devel
  • ImportError: No module named 'cryptography'

这是缺少加密的相关组件,利用pip安装即可。

sudo pip3 install cryptography
  • ImportError: No module named 'packaging'

缺少packaging这个包,它提供了Python包的核心功能,利用pip安装即可。

sudo pip3 install packaging
  • ImportError: No module named 'appdirs'

缺少appdirs这个包,它用来确定文件目录,利用pip单独安装即可。

sudo pip3 install appdirs

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 腾讯云主机Python3环境安装PySpider爬虫框架过程

    PhantomJS 是一个基于 WebKit 的服务器端 JavaScript API。它全面支持web而不需浏览器支持,其快速、原生支持各种Web标准:DOM...

    崔庆才
  • 小白学 Scrapy 爬虫系列之一:准备实验机器

    本系列文章中,笔者将带领大家从零开始学习爬虫编写。在跟随笔者一起实操之前,要求大家有一定的 Python 基础。之前没接触过的同学也不用担心,Python 号称...

    编程派
  • Python操作Redis - 云爬虫初探

    云存储Redis(Cloud Redis Store)是腾讯云打造的兼容Redis协议的缓存和存储服务,提供主从版和集群版。丰富的数据结构能帮助您完成不同类型的...

    钟志远
  • 云上部署Python3爬虫--以腾讯云+Ubuntu为例

    以鄙人在GitHub上的辣鸡代码为例, 其他Scrapy的项目操作类似, 本文同样适用于不使用云服务器的情形(排除掉前期准备部分即可).

    benny
  • 【Lighthouse教程】网页内容抓取入门

    网页内容抓取(Web Scraping)是指通过网页抓取工具(即Web Crawler,亦称网页爬虫)对指定网页进行设定行为的自动访问,并进行数据分析提取、最终...

    溪歪歪
  • 腾讯云主机Python3环境安装PySp

    利用腾讯云服务器我们可以玩好多的技术,前面的我给大家分享的大多与网站和一些服务有关,今天我给大家分享有关腾讯云主机Python3环境安装PySpider爬虫框架...

    py3study
  • Python3网络爬虫实战-10、爬虫框

    我们直接用 Requests、Selenium 等库写爬虫,如果爬取量不是太大,速度要求不高,是完全可以满足需求的。但是写多了会发现其内部许多代码和组件是可以复...

    py3study
  • 云上部署Python3爬虫--以腾讯云+Ubuntu为例

    Xshell学生和家用是免费的, 下载地址http://www.netsarang.com/download/free_license.html

    FesonX
  • 爬虫进阶:Scrapy入门

      学Py和写爬虫都有很长一段时间了,虽然工作方面主要还是做Java开发,但事实上用python写东西真的很爽。之前都是用Requests+BeautifulS...

    happyJared
  • 【阅读清单】有奖内测体验活动

    完成了内测体验的小伙伴,可以填写问卷,活动结束后我们将统一进行审核,审核结束就进行礼品发放。问卷链接:https://wj.qq.com/s2/7433898/...

    云加社区
  • Python网络爬虫工程师需要掌握的核心技术

    为了让具备Python基础的人群适合岗位的需求,小编推出了一门全面的、系统的、简易的Python网络爬虫入门级课程,不仅讲解了学习网络爬虫必备的基础知识,而且加...

    python学习教程
  • 【Lighthouse教程】scrapy爬虫初探

    最近经常有朋友让我帮忙写个爬虫,便萌生了一个写一篇简单的scrapy教程的想法,旨在帮助没有太多爬虫经验的朋友,可以快速爬取到所需的信息.

    AmazzzingShang
  • 0基础学Python从哪入手?3个月快速学会Python的秘诀是什么?

    题主如果想要利用python爬取数据资料,本人目前也正在学习Python网络爬虫,我就从爬虫谈谈python的学习。

    python学习教程
  • windows7 32、64位下python爬虫框架scrapy环境的搭建方法

    三、安装相关软件(可以从我的百度网盘下载:链接: https://pan.baidu.com/s/1MzHNALJcRePSoaEqBQvGAQ 提取码: xd...

    砸漏
  • 关于Python爬虫,这里有一条高效的学习路径

    关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第一 【Python】:排名第三 【算法】:排名第四 ? 如果你仔细观察,就不难发现,懂爬...

    昱良
  • 【Lighthouse教程】scrapy爬虫初探

    最近经常有朋友让我帮忙写个爬虫,便萌生了一个写一篇简单的scrapy教程的想法,旨在帮助没有太多爬虫经验的朋友,可以快速爬取到所需的信息.

    AmazzzingShang
  • Python 爬虫入门

    想从零基础开始学习 Python,可以把爬虫可以作为切入点。利用爬虫将基础知识学起来。毕竟兴趣是最好的学习老师。我当初觉得爬取网站数据挺有趣,所以才靠开始学习 ...

    猴哥yuri
  • 初识Python3

    Python是一种解释型、面向对象、动态数据类型的高级程序设计语言。由Guido van Rossum于1989年底发明,第一个公开发行版发行于1991年。

    用户2146693
  • 独家 | 手把手教你用scrapy制作一个小程序 !(附代码)

    本文提供了scrapy和pycharm安装和配置时容易出现错误和解决办法,同时演绎了网络教程经典的“爬取豆瓣9分书单”的例子,每一步代码都给出了编者的理解,并对...

    数据派THU

扫码关注云+社区

领取腾讯云代金券