ubuntu上安装scrapy框架

简介:

Scrapy的安装有多种方式,它支持Python2.7版本及以上或Python3.3版本及以上, scrapy的依赖库比较多,而且各个平台的都不一样,这里我只介绍在debian/ubuntu下如何安装scrapy,以及我遇到的一些问题,windows用户自行百度了,哈哈(懒)

环境:

  • Ubuntu->18.04,
  • python->3.4.3,
  • pip->18.0,安装: 首先安装需要用到的依赖
  • 依赖 sudo apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev
  • 安装scrapy pip3 install Scrapy

如果速度比较慢,可以更换pip的源

vim ~/pip/pip.conf
[global]
index-url = http://mirrors.aliyun.com/pypi/simple/
trusted-host = mirrors.aliyun.com

报错:

Could not find a version that satisfies the requirement PyHamcrest>=1.9.0 (from Twisted>=13.1.0->scrapy) (from versions: )
No matching distribution found for PyHamcrest>=1.9.0 (from Twisted>=13.1.0->scrapy)

大致意思是我没有安装PyHamcrest吧,还规定了版本,因为我怕直接pip安装版本会不对,就直接下载对应版本的包,本地安装了。 在这里下载PyHamcrest->1.9.0版本的包到本地,然后进入目录

pip3 install ./PyHamcrest-1.9.0-py2.py3-none-any.whl

然后重新输入:

pip3 install Scrapy

等一会就好了~

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏coding

为python版本抓狂,试下pyenv吧安装pyenv版本切换pyenv-virtualenv小结

写python时,最烦的事莫过于版本切换。python3已经很成熟了,但很多生产项目依然用的是2.7版本,本地环境经常需要切换版本。此外,不同项目的依赖也不同,...

26020
来自专栏java闲聊

AvtiveMQ与SpringBoot结合

23770
来自专栏SpringBoot 核心技术

SpringCloud组件:Eureka的服务发现与消费

在之前的章节我们已经把服务注册到Eureka Server,那么我们该怎么调用已经注册后的服务呢? 我们本章来简单的介绍我们具体该怎么调用服务节点请求内容。

30010
来自专栏技术/开源

开源API测试工具 Hitchhiker v0.7更新 - Schedule的对比diff

Hitchhiker 是一款开源的支持多人协作的 Restful Api 测试工具,支持Schedule, 数据对比,压力测试,支持脚本定制请求,可以轻松部署到...

45360
来自专栏coder修行路

Python爬虫从入门到放弃(十一)之 Scrapy框架整体的一个了解

这里是通过爬取伯乐在线的全部文章为例子,让自己先对scrapy进行一个整理的理解 该例子中的详细代码会放到我的github地址:https://github.c...

36250
来自专栏三丰SanFeng

scrapy初体验 - 安装遇到的坑及第一个范例

scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。scrapy的安装稍显麻烦,不过按照以下步骤去进行,相信你也能很轻松的安装使用scrapy。

26180
来自专栏IT笔记

SpringBoot开发案例之配置静态资源文件路径

前言 SpringBoot本质上是为微服务而生的,以JAR的形式启动运行,但是有时候静态资源的访问是必不可少的,比如:image、js、css 等资源的访问。 ...

2.3K100
来自专栏Java学习123

linux mount -t用法

2.5K50
来自专栏技术专栏

Scrapy基础(一): 安装和使用

10210
来自专栏大神带我来搬砖

防止DHCP获取的DNS修改/etc/resolv.conf文件

想在centos系统中使用DHCP分配IP,但是使用自定义的DNS服务器,这时重启时会将DHCP获得的DNS服务器写到/etc/resolv.conf文件中,优...

37350

扫码关注云+社区

领取腾讯云代金券