Scrapy在Ubuntu下的安装与配置

Scrapy在Ubuntu下的安装与配置

吐槽一下

最近几天由于比较忙,关于Torch7剩下的部分过些日子再更新。现在想想,是不是好久没有更行python爬虫的东西啦?好的吧,今天由于台式机的Ubuntu崩溃了,不得不重新安装Scrapy爬虫框架,正好姐这个机会写点关于Scrapy在Ubuntu下的安装与配置的相关内容吧。说实话,在Ubuntu下安装SCrapy比在Window下安装方便多了(window下的安装教程度娘一搜一大把不再赘述)。

1

安装python

sudo apt-get install python2.7 python2.7-dev

2

安装pip

首先下载 pip-get.py,然后进入下载目录执行下面的命令。

wget https://bootstrap.pypa.io/get-pip.py  --no-check-certificate

sudo python get-pip.py

3

安装Scrapy

首先验证本机是否已经安装了lxml,验证方式如下。

sudo pip install lxml

如果终端提示以下信息则表明你的系统已经安装lxml

Requirement already satisfied (use --upgrade to upgrade): 
lxml in /usr/lib/python2.7/dist-packages

然后验证是否安装了openssl,这个比较简单,直接在终端下输入openssl直接进入OPENSSL表明已经安装

在确认已经安装了lxml和openssl后就可以安装Scrapy,如下。

sudo apt install python-scrapy

原文发布于微信公众号 - 机器学习算法与Python学习(guodongwei1991)

原文发表时间:2016-12-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Timhbw博客

防止WordPress后台被暴力破解

2017-04-0613:34:01 发表评论 955℃热度 WordPress作为使用人数最多的博客系统,一直是大家关注的焦点,不安好心的人找漏洞,钻空子爆...

5306
来自专栏北京马哥教育

Python爬虫基础知识:爬虫框架Scrapy的安装说明

云豆贴心提醒,本文阅读时间4分钟 之前的几篇爬虫基础知识系列内容,已经记录了一些简单的爬虫知识。这些只是处理一些简单问题自然不在话下,但是涉及到一些复杂的问题...

3399
来自专栏游戏杂谈

使用nginx反向代理获取百度MP3的真实网址

在没有自己的音乐搜索引擎的时候,却又想让用户可以较为方便的在自己的网站上搜索网络歌曲,在这里使用的是百度的MP3~

4142
来自专栏DevOps时代的专栏

Jenkins 的 Pipeline 脚本在美团餐饮 SaaS 中的实践

在日常开发中,我们经常会有发布需求,而且还会遇到各种环境,比如:线上环境(Online),模拟环境(Staging),开发环境(Dev)等。最简单的就是手动构建...

1292
来自专栏FreeBuf

你可曾想过在iOS上跑Linux?

你可曾想过在IOS设备上运行Linux系统?或者用shell来传输文件、编写脚本,又或者使用Vi来开发代码?

1642
来自专栏木头编程 - moTzxx

微信小程序Ⅰ [关于微信支付的一点思路]

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u011415782/article/de...

3303
来自专栏小文博客

《Python疑难杂症》——(一)PIP安装模块下载慢或者无法下载

正式入坑Python,遇到的几点疑难杂症和搜索到的解决方案在这里给大家分享下。希望能帮到一些初学者,你也可以在文章下面评论你遇到的Python问题以及解决方案,...

1211
来自专栏杂烩

一个综合的分布式项目之项目环境准备 原

    创建maven项目相信看到这的oscer都会,这里就不赘述,主要贴出一些配置文件(限于篇幅随意贴了点,全部的请看github上)。

741
来自专栏bdcn

Flask学习笔记-使用bootstrap-datepicker实现页面日期选择 顶

这个插件的样式个人觉得还是很不错,而且可以功能也是比较全的,多语言的支持也很全面,中文化很方便。

8512
来自专栏闵开慧

centos 网络配置视频地址及截图

1 地址:http://www.itercast.com/library/1 IP编址是现今使用最为广泛的网路编址协议,拥有两个主流版本:IPv4、IPv...

3675

扫码关注云+社区

领取腾讯云代金券