专栏首页吉吉在这里Install Scrapy on OSX|mac OSX 上安装Scrapy[SYN:gejoin.com]

Install Scrapy on OSX|mac OSX 上安装Scrapy[SYN:gejoin.com]

顺利的话,一句命令搞定: sudo pip install Scrapy OSX还是需要额外一些包或升级的,包括:

cssselect, queuelib, six, w3lib, lxml, Twisted, characteristic, pyasn1, pyasn1-modules, service-identity

幸运的是pip或者easy_install 可以自动为你安装,但是其中的问题:

Found existing installation: six 1.4.1
 DEPRECATION: Uninstalling a distutils installed project (six) has been deprecated and will be removed in a future version. This is due to the fact that uninstalling a distutils project will only partially uninstall the project.
 Uninstalling six-1.4.1:

OSError: [Errno 1] Operation not permitted: ‘/tmp/pip-qeBchm-uninstall/System/Library/Frameworks/Python.framework/
 Versions/2.7/Extras/lib/python/six-1.4.1-py2.7.egg-info’

显然升级six是出错了,使用sudo pip install six --upgrade 或者 pip uninstall six 都会遇到同样的错误。无论什么用户,多大权限。想必下载包安装也会同样问题。我只能这么认为:这都是pip的错。 好吧,那就easy_install试试吧。

sudo easy_install –upgrade six
 Searching for six
 Reading https://pypi.python.org/simple/six/
 Best match: six 1.10.0
 Downloading https://pypi.python.org/packages/source/s/six/>six-1.10.0.tar.gz#md5=34eed507548117b2ab523ab14b2f8b55
 Processing six-1.10.0.tar.gz
Installed /Library/Python/2.7/site-packages/six-1.10.0-py2.7.egg
 Processing dependencies for six
 Finished processing dependencies for six

继续使用easy_install 安装Scarpy吧:…

sudo easy_install Scrapy

看起来挺顺利.. 可是….

In file included from src/lxml/lxml.etree.c:323:
 src/lxml/includes/etree_defs.h:14:10: fatal error: ‘libxml/xmlversion.h’ file not found
 #include “libxml/xmlversion.h”
 ^
 1 error generated.
 Compile failed: command ‘cc’ failed with exit status 1
 /tmp/easy_install-U7v3Lb/lxml-3.5.0/temp/xmlXPathInitxO27oS.c:1:10: >fatal error: ‘libxml/xpath.h’ file not found
 #include “libxml/xpath.h”
 ^
 1 error generated.

看来libxml2 需要额外安装的

xcode-select --install

以下就顺利完成安装

sudo pip install Scrapy OR sudo pip easy_install Scrapy

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Ubuntu12 一步步安装配置(系统,FTP,TELNET..设置)

    最近重新安装了Linux 操作系统,发现一些常用的配置又忘记了,需要一个个的重新google查阅进行设置,今天把我个人的操作记录下来.

    gigiwangs
  • 虚拟机中安装Chrome OS(cloudready)

    CloudReady 是基于Chromium OS 编译版本,硬盘安装非常简便,支持非常多的老机器,个人用户可以免费从其网站上下载获取。一些其它特性自行搜索了解...

    gigiwangs
  • CICS配置管理TIPS

    其中 backend_server 是后端服务器的 IP 地址。 添加以下行以编辑 /etc/services 文件:

    gigiwangs
  • CNN光流计算2

    FlowNet 2.0: Evolution of Optical Flow Estimation with Deep Networks CVPR2017 ...

    用户1148525
  • 每周学点大数据 | No.68 Hadoop 实践案例——等值连接

    No.68 Hadoop 实践案例——等值连接 Mr. 王 :我们再来看看另一个非常常见的例子。很多时候,我们关心的数据来自多个表。比如在某学校的教务系统中,有...

    灯塔大数据
  • 如何克服OpenStack混合云集成问题

    当谈及使用OpenStack和公共云供应商(如AWS)开发混合云时,很多IT专业人士都有着一个长长的愿望清单。 混合云是2016年最热门的IT流行语之一。一些企...

    静一
  • Cypress系列(90)- Cypress.Cookies 命令详解以及如何跨测试用例共享 Cookies

    https://www.cnblogs.com/poloyy/category/1768839.html

    小菠萝测试笔记
  • Redis 集群搭建详细指南

    最近有朋友问了一个问题,说毕业后去大城市还是小城市?去大公司还是小公司?我的回答都是大城市!大公司! 为什么这么说呢,你想一下,无论女孩男孩找朋友都喜欢找个子...

    别先生
  • Redis 主从集群及自启动配置

    在 CentOS 7.6 环境中搭建 Redis 主从集群,并使用 systemctl 配置集群自启动。

    用户2987604
  • 刷paper利器!不想打开PDF,这个插件自动帮你转到介绍页

    你们刷paper的时候,是愿意直接打开PDF,还是想先打开介绍页看看摘要呢? 量子位更喜欢介绍页,一是因为这个页面经常包含更多有用的信息,比如开源代码地址、投了...

    量子位

扫码关注云+社区

领取腾讯云代金券