前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >安装scrapy,以及出现的错误解决。

安装scrapy,以及出现的错误解决。

作者头像
py3study
发布2020-01-03 16:35:02
1.5K0
发布2020-01-03 16:35:02
举报
文章被收录于专栏:python3

首先我是在python3的环境上面完成的。我保留了python2的版本,然后安装python3的版本。然后在安装scrapy的过程中出现的错误,以及切换python版本后出现的错误。 一、安装python3

代码语言:javascript
复制
cd /usr/local/src/
wget https://www.python.org/ftp/python/3.4.2/Python-3.4.2.tgz
tar -xf Python-3.4.2.tgz
cd Python-3.4.2
./configure --prefix=/usr/local/python3
make && make install
##将python做一个备份,然后把python3的建立一个软连接
mv /usr/bin/python /usr/bin/pythonbak
ln -fs /usr/local/python3/bin/python3 /usr/bin/python
再在终端进入python交互模式,出现的是python3了。
[root@lsf ~]# python
Python 3.4.2 (default, Mar 13 2018, 11:37:48) 
[GCC 4.8.5 20150623 (Red Hat 4.8.5-16)] on linux
Type "help", "copyright", "credits" or "license" for more information.

##python升级到3后,yum无法正常使用,此时需要改一个文件
[root@lsf ~]# cat /usr/bin/yum
#!/usr/bin/python2.7
将第一行改为python2.7

二、安装scrapy

代码语言:javascript
复制
##建立pip3的软连接
ln -fs /usr/local/python3/bin/pip3 /usr/bin/pip3
##yum安装依赖包,可以解决编译过程中出现的许多错误
yum install -y gcc openssl-devel libxml2-devel libxslt-devel bzip2-devel bzip2* libffi-devel python-devel openssl-devel pycrypto
##用pip3安装
pip3 install twisted --upgrade
pip3 install cryptography pycrypto
##安装scrapy
pip3 install scrapy
##建立scrapy软连接
ln -fs /usr/local/python3/bin/scrapy /usr/bin/scrapy

三、测试scrapy命令

代码语言:javascript
复制
[root@lsf ~]# scrapy
Scrapy 1.5.0 - no active project

Usage:
  scrapy <command> [options] [args]

Available commands:
  bench         Run quick benchmark test
  fetch         Fetch a URL using the Scrapy downloader
  genspider     Generate new spider using pre-defined templates
  runspider     Run a self-contained spider (without creating a project)
  settings      Get settings values
  shell         Interactive scraping console
  startproject  Create new project
  version       Print Scrapy version
  view          Open URL in browser, as seen by Scrapy

  [ more ]      More commands available when run from project directory

Use "scrapy <command> -h" to see more info about a command
##创建一个scrapy项目
scrapy startproject myfirstpjt
##可能会报错ImportError: cannot import name 'certificate_transparency'
pip3 install pip3 --upgrade
##再次安装scrapy
pip3 install scrapy
##创建项目成功后,会出现下面的文件
[root@lsf test_scrapy]# cd myfirstpjt/
[root@lsf myfirstpjt]# ls
myfirstpjt  scrapy.cfg
[root@lsf myfirstpjt]# cd myfirstpjt/
[root@lsf myfirstpjt]# ls
__init__.py  items.py  middlewares.py  pipelines.py  __pycache__  settings.py  spiders

然后就可以直接使用scrapy命令进行项目管理了。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2019/09/24 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
项目管理
CODING 项目管理(CODING Project Management,CODING-PM)工具包含迭代管理、需求管理、任务管理、缺陷管理、文件/wiki 等功能,适用于研发团队进行项目管理或敏捷开发实践。结合敏捷研发理念,帮助您对产品进行迭代规划,让每个迭代中的需求、任务、缺陷无障碍沟通流转, 让项目开发过程风险可控,达到可持续性快速迭代。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档