服务器上部署scrapy爬虫项目
爬爬们，如果你已经开始部署项目了，那么你肯定也已经写好了完整的爬虫项目，恭喜你，你很优秀！ **今天忙了小半天的服务器部署，跟大家分享一些心得～
首先我们要有一台服务器，不好意思，这是废话，略过。。。。。
安装python
# 下载安装包，好习惯可以自己创建文件夹/home/download/
$ wget https://www.python.org/ftp/python/3.4.1/Python-3.4.1.tgz
# 解压
$ tar zxvf Python-3.4.1.tgz /us
3进入解压后的目录，执行安装配置
$ ./configure
#或指定安装目录
$ ./configure --prefix=/opt/python3
$ make
$ make install
#安装后建立一个链接，这样我们可以用python3直接运行程序，和python2区别开来。
$ ln -s /opt/python3/bin/python3 /usr/bin/python3
注意：1.在安装之前最好要安装各种依赖包
yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel若已经安装python3并改软链接了，请修改/usr/bin/yum文件中的第一行python后加2.？版本号，还有一个文件需要修改叫什么我忘记了，同理
注意：2.pip3安装之前要建立pip3软连接
$ ln -s /opt/python3/bin/pip3 /usr/bin/pip33.安装scrapy
在这里我们先安装scrapyd避免手动安装scrapy需要的插件
pip3 install scrapyd
pip3 install scrapy注意：若没有在第二步安装依赖环境 sqlite-devel，那么在启动scrapyd的时候会报错。 安装各种依赖包最好创建虚拟环境，
#安装
pip3 install virtualenv
#建立软连接
$ ln -s /opt/python3/bin/virtualenv /usr/bin/virtualenv
#进入项目目录创建虚拟环境
$ virtualenv venv
# 在venv/bin目录下
source activate本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2019-10-17 ，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读