CentOS7分布式部署pyspider

1.搭建环境：

系统版本：`Linux centos-linux

python版本：

1.1.搭建python3环境：

本人在尝试过后选择集成环境Anaconda

1.1.1.编译

1.1.2.集成环境anaconda

1.2.安装mariaDB

1.3.安装pyspider

本人使用

其他方法

本人推荐用anaconda方式安装

若pyspider运行过程中出现错误，参考 安装部分，至此，访问 可看到页面。

1.4.安装Supervisor

1.4.1.Supervisor用法

1.5.安装redis

1.6.关于自启动

至此，pyspider单个服务器运行环境搭建且部署完毕，启动 进入web界面。

也可编写脚本运行，在 查看运行状态。

2.分布式部署

刚才配置的服务器，将其命名为 ，按照这样的配置，再分别部署两台 。

如下：

2.1.centos01

进入服务器 ，经过第一步，基本环境已经搭好，首先编辑配置文件

尝试运行下：

运行成功后，可直接更改 如下：

部署完毕。

2.2.centos02

在 中，需要运行

分别建立文件：

在 目录中建立pjsconfig.json

下载phantomjs至 文件夹，将 复制到

部署完毕。

2.3.centos03

部署这三个进程 和 一样，本服务器主要是在前面的基础上加上

建立文件：

3.总结

访问 http://10.211.55.24:5000 即可，尽情爬取吧。