1.搭建环境:
系统版本:`Linux centos-linux
python版本:
1.1.搭建python3环境:
本人在尝试过后选择集成环境Anaconda
1.1.1.编译
1.1.2.集成环境anaconda
1.2.安装mariaDB
1.3.安装pyspider
本人使用
其他方法
本人推荐用anaconda方式安装
若pyspider运行过程中出现错误,参考 安装部分,至此,访问 可看到页面。
1.4.安装Supervisor
1.4.1.Supervisor用法
1.5.安装redis
1.6.关于自启动
至此,pyspider单个服务器运行环境搭建且部署完毕,启动 进入web界面。
也可编写脚本运行,在 查看运行状态。
2.分布式部署
刚才配置的服务器,将其命名为 ,按照这样的配置,再分别部署两台 。
如下:
2.1.centos01
进入服务器 ,经过第一步,基本环境已经搭好,首先编辑配置文件
尝试运行下:
运行成功后,可直接更改 如下:
部署完毕。
2.2.centos02
在 中,需要运行
分别建立文件:
在 目录中建立pjsconfig.json
下载phantomjs至 文件夹,将 复制到
部署完毕。
2.3.centos03
部署这三个进程 和 一样,本服务器主要是在前面的基础上加上
建立文件:
3.总结
访问 http://10.211.55.24:5000 即可,尽情爬取吧。
领取专属 10元无门槛券
私享最新 技术干货