centos7.2(1511版本）上安装pyspider
centos7.2(1511版本）上安装pyspider
censtos是服务器常用的操作系统，本例以centos7.2最小化版安装为例安装
yum 更新
yum update
安装wget命令
yum install wget
首页安装扩展源
yum -y install epel-release
国内yum源：
http://mirrors.163.com/.help/CentOS7-Base-163.repo
安装开发编译工具
yum install gcc gcc-c++
安装依赖库 系统自带版本为python2.7.5
yum install python-pip python-devel python-distribute libxml2 libxml2-devel python-lxml libxslt libxslt-devel openssl openssl-devel
升级pip
install --upgrade
安装pyspider
1 在线方式
pip install pyspider
2 文件包下载到 本地安装 建议先建立 /www /data 目录 便于以后项目及数据库文件都丢到对应目录 从git上下载文件包pyspider-master到/www目录下
cd pyspider-master
python setup.py install
安装后提示版本为pyspider-0.3.7
设置防火墙
开放5000（pyspider默认打开5000端口，如果启动指定了其它端口请对应修改）端口并重启防火墙。如果防火墙是关闭状态请跳过下面两步
firewall-cmd --zone=public --add-port=5000/tcp --permanent
firewall-cmd --reload访问控制台
安装完成直接执行pyspider以默认配置运行pyspider，访问http://localhost:5000访问控制台
MYSQL 数据库安装
系统默认是 mariadb-server 替换mysql 所以命令如下： 'yum install mariadb mariadb-server'
安装完依赖包后 默认自动安装
安装完成后 启动mariadb 'systemctl start mariadb'
设为开机启动 'systemctl enable mariadb'
mysql的默认安全检查 设置mysql 的root密码等相关 'mysql_secure_installation'
完成后 输入如下命令，测试数据库服务： 'mysql -uroot -p'
＃ phantomjs脚本安装 官网网址：http://phantomjs.org/ 软件列表地址:https://bitbucket.org/ariya/phantomjs/downloads
phantomjs介绍：PhantomJS是一个基于WebKit的服务器端JavaScript API，它无需浏览器的支持即可实现对Web的支持 ＃－－ 没有浏览器的实现浏览器功能的js功能模块
一：git方法 安装如下：
ubentu 及Debin系统
1 安装git软件 'apt－get install git'
2 前置安装
'apt-get install build-essential g++ flex bison gperf ruby perl libsqlite3-dev libfontconfig1-dev libicu-dev libfreetype6 libssl-dev libpng-dev libjpeg-dev python libx11-dev libxext-dev'
3 安装phantomjs 'git clone git://github.com/ariya/phantomjs.git cd phantomjs git checkout 1.9 ./build.sh'
二：软件下载后解压到服务器安装
https://bitbucket.org/ariya/phantomjs/downloads
cnetos安装方法
1 安装git软件 'yum install git'
2 前置安装 'yum -y install gcc gcc-c++ make flex bison gperf ruby openssl-devel freetype-devel fontconfig-devel libicu-devel sqlite-devel libpng-devel libjpeg-devel'
3 安装phantomjs2.1
'git clone git://github.com/ariya/phantomjs.git cd phantomjs git checkout 2.1.1 git submodule init git submodule update
python build.py'
编译时间超长 半小时到2～3小时不等，看虚拟机的配置了
(adsbygoogle = window.adsbygoogle || []).push({});