cdh以及phoenix服务的安装详细教程

CDH5.14.2以及安装phoenix文档

一、 centos7下安装CDH所需软件包:

cdh5.14.2下载：https://archive.cloudera.com/cdh5/parcels/5.14.2/

然后下载cm5.14.3软件包:

cm5.14.3下载:

https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.14.3/RPMS/x86_64/

RPM-GPC-KEY-cloudera下载:

https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/

mysql安装包准备:

https://dev.mysql.com/downloads/file/?id=480090

选择:

下载:mysql-5.7.24-1.el7.x86_64.rpm-bundle.tar

https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.24-1.el7.x86_64.rpm-bundle.tar

下载jdk1.8安装包:

https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-

下载phoenix相关软件包:

下载地址:

http://www.apache.org/dist/phoenix/apache-phoenix-4.14.0-cdh5.14.2/parcels/

二、集群规划

三、上传软件

将上述所有软件包上传，准备开始安装了

四、开始安装CDH

4.1、修改hosts文件

范围:wlt-1/wlt-2/wlt-3/wlt-4

命令: vi /etc/hosts

4.2、修改hostname

范围: wlt-1/wlt-2/wlt-3/wlt-4

命令: vi /etc/hostname

wlt-1/wlt-2/wlt-3/wlt-4

4.3、ssh免密登录

4.3.1、创建私钥文件

范围: wlt-1/wlt-2/wlt-3/wlt-4

命令如下：

mkdir -p ~/.ssh

chmod 700 -R ~/.ssh

cd ~/.ssh

ssh-keygen -t rsa

这个就是一路回车就可以!

4.3.2、将秘钥文件拷贝到wlt-1

范围：wlt-2

命令：scp id_rsa.pub root@wlt-1:~/.ssh/id_rsa.pub.wlt-2

范围：wlt-3

命令：scp id_rsa.pub root@wlt-1:~/.ssh/id_rsa.pub.wlt-3

范围：wlt-4

命令：scp id_rsa.pub root@wlt-1:~/.ssh/id_rsa.pub.wlt-4

4.3.3、合并秘钥文件

范围：wlt-1

命令:

cat id_rsa.pub >> authorized_keys

cat id_rsa.pub.wlt2 >> authorized_keys

cat id_rsa.pub.wlt3 >> authorized_keys

cat id_rsa.pub.wlt4 >> authorized_keys

chmod 600 ~/.ssh/authorized_keys

4.3.4、分发公钥文件

范围： wlt-1

命令：

scp authorized_keys root@wlt-2:~/.ssh/authorized_keys

scp authorized_keys root@wlt-3:~/.ssh/authorized_keys

scp authorized_keys root@wlt-4:~/.ssh/authorized_keys

4.3.5、验证ssh免密登录

范围： wlt-1/wlt-2/wlt-3/wlt-4

命令：

ssh wlt-1

ssh wlt-2

ssh wlt-3

ssh wlt-4

4.4、集群时钟同步

4.4.1、安装ntp包

范围： wlt-1/wlt-2/wlt-3/wlt-4

命令：yum install -y ntp

4.4.2、主节点配置

4.4.2.1、修改配置文件

范围：wlt-1

命令：vi /etc/ntp.conf

修改以下内容：

#server 0.rhel.pool.ntp.org iburst

#server 1.rhel.pool.ntp.org iburst

#server 2.rhel.pool.ntp.org iburst

#server 3.rhel.pool.ntp.org iburst

server 127.127.1.0 # local clock

fudge 127.127.1.0 stratum 10

4.4.2.2、启动ntp服务

范围：wlt-1

命令：

systemctl start ntpd

systemctl enable ntpd

systemctl status ntpd

4.4.2.3、查看当前ntp状态

范围： wlt-1

命令：ntpq –p

出现*，说明已经开始同步了。

4.4.3、从节点配置

4.4.3.1、修改配置文件

范围： wlt-2/wlt-3/wlt-4

命令：vi /etc/ntp.conf

修改以下内容：

#server 0.rhel.pool.ntp.org iburst

#server 1.rhel.pool.ntp.org iburst

#server 2.rhel.pool.ntp.org iburst

#server 3.rhel.pool.ntp.org iburst

server 10.10.6.83

4.4.3.2、启动nto服务

范围： wlt-2/wlt-3/wlt-4

命令：

systemctl start ntpd

systemctl enable ntpd

systemctl status ntpd

4.4.3.3、查看当前ntp状态

范围： wlt-2/wlt-3/wlt-4

命令：ntpq –p

所有从节点出现*，说明已经开始同步了，如果此时还未出现，请耐心等待几分钟即可，一般 5分钟左右。

4.5、安装JDK

4.5.1、解压文件

范围：wlt-1/ wlt-2/wlt-3/wlt-4

命令：tar -xvf jdk-8u181-linux-x64.tar.gz

4.5.2、修改配置文件

范围：wlt-1/ wlt-2/wlt-3/wlt-4

命令：vi /etc/profile

增加以下内容:

export JAVA_HOME=/opt/jdk1.8.0_181

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

4.5.3、生效配置

范围：wlt-1/ wlt-2/wlt-3/wlt-4

命令：source /etc/profile

4.5.4、验证jdk

范围： wlt-1/ wlt-2/wlt-3/wlt-4

命令：java –version

4.6、配置jdbc驱动

范围： wlt-1/ wlt-2/wlt-3/wlt-4

命令：

tar -xvf mysql-connector-java-5.1.47.tar.gz

mkdir -p /usr/share/java/

mv /opt/mysql-connector-java-5.1.47/mysql-connector-java-5.1.47.jar /usr/share/java/

cd /usr/share/java

chmod 777 mysql-connector-java-5.1.47.jar

ln -s mysql-connector-java-5.1.47.jar mysql-connector-java.jar

4.7、安装httpd服务

4.7.1、安装httpd包

范围： wlt-1

命令：

yum -y install httpd createrepo

mv cm5.14.3/ cdh5.14.2/ /var/www/html/

cd /var/www/html/cm5.14.3/

createrepo ./

chmod 777 *

cd /var/www/html/cdh5.14.2/

createrepo ./

chmod 777 *

4.7.2、测试httpd服务

http://10.10.6.83/cm5.14.3

http://10.10.6.83/cdh5.14.2

可以看到俩个文件夹下的相关软件包

4.7.3、配置repo

范围： wlt-1/ wlt-2/wlt-3/wlt-4

命令：vi /etc/yum.repos.d/cm.repo

增加以下内容：

[cmrepo]

name = cm_repo baseurl = http://10.10.6.83/cm5.14.3

enable = true

gpgcheck = false

4.7.4、查看仓库

范围： wlt-1/ wlt-2/wlt-3/wlt-4

命令：yum repolist

4.8、设置swap

范围： wlt-1/ wlt-2/wlt-3/wlt-4

命令： echo "vm.swappiness=10" >> /etc/sysctl.conf

4.9、设置透明大页面

范围： wlt-1/ wlt-2/wlt-3/wlt-4

命令：

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

4.10、安装mysql

4.10.1、卸载mariadb

范围： wlt-1

命令：

rpm -qa|grep mariadb

rpm -e --nodeps mariadb-libs-5.5.44-2.el7.centos.x86_64

4.10.2、安装mysql

范围： wlt-1

tar -xvf /opt/mysql-5.7.24-1.el7.x86_64.rpm-bundle.tar

yum install -y net-tools

rpm -ivh mysql-community-common-5.7.24-1.el7.x86_64.rpm

rpm -ivh mysql-community-libs-5.7.24-1.el7.x86_64.rpm

rpm -ivh mysql-community-devel-5.7.24-1.el7.x86_64.rpm

rpm -ivh mysql-community-libs-compat-5.7.24-1.el7.x86_64.rpm

rpm -ivh mysql-community-client-5.7.24-1.el7.x86_64.rpm

rpm -ivh mysql-community-server-5.7.24-1.el7.x86_64.rpm

4.10.3、启动mysql服务

范围： wlt-1

命令：systemctl start mysqld

4.10.4、查看初始密码

范围： wlt-1

命令：grep 'temporary password' /var/log/mysqld.lo

4.10.5、设置mysql数据库

范围： wlt-1

命令：

mysql -u root –p

修改mysql密码定义规则:

set global validate_password_policy=0;

set global validate_password_mixed_case_count=0;

set global validate_password_number_count=3;

set global validate_password_special_char_count=0;

set global validate_password_length=3;

修改密码:

set password for 'root'@'localhost'=password('123');

GRANT ALL PRIVILEGES ON *.* TO root@'%' IDENTIFIED BY '123' WITH GRANT OPTION;

SHOW VARIABLES LIKE 'validate_password%';

创建cdh安装所需库:

create database cm DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci; create database rman DEFAULT CHARSET utf8 COLLATE utf8_general_ci; FLUSH PRIVILEGES;

exit;

4.11、安装Cloudera Mannager

范围： wlt-1

命令：yum -y install cloudera-manager-server

4.12、初始化数据库

范围： wlt-1

命令：

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql cm root 123

4.13、启动Cloudera Manager

范围： wlt-1

命令：

systemctl start cloudera-scm-server

systemctl status cloudera-scm-server

4.14、检查端口是否监听

范围： wlt-1

命令：netstat -lnpt | grep 7180

启动的过程需要一段时间，大约 2 分钟左右，请耐心等待后再次执行

4.15、访问Cloudera Manager Server

4.15.1、登录CM

访问http://10.10.6.83:7180/cmf/login

默认用户名/密码为：admin/admin

接下来就是一路next

注意:这里选择”Cloudera Express”免费版

4.15.2、添加主机

添加wlt-2,wlt-3,wlt-4

4.15.3、设置存储库

选择“自定义存储库”，输入：http://10.10.6.83/cm5.14.3

使用 parcel 选择，点击“更多选项”,点击“-”删除其它所有地址

然后点击加号输入 http://10.10.6.83/cdh5.14.2 点击“保存更改”

然后继续就ok

4.15.4、安装jdk

到这一步执行命令 chmod 777 /etc/group

然后

这个页面什么都不要选，默认安装本地的jdk,直接点击继续!!

等待安装完毕即可。。

4.15.5、分配\解压\激活

4.15.6、检查主机正确性

如果有报这个问题

2） 升级 Psycopg2

范围： hbase2/hbase3/hbase4

命令：

yum -y install python-devel mysql-devel zlib-devel openssl-devel gcc-c++ postgresql-devel* cd /opt

下载:

https://pypi.python.org/packages/source/p/psycopg2/psycopg2-2.5.4.tar.gz

tar zxvf psycopg2-2.5.4.tar.gz

cd psycopg2-2.5.4

python setup.py build

python setup.py install

运行上述命令后，点击：“重新运行”，解决.

4.15.7、选择服务

选择自定义服务:

Hbase

HDFS

Spark

YARN(MR2 Included)

Zookeeper

也可有需要可在页面自行添加

4.15.8、自定义角色分配

为了更加均衡的分配资源，我们”按主机查看“一下角色分配的具体情况

然后分配角色:

尤其要注意 zookeeper 的选择，至少 3 个以上

wlt-2 的角色比较多，再选择角色的时候，尽量分散开，选择完之后的角色分配情

选择好之后，继续进行安

然后，安装结束，点击完成，就可以看到主界面了！

五、安装CDH版phoenix

5.1、添加phoenix到httpd服务

将上传上去phoenix软件包放到当前目录下

修改文件权限

5.2、打开cloudera manager进行配置

打开页面上方小礼

点击配置

添加phoenix的远程存储库,添加完毕点击保存更改生效

依次点击：下载、分配、使用。parcel就会自动安装在各个机器上了。

然后：重启hbase客户端配置

最后查看是否安装成功

命令 :

cd /opt/cloudera/parcels/APACHE_PHOENIX/bin

./phoenix-sqlline.py wlt-2:2181 (注意一定要加上主机名和zk端口

!quit退出

到此相关服务组件成功安装完毕。