《CDH5部署三部曲》共三篇文章,对CDH5.7.2版本的准备、部署、启动、设置等环节进行实战,内容如下:
第一篇:《准备工作》,即CDH集群中每一台机器都要做的操作; 第二篇:《部署和设置》,本章完成CDH集群部署和启动; 第三篇:《问题总结》,列出实战中遇到的问题及解决办法;
本次搭建的CDH集群一共用到三台机器,一台master,另外两台是agent:
主机名 | IP地址 | 内存 | 身份 |
---|---|---|---|
master | 192.168.133.152 | 双核4G内存 | 管理节点 |
worker1 | 192.168.133.153 | 双核8G内存 | 任务节点 |
worker2 | 192.168.133.154 | 双核16G内存 | 任务节点 |
以下操作需要master、worker1、worker2各自做一遍:
yum install -y ntpdate
ntpdate cn.ntp.org.cn
systemctl stop firewalld && systemctl disable firewalld
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_191
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
source /etc/profile
mkdir /usr/java && ln -s /usr/lib/jvm/jdk1.8.0_191 /usr/java/default
yum -y install chkconfig bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb
mkdir /opt/cloudera-manager
tar -zxvf cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz -C /opt/cloudera-manager/
useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
vi /opt/cloudera-manager/cm-5.7.2/etc/cloudera-scm-agent/config.ini
192.168.133.154 master
192.168.133.155 worker1
192.168.133.156 worker2
至此,准备工作全部完成,请确保所有机器都做了上述操作,下一篇会用这些机器来完成部署。