前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >原 荐 Centos 7+CDH5.7.2全

原 荐 Centos 7+CDH5.7.2全

作者头像
云飞扬
发布2018-06-13 15:56:52
1.5K0
发布2018-06-13 15:56:52
举报
文章被收录于专栏:星汉技术

Centos 7+CDH5.7.2全部署流程

一、前期准备

1、虚拟机配置

    这个配置是我在网上看到的,我就借用了这个配置:

    主节点:8g内存、硬盘80g

    从节点:2g内存、硬盘80g

    安装系统的时候,我建议将IP和主机名都给配置好,这样就省的在系统中进行配置了,当然下面也有在系统中配置的方法。

    所以如果你要使用虚拟机来完成这个配置的话,那么,你的主机的配置内存就不能低于16G了。而且还要找一个盘符较大的磁盘空间,不然到后面操作CDH的时候会很尴尬,我第一次就被卡在了硬盘空间不足上,然后又重新找了一个较大的盘符进行了重新安装,包括虚拟机系统。

2、软件版本

    1.JDK版本:jdk-8u131-linux-x64.tar.gz

    2.Scala版本:scala-2.11.0.tgz

    以上两个包建议使用rpm或者yum安装,这样可以省点事,不过我是使用的这两个包。

    3.jdbc连接包:mysql-connector-java-5.1.38-bin.jar

    4.MySQL相关包:

    MySQL-client-5.6.29-1.linux_glibc2.5.x86_64.rpm

    MySQL-server-5.6.29-1.linux_glibc2.5.x86_64.rpm

    5.CDH安装相关的包:

    cloudera manager包:cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz

    CDH包:

    CDH-5.7.2-1.cdh5.7.2.p0.11-el7.parcel

    CDH-5.7.2-1.cdh5.7.2.p0.11-el7.parcel.sha1

    manifest.json

    注意centos要下载el7的。

    6.系统使用Linux的CentOS 7版本,CentOS 7和CentOS 6.5在命令上有一些区别,这里会进行说明。

3、集群的规划

IP地址

主机名

说明

192.168.75.41

cdh01

主节点、从节点

192.168.75.42

cdh02

从节点

192.168.75.43

cdh03

从节点

二、开始安装前配置和预装软件

1、服务器配置

    修改每台节点服务器的有关配置,包括IP、hostname、selinux,防火墙。

    如果你在安装CentOS7系统的时候已经指定了主机名和IP地址,那么IP修改和hostname修改就可以省略。但是这里面要强调一点的是,如果你想使用yum安装,那么DNS一定要配置。

1.IP修改

    这里要使用固定IP,而centOS 7已经没有setup命令,所以图形界面的设置已经没有了,这里只能修改配置文件,而且配置文件的名称还不固定,每个人的都可能不一样,这里我说一下位置,IP配置文件的位置:/etc/sysconfig/network-scripts/,如下图:

    这里我的配置文件名称叫做ifcfg-ens33。而CentOS 7系统竟然连vim也没有了,只有vi,所以就是如下:

    如上图:BOOTPROTO、ONBOOT是需要修改的,剩下四项是需要手动添加的。因为后面要使用yum安装,所以这里必须配置DNS,测试环境可以将DNS配置成网关的地址。

    如上图,重启网络服务,这个命令没有更改,然后查看ip。

    每台都进行这样的配置。

2.hostname修改

    分别对三台都进行更改,并且注意每台名称和ip,每台都要配上。

代码语言:javascript
复制
[root@hodoop1~] vi /etc/sysconfig/network
#配置内容
NETWORKING=yes
HOSTNAME=cdh01

    此处修改完成需要重启才能生效,也可以使用如下方法,立即生效:

代码语言:javascript
复制
[root@hodoop1~] hostname cdh01
[root@hodoop1~] hostname
cdh01

3.关闭防火墙

    CentOS 7.0默认使用的是firewall作为防火墙,相关操作变动很大,和6.5版本的一点也不一样,操作如下:

代码语言:javascript
复制
[root@hadoop1~]firewall-cmd --state #查看防火墙状态
running
[root@hadoop1~]systemctl stop firewalld #停止防火墙的服务
[root@hadoop1~]systemctl disable firewalld #禁止开机启动
rm '/etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service'
rm '/etc/systemd/system/basic.target.wants/firewalld.service'

4.selinux关闭

    所有节点都需要关闭,这是官方文档要求的。

代码语言:javascript
复制
[root@hadoop1~]vi /etc/sysconfig/selinux
SELINUX=disabled

    重启才能生效,重启后检查。

代码语言:javascript
复制
[root@cdh01~]sestatus -v
SELinux status: disabled #表示已经关闭了。

5.免密登录配置

    安装过程中master需要各个节点的root免登录密码,先在master上生成公钥:

代码语言:javascript
复制
ssh-keygen
ssh-copy-id root@192.168.75.41
ssh-copy-id root@192.168.75.42
ssh-copy-id root@192.168.75.43

    分别对每台节点进行以上操作,操作完了可以通过ssh ip进行验证是否可以无需输入密码就能直接登录到节点服务器上去。

6.ip和主机名映射关系

    操作如下:

代码语言:javascript
复制
[root@hadoop1~]vi /etc/hosts
#内容如下
127.0.0.1   localhost
::1         localhost
192.168.75.41 cdh01
192.168.75.42 cdh02
192.168.75.43 cdh03

    内容如上,保存退出,然后可以使用scp命令将这个配置拷贝给其他主机。

代码语言:javascript
复制
scp /etc/hosts root@192.168.75.42:/etc/hosts

7.NTP服务器设置

    网上很多博客都提到这个配置,说是让各个节点统一时间,但是我没有配置,我也将这个配置放到这里:

代码语言:javascript
复制
[root@cdh01~]yum -y install ntp #更改master的节点
[root@cdh01~]vi /etc/ntp.conf

    注释掉所有server *.*.*的指向,新添加一条可连接的ntp服务器(百度一下ntp服务器)

    server ntp.sjtu.edu.cn iburst

    在其他节点上把ntp指向master服务器地址即可(/etc/ntp.conf下)

    server 192.168.160.130 iburst 所有节点。

2、第三方依赖包

1.其他依赖

    针对这个步骤,你可以看网上很多的博客都是将这个步骤放到了MySQL安装的后面,但是经过本人的测试,这一步还是放在前面比较好,因为后面安装的软件,但凡有依赖的,你在这里已经做好了,所以在这里操作安装依赖包,并且是所有节点都安装。

代码语言:javascript
复制
yum install chkconfig python bind-utils psmisc libxslt zlib sqlite fuse fuse-libs redhat-lsb cyrus-sasl-plain cyrus-sasl-gssapi

    注意这个地方依赖包一定要安装完整了,会经过三个y/N的过程,全部选择Y,这个安装的过程完全看你的网速了,基本敲完这个命令你就可以休息一会了。

2.MySQL jar包

    这个环节只需要在主节点上进行即可。

    在cdh01上准备mysql的jar包:

代码语言:javascript
复制
mkdir -p /usr/share/java

    修改jar包的名字,并拷贝到/usr/share/java/目录:

代码语言:javascript
复制
cp mysql-connector-java-5.1.38-bin.jar /usr/share/java/mysql-connector-java.jar

    注意上述操作,是修改了jar包的名字,因为后面有操作会寻找这个jar包的这个固定的名字,所以这里要修改一下名字。

3、安装jdk

    这个是所有服务的基础,每个节点都需要安装。

1.卸载jdk

    安装之前首先检查一下,你的服务器是否默认安装了OpenJDK,如果系统自带了,就需要卸载,步骤如下:

代码语言:javascript
复制
#检查是否安装
[root@cdh01~]java -version
java version "1.7.0_75"
OpenJDK Runtime Environment (rhel-2.5.4.2.el7_0-x86_64 u75-b13)
OpenJDK 64-Bit Server VM (build 24.75-b04, mixed mode)
#查看需要卸载的包
[root@cdh01~]rpm -qa | grep jdk
java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64
java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64
#卸载
[root@cdh01~]yum -y remove java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64
[root@cdh01~]yum -y remove java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64
#再次检查
[root@cdh01~]java -version
bash: /usr/bin/java: No such file or directory

    如果没有安装,则可以跳过此步骤,我的系统没有自带jdk。

2.安装

    如下两个方法,任选其一,不要都做。

1>rpm或yum安装

    直接使用命令进行安装即可,这里不做过多解释。

2>使用压缩包安装

    将准备的好的安装包上传,我习惯的目录是:/home/software,上传完成,进行解压:

代码语言:javascript
复制
tar -zxvf jdk-8u131-linux-x64.tar.gz
mv jdk-1.8.0 jdk1.8

    如果你还要安装spark,可以将环境变量和Scala一起配置。

    配置环境变量:

代码语言:javascript
复制
vi /etc/profile

    在文件中追加一下内容:

代码语言:javascript
复制
#java
export JAVA_HOME=/home/software/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin

    保存退出之后,这里还需要设置一个软连接:

代码语言:javascript
复制
mkdir /usr/java
ln -s /home/software/jdk1.8 /usr/java/default

    如果你使用的是yum或者rpm安装的jdk那么这些步骤就可以省略。因为CDH平台安装的时候默认寻找的jdk路径为/usr/java。

4、安装Scala

    如果你要安装Spark一定不能省略Scala的安装,否则,你在web端操作CDH的时候,会给你报错,网上的解决方法,基本都是说的jdk没人说到Scala。

    这个操作同样也是在所有的节点上。

    目录还是在/home/software。操作如下:

代码语言:javascript
复制
tar -zxvf scala-2.11.0.tgz
mv scala-2.11.0 scala2.11

    然后配置环境变量:

代码语言:javascript
复制
vi /etc/profile

同样在末尾追加以下内容:

代码语言:javascript
复制
export SCALA_HOME=/home/software/scala2.11
export PATH=$PATH:$SCALA_HOME/bin

5、安装mysql

    MySQL的安装只需要在主节点进行即可。

1.卸载

    安装MySQL也同样需要检查,系统是否自带了,centos7自带的是mariadb,首先检查,命令如下:

代码语言:javascript
复制
[root@cdh01]rpm -qa | grep mariadb
mariadb-libs-5.5.41-2.el7_0.x86_64

    如上的情况是存在,如果存在就使用以下命令进行卸载:

代码语言:javascript
复制
[root@cdh01]rpm -e --nodeps mariadb-libs-5.5.41-2.el7_0.x86_64

2.安装

    将下载好的MySQL rpm包拷贝到服务器上,然后解压、安装。

1>创建用户及用户组
代码语言:javascript
复制
#增加用户组mysql:
groupadd mysql
#增加用户mysql,加入mysql用户组:
useradd -r -g mysql mysql
2>安装MySQL
代码语言:javascript
复制
#安装server:
rpm -ivh MySQL-server-5.6.29-1.linux_glibc2.5.x86_64.rpm
#安装client:
rpm -ivh MySQL-client-5.6.29-1.linux_glibc2.5.x86_64.rpm
3>添加随机启动

    将mysqld加入系统服务,并随机启动,命令如下:

代码语言:javascript
复制
cp /usr/share/mysql/mysql.server /etc/init.d/mysqld
4>启动MySQL

    启动mysqld的命令如下:

代码语言:javascript
复制
service mysqld start
5>修改密码

    首先获取mysql安装时root用户的随机密码:

代码语言:javascript
复制
vim /root/.mysql_secret

    也可使用cat命令查看:

代码语言:javascript
复制
cat /root/.mysql_secret

    此密码只能用来修改密码使用。

    必须要修改root用户的密码才可以使用mysql,否则只能连接不能操作

代码语言:javascript
复制
mysqladmin -u root -p  password root
6>测试
代码语言:javascript
复制
#连接进入mysql,命令如下:
mysql -u root -p
root
#查看mysql的安装运行路径,命令如下:
ps -ef|grep mysql
7>MySQL相关问题

    如果出现没有权限的问题,在mysql授权(在安装mysql的机器上执行),执行下面的语句,进行授权:

代码语言:javascript
复制
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;
FLUSH PRIVILEGES;

    *.*:所有库下的所有表。

    %:任何IP地址或主机都可以连接。如果%配置不生效,就配置具体的主机名称。

3.创建数据库

    如下命令是创建部署各个服务所需的数据库,我本人倾向用不用先创建好,用的时候就可以直接部署服务了,不必再来数据库进行创建。

代码语言:javascript
复制
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

三、安装Cloudera-Manager

    将Cloudera相关的四个包,如下:

    cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz

    CDH-5.7.2-1.cdh5.7.2.p0.11-el7.parcel

    CDH-5.7.2-1.cdh5.7.2.p0.11-el7.parcel.sha1

    manifest.json

    上传到所有的服务器上,在所有的服务器上执行以下操作。

1、安装CM

    解压cm tar包到指定目录,先创建目录,命令操作如下:

代码语言:javascript
复制
[root@cdh01 ~]mkdir /opt/cloudera-manager
[root@cdh01 ~]tar -zxvf cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz -C /opt/cloudera-manager

    创建cloudera-scm用户

代码语言:javascript
复制
#创建
[root@cdh01 ~]useradd -r -d /opt/cloudera-manager/cm-5.7.2/run/cloudera-scm-server -M -c "Cloudera SCM User" cloudera-scm
#查看
[root@cdh01 ~]id cloudera-scm

2、配置

1.配置从节点的老大

    配置从节点cloudera-manger-agent指向主节点服务器,我现在的集群规划,是需要在每台服务器上都进行如下配置:

代码语言:javascript
复制
vi /opt/cloudera-manager/cm-5.7.2/etc/cloudera-scm-agent/config.ini

    将server_host改为CMS所在的主机名即cdh01

代码语言:javascript
复制
server_host=cdh01

2.配置仓库目录

    此操作只需在主节点进行即可,在主节点中创建parcel-repo仓库目录,命令如下:

代码语言:javascript
复制
[root@cdh01 ~]mkdir -p /opt/cloudera/parcel-repo
[root@cdh01 ~]chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
[root@cdh01 ~]cp CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel.sha1 manifest.json /opt/cloudera/parcel-repo

    注意:其中CDH-5.7.2-1.cdh5.7.2.p0.18-el5.parcel.sha1 后缀要把1去掉,操作如下:

代码语言:javascript
复制
mv CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel.sha1 CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel.sha

3.配置CDH从节点目录

    在所有的节点上创建parcels目录,操作如下:

代码语言:javascript
复制
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

    解释:Clouder-Manager将CDH从主节点的/opt/cloudera/parcel-repo目录中抽取出来,分发解压激活到各个节点的/opt/cloudera/parcels目录中。

4.初始化数据库

    此操作在主节点上进行,初始脚本配置数据库scm_prepare_database.sh,操作命令如下:

代码语言:javascript
复制
[root@cdh01 ~]/opt/cloudera-manager/cm-5.7.2/share/cmf/schema/scm_prepare_database.sh mysql -hcdh01 -uroot -proot --scm-host cdh01 scmdbn scmdbu scmdbp

    说明:这个脚本就是用来创建和配置CMS需要的数据库的脚本。各参数是指:

    mysql:数据库用的是mysql,如果安装过程中用的oracle,那么该参数就应该改为oracle。

    -hcdh01:数据库建立在cdh01主机上面。也就是主节点上面。

    -uroot:root身份运行mysql。-proot:mysql的root密码是root。

    --scm-host cdh01:CMS的主机,一般是和mysql安装的主机是在同一个主机上。

    最后三个参数是:数据库名,数据库用户名,数据库密码。

    执行完成命令正常如下:

    在这个地方就可以解释上面为什么要改jar名了。

3、启动服务

1.启动server

    此命令只需在主节点执行即可。

    进入/opt/cloudera-manager/cm-5.7.2/etc/init.d/目录中,执行如下命令:

代码语言:javascript
复制
./cloudera-scm-server start
#或者直接执行以下命令:
/opt/cloudera-manager/cm-5.7.2/etc/init.d/cloudera-scm-server start

2.启动agent

    启动cloudera-scm-agent,需要在所有的从节点上启动。

    进入/opt/cloudera-manager/cm-5.7.2/etc/init.d/目录中,执行如下命令:

代码语言:javascript
复制
./cloudera-scm-agent start
#或者直接执行以下命令:
/opt/cloudera-manager/cm-5.7.2/etc/init.d/cloudera-scm-agent start

    启动如下图所示:

    这里要说明一下,基本上上述两项启动都会配置随机启动,但是我实验了很多个随机启动的方式,都不管用,这里暂时不做,后期我找到可以随机启动的方式再补充。

注:以上环节只要操作的没有问题,以下的步骤将不会出现任何问题。

四、服务安装

1、web登录

    在浏览器中输入192.168.75.41:7180。

    出现下图登录界面,默认用户名和密码:admin

    出现这个界面说明CM已经安装成功了,下面就在这个web界面中部署各种服务了。

2、web引导安装

    此过程中没有提到的界面,默认选择继续。

1.先择express版本

    当登录之后,会进入选择express版本的界面,在此界面选择免费即可,然后继续。

2.配置主机

    在服务器的各个从节点已经安装并启动了agent,还在各个节点都配置了server指向,所以各个节点的agent就会给server发消息报告,这里可以在“当前管理的主机”中看到三个主机,全部勾选并继续。

    注意如果cloudera-scm-agent没有设为开机启动,如果以上有重启这里可能会检测不到其他服务器。之前配置的时候,我就没有配置随机启动。

3.选择CDH版本

    这里选择自己需要的版本即可。这里我选择了两项,其一选择方式使用Parcel;其二CDH版本选择的是CDH-5.7.2-1 cdh5.7.2p0 18;其他均选择无。

4.安装Parcel

    此步是分发parcels到各个节点,上一步继续,这一步是自动进行的不需要什么操作,唯一需要的就是等待。当全部完成点击继续。

5.配置校验

    此步是对主机配置的正确性进行检测。

    这个地方要注意这个地方有两项没有检查通过,但是我没做处理,我在网上找到了一个方法,但是不知道具体是否管用,方式如下:

    可以在集群中使用以下命令

代码语言:javascript
复制
echo 0 > /proc/sys/vm/swappiness
echo never > /sys/kernel/mm/transparent_hugepage/defrag

    然后再点击上面的重新运行会发现这次全部检查通过了。

    我没有做上面的处理,但是后面的安装也没有影响。

6.选择服务

    重头戏来了,这里要选择要安装使用的服务,CDH5默认提供了如图的六种搭配,当然那也可以选择则自定义,这里我选择的就是自定义。

7.角色分配

    这里就是进行各个服务角色分配给那个节点的,可以默认,也可以自己做选择。

8.数据库设置选择

    这里就用到了前面创建的各个数据库,根据你选择的服务,这里会让你填写每个服务用到的数据库,以及用户名和密码。

9.集群审核

    这里就都是默认的就好,除非你有规划,可以在这里进行更改。

10.开始安装

    如果web引导安装会出问题,那么问题都是出在这一步,这里会出现的问题,我遇到的问题,基本都在前面做了介绍,就是安装jdk和Scala的时候。基本上其他的不会出什么问题。

11.安装完成

这个时候安装完成了,点击完成,就会进入如下界面。

查看集群情况,我这里有挺多报警,大概查看下基本都是内存或者存储空间使用阈值的报警,由于我是本地虚拟机的,所以这些条件都有限,这里暂时不处理这些报警。

以上就是安装的全部过程。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • Centos 7+CDH5.7.2全部署流程
  • 一、前期准备
    • 1、虚拟机配置
      • 2、软件版本
        • 3、集群的规划
        • 二、开始安装前配置和预装软件
          • 1、服务器配置
            • 1.IP修改
            • 2.hostname修改
            • 3.关闭防火墙
            • 4.selinux关闭
            • 5.免密登录配置
            • 6.ip和主机名映射关系
            • 7.NTP服务器设置
          • 2、第三方依赖包
            • 1.其他依赖
            • 2.MySQL jar包
          • 3、安装jdk
            • 1.卸载jdk
            • 2.安装
          • 4、安装Scala
            • 5、安装mysql
              • 1.卸载
              • 2.安装
              • 3.创建数据库
          • 三、安装Cloudera-Manager
            • 1、安装CM
              • 2、配置
                • 1.配置从节点的老大
                • 2.配置仓库目录
                • 3.配置CDH从节点目录
                • 4.初始化数据库
              • 3、启动服务
                • 1.启动server
                • 2.启动agent
            • 四、服务安装
              • 1、web登录
                • 2、web引导安装
                  • 1.先择express版本
                  • 2.配置主机
                  • 3.选择CDH版本
                  • 4.安装Parcel
                  • 5.配置校验
                  • 6.选择服务
                  • 7.角色分配
                  • 8.数据库设置选择
                  • 9.集群审核
                  • 10.开始安装
                  • 11.安装完成
              相关产品与服务
              专用宿主机
              专用宿主机(CVM Dedicated Host,CDH)提供用户独享的物理服务器资源,满足您资源独享、资源物理隔离、安全、合规需求。专用宿主机搭载了腾讯云虚拟化系统,购买之后,您可在其上灵活创建、管理多个自定义规格的云服务器实例,自主规划物理资源的使用。
              领券
              问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档