CENTOS7.2安装CDH5.10和Kudu1.2(一)

1 概述

本文档描述CENTOS7.2操作系统部署CDH企业版的过程。Cloudera企业级数据中心的安装主要分为4个步骤:

1.集群服务器配置,包括安装操作系统、关闭防火墙、同步服务器时钟等;

2.外部数据库安装

3.安装Cloudera管理器;

4.安装CDH集群;

  1. 集群完整性检查,包括HDFS文件系统、MapReduce、Hive等是否可以正常运行。

这篇文档将着重介绍Cloudera管理器与CDH的安装,并基于以下假设:

  1. 操作系统版本:CENTOS7.2
  2. MariaDB数据库版本为10.2.1
  3. CM版本:CDH 5.10.0
  4. CDH版本:CDH 5.10.0

5.采用ec2-user对集群进行部署

6.您已经下载CDH和CM的安装包

2 前期准备

2.1 hostname及hosts配置

集群中各个节点之间能互相通信使用静态IP地址。IP地址和主机名通过/etc/hosts配置,主机名/etc/hostname进行配置。

以cm节点(172.31.2.159)为例:

  • hostname配置

/etc/hostname文件如下:

| ip-172-31-2-159 |

|:----|

或者你可以通过命令修改立即生效

| ec2-user@ip-172-31-2-159 ~$ sudo hostnamectl set-hostname ip-172-31-2-159 |

|:----|

注意:这里修改hostname跟REDHAT6的区别

  • hosts配置

/etc/hosts文件如下:

| 172.31.2.159 ip-172-31-2-159172.31.12.108 ip-172-31-12-108172.31.5.236 ip-172-31-5-236172.31.7.96 ip-172-31-7-96 |

|:----|

以上两步操作,在集群中其它节点做相应配置。

2.2 禁用SELinux

在所有节点执行sudo setenforce 0 命令,此处使用批处理shell执行:

| ec2-user@ip-172-31-2-159 ~$ sh ssh_do_all.sh node.list "sudo setenforce 0" |

|:----|

集群所有节点修改/etc/selinux/config文件如下:

| SELINUX=disabledSELINUXTYPE=targeted |

|:----|

2.3 关闭防火墙

集群所有节点执行 sudo systemctl stop命令,此处通过shell批量执行命令如下:

2.4 集群时钟同步

在CentOS7.2的操作系统上,已经默认的安装了chrony,配置chrony时钟同步,将cm(172.31.2.159)服务作为本地chrony服务器,其它3台服务器与其保持同步,配置片段:

  • 172.31.2.159配置与自己同步
  • 集群其它节点:在注释下增加如下配置
  • 重启所有机器的chrony服务

| ec2-user@ip-172-31-2-159 ~$ sh ssh_do_all.sh node.list "sudo systemctl restart chronyd" |

|:----|

  • 验证始终同步,在所有节点执行chronycsources命令,如下使用脚本批量执行

| ec2-user@ip-172-31-2-159 ~$ sh ssh_do_all.sh node.list "chronyc sources" |

|:----|

2.5 配置操作系统repo

  • 挂载操作系统iso文件
  • 配置操作系统repo

2.6 安装http服务

  • 安装httpd服务

| ec2-user@ip-172-31-2-159 ~$ sudo yum -y install httpd |

|:----|

  • 启动或停止httpd服务

| ec2-user@ip-172-31-2-159 ~$ sudo systemctl start httpdec2-user@ip-172-31-2-159 ~$ sudo systemctl stop httpd |

|:----|

  • 安装完httpd后,重新制作操作系统repo,换成http的方式方便其它服务器也可以访问

2.7 安装MariaDB

    MariaDB-10.2.1-centos7-x86\_64-client.rpm
    MariaDB-10.2.1-centos7-x86\_64-common.rpm
    MariaDB-10.2.1-centos7-x86\_64-compat.rpm
    MariaDB-10.2.1-centos7-x86\_64-server.rpm

将包下载到本地,放在同一目录,执行createrepo命令生成rpm元数据。

此处使用apache2,将上述mariadb10.2.1目录移动到/var/www/html目录下, 使得用户可以通过HTTP访问这些rpm包。

  • 启动并配置MariaDB
[ec2-user@ip-172-31-2-159 ~]$ sudo systemctl  start mariadb

[ec2-user@ip-172-31-2-159 ~]$ sudo /usr/bin/mysql_secure_installation

 

NOTE: RUNNING ALL PARTS OF THIS SCRIPT IS  RECOMMENDED FOR ALL MariaDB

       SERVERS IN PRODUCTION USE!   PLEASE READ EACH STEP CAREFULLY!

 

In order to log into MariaDB to secure it, we'll  need the current

password for the root user.  If you've just installed MariaDB, and

you haven't set the root password yet, the  password will be blank,

so you should just press enter here.

 

Enter current password for root (enter for none):  

OK, successfully used password, moving on...

 

Setting the root password ensures that nobody can  log into the MariaDB

root user without the proper authorisation.

 

Set root password? [Y/n] Y

New password:

Re-enter new password:

Password updated successfully!

Reloading privilege tables..

 ...  Success!

 

 

By default, a MariaDB installation has an  anonymous user, allowing anyone

to log into MariaDB without having to have a user  account created fo

them.  This  is intended only for testing, and to make the installation

go a bit smoother.  You should remove them before moving into a

production environment.

 

Remove anonymous users? [Y/n] Y

 ...  Success!

 

Normally, root should only be allowed to connect  from 'localhost'.  This

ensures that someone cannot guess at the root  password from the network.

 

Disallow root login remotely? [Y/n] n

 ...  skipping.

 

By default, MariaDB comes with a database named  'test' that anyone can

access.   This is also intended only for testing, and should be removed

before moving into a production environment.

 

Remove test database and access to it? [Y/n] Y

 - Dropping  test database...

 ...  Success!

 - Removing  privileges on test database...

 ...  Success!

 

Reloading the privilege tables will ensure that  all changes made so fa

will take effect immediately.

 

Reload privilege tables now? [Y/n] Y

 ...  Success!

 

Cleaning up...

 

All done!   If you've completed all of the above steps, your MariaDB

installation should now be secure.


Thanks for using MariaDB!
  • 建立CM和Hive需要的表
  • 安装jdbc驱动

3 Cloudera Manager安装

3.1 配置本地repo源

将Cloudera Manager安装需要的7个rpm包下载到本地,放在同一目录,执行createrepo命令生成rpm元数据。

  • 配置Web服务器

此处使用apache2,将上述cdh5.10.0/cm5.10.0目录移动到/var/www/html目录下, 使得用户可以通过HTTP访问这些rpm包。

| ec2-user@ip-172-31-2-159 ~$ sudo mv cdh5.10.0/ cm5.10.0/ /var/www/html/ |

|:----|

3.2 安装Cloudera Manager Server

  • 通过yum安装ClouderaManager Server

| ec2-user@ip-172-31-2-159 ~$ sudo yum -y install cloudera-manager-server |

|:----|

  • 初始化数据库
  • 启动ClouderaManager Server

| ec2-user@ip-172-31-2-159 ~$ sudo systemctl start cloudera-scm-server |

|:----|

  • 检查端口是否监听

| ec2-user@ip-172-31-2-159 ~$ sudo netstat -lnpt | grep 7180tcp 0 0 0.0.0.0:7180 0.0.0.0:* LISTEN 6890/java |

|:----|

  • 通过http://172.31.2.159:7180/cmf/login访问CM

4 CDH安装

4.1 CDH集群安装向导

  1. admin/admin登录到CM
  2. 同意license协议,点击继续

3.选择60试用,点击继续

4.点击“继续”

5.输入主机ip或者名称,点击搜索找到主机后点击继续

6.点击“继续”

7.使用parcel选择,点击“更多选项”,点击“-”删除其它所有地址,输入

http://172.31.2.159/cm5.10.0/点击“保存更改”

8.选择自定义存储库,输入cm的http地址

9.点击“继续”,进入下一步安装jdk

10.点击“继续”,进入下一步,默认多用户模式

11.点击“继续”,进入下一步配置ssh账号密码

12.点击“继续”,进入下一步,安装Cloudera Manager相关到各个节点

13.点击“继续”,进入下一步安装cdh到各个节点

14.点击“继续”,进入下一步主机检查,确保所有检查项均通过

点击完成进入服务安装向导。

4.2 集群设置安装向导

  1. 选择需要安装的服务

2.点击“继续”,进入集群角色分配

3.点击“继续”,进入下一步,测试数据库连接

4.测试成功,点击“继续”,进入目录设置,此处使用默认默认目录,根据实际情况进行目录修改

5.点击“继续”,进入各个服务启动

6.安装成功

7.安装成功后进入home管理界面

“醉酒鞭名马,少年多浮夸! 岭南浣溪沙,呕吐酒肆下!挚友不肯放,数据玩的花!”

本文分享自微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-08-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Hadoop实操

如何实现CDH元数据库MySQL的主主互备

在前面Fayson讲过《如何实现CDH元数据库MySQL的主备》,而本篇文章介绍如何实现MySQL的双活方式,为后面基于Keepalived实现MySQL高可用...

58680
来自专栏杂烩

kafka-eagle1.1.9安装 原

源码地址https://github.com/smartloli/kafka-eagle

13910
来自专栏xingoo, 一个梦想做发明家的程序员

手把手教你搭建Hive Web环境

了解Hive的都知道Hive有三种使用方式——CLI命令行,HWI(hie web interface)浏览器 以及 Thrift客户端连接方式。 为了体...

26190
来自专栏zhisheng

SpringBoot RabbitMQ 整合使用

前提 上次写了篇文章,《SpringBoot Kafka 整合使用》,阅读量还挺高的,于是想想还是把其他几种 MQ 也和 SpringBoot 整合使用下。 下...

33990
来自专栏梦里茶室

【Chromium中文文档】Chromium如何展示网页

这个文档从底层描述了Chromium是如何展示网页的。请确认你已经读过多进程架构这篇文章。你会特别想要了解主要组件的框架。你也可能对多进程资源加载感兴趣,以了解...

26750
来自专栏Hadoop实操

2.如何在RedHat7中实现OpenLDAP集成SSH登录并使用sssd同步用户

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproje...

3.9K90
来自专栏龙首琴剑庐

Mycat -- linux安装与配置笔记

Mycat介绍,请戳官网:http://www.mycat.io/ 官网地址:http://dl.mycat.io/1.6.5/ 以oracle物理库为例。 1...

37150
来自专栏运维

Codis安装部署全架构

Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有明显的区别 ...

18120
来自专栏Spark学习技巧

3,Structured Streaming使用checkpoint进行故障恢复

21840
来自专栏散尽浮华

linux下sendmail邮件系统安装操作记录

电子邮件系统的组成: 1)邮件用户代理(Mail User Agent , MUA),MUA是一个邮件系统的客户端程序,它提供了阅读,发送和接受电子邮件的用户接...

58990

扫码关注云+社区

领取腾讯云代金券