首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >0720-5.10.0-如何在RedHat7.2使用rpm安装CDH(有CM)

0720-5.10.0-如何在RedHat7.2使用rpm安装CDH(有CM)

作者头像
Fayson
发布2019-10-31 11:13:30
6000
发布2019-10-31 11:13:30
举报
文章被收录于专栏:Hadoop实操Hadoop实操

文档编写目的

在上一篇文档《5.10.0-如何在RedHat7.2使用rpm安装CDH(无CM)》中介绍了如何在没有CM的情况下使用rpm的方式安装CDH集群,本文档将介绍如何使用CM以rpm的方式安装CDH集群。

环境介绍:

· 安装部署使用root用户进行操作

· 安装的CDH和CM版本为5.10.0

· OS为RedHat7.2

· CDH集群的三个节点信息如下:

安装前置准备

2.1 服务相关设置

安装CDH集群时需要做一些前置的准备,本次安装使用的环境已经做好前置准备,需要做的准备如下:

1.hosts以及hostname配置正确

2.服务器没有启用IPv6且配置了静态IP

3.禁用SELinux

4.关闭防火墙

5.设置swappiness为1

6.关闭透明大页面

7.配置NTP时钟同步

8.安装元数据库MySQL并创建好需要的数据库和用户

2.2 配置本地yum源

在官网下载好安装CDH集群需要的rpm包,地址如下:

http://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/5.10.0/RPMS/

将上面所有的rpm包下载到服务器,如下:

在浏览器进行验证

2.执行createrepo命令

createrepo .

3.创建repo文件

创建cdh的repo

[rpmrepo]
name = rpm_repo
baseurl = http://192.168.0.178/cdh_rpm/
enable = true
gpgcheck = false

创建cm的repo

[cm5.10.0]
name=cm_repo
baseurl=http://192.168.0.178/cm5.10.0/
enabled=1
gpgcheck=0

4.执行yum命令,查看本地yum源是否配置成功

yum clean all
yum repolist

安装Cloudera Manager

1.yum安装Cloudera Manager Server

yum -y install cloudera-manager-server

2.初始化数据库

/usr/share/cmf/schema/scm_prepare_database.sh mysql cm cm password

3.启动Cloudera Manager Server

systemctl start cloudera-scm-server
systemctl status cloudera-scm-server

4.访问CM

安装CDH

1.登陆CM,admin/admin

2.同意许可

3.选择试用版

4.CDH版本信息

5.指定要安装的主机

6.选择存储库

CDH选择数据包的方式

指定CM的自定义存储库

7.JDK的安装

8.单用户模式,这里不选择

9.输入主机密码

10.集群安装需要的包

11.检测CDH版本

12.检查主机正确性

13.选择服务

14.为服务分配角色

15.设置数据库

16.集群设置

17.首次运行集群

18.集群安装完成

19.CM主页如下图

CDH组件测试

1.HDFS

[root@cdh178 ~]# sudo -u hdfs hdfs dfs -mkdir /user/root
[root@cdh178 ~]# sudo -u hdfs hdfs dfs -chown root:root /user/root
[root@cdh178 ~]# hadoop fs -put data.txt /user/root
[root@cdh178 ~]# hadoop fs -cat /user/root/data.txt

2.Hive

建表

插入数据

查询

3.Impala

4.MapReduce

总结

1.使用rpm方式安装时要注意,除了cm的yum源之外,还需要下载好cdh的包,然后配置CDH本地的yum源,在安装时选择使用包的方式安装,然后指定自定义的存储库。

2.对比parcel安装的方式,还是和官方建议一样,使用parcel安装的方式更为方便并且更为可靠。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2019-10-29,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Hadoop实操 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
专用宿主机
专用宿主机(CVM Dedicated Host,CDH)提供用户独享的物理服务器资源,满足您资源独享、资源物理隔离、安全、合规需求。专用宿主机搭载了腾讯云虚拟化系统,购买之后,您可在其上灵活创建、管理多个自定义规格的云服务器实例,自主规划物理资源的使用。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档