如何修改CDH集群元数据库地址

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。

Fayson的github: https://github.com/fayson/cdhproject

提示:代码块部分可以左右滑动查看噢

1.文档编写目的

在生产环境CDH集群中会遇到元数据库的迁移,迁移后数据库的IP地址发生变化或是元数据库做主备,在主节点挂掉后,我们需要将数据库CDH集群中的元数据库地址指向新的IP或备用元数据库。本篇文章Fayson主要介绍如何修改CDH集群元数据库IP地址。

  • 内容概述

1.切换前准备

2.修改Cloudera Manager Server数据库

3.修改CMS和CDH集群各服务数据库地址

  • 测试环境

1.CM5.14.3和CDH5.14.2

2.Redhat7.4

  • 前置条件

1.CDH集群正常运行

2.CDSW集群已部署则正常运行

2.切换前准备

1.登录Cloudera Manger,停止CDH集群所有服务

2.停止Cloudera Management Service服务

3.登录CM所在服务器,停止cloudera-scm-server服务,命令如下:

[root@cdh01 ~]# systemctl stop cloudera-scm-server
[root@cdh01 ~]# netstat -apn |grep 7180

(可左右滑动)

4.停止CM和CDH集群后,如果是迁移数据库则可以对数据库进行迁移操作(如果只是主备切换则跳过此步)

将原MariaDB数据库数据导出

[root@cdh01 ~]# mysqldump -uroot -p --all-database > all.dump
Enter password: 

(可左右滑动)

在新的数据库节点上,接导出的dump文件导入

[root@cdh02 ~]# mysql -uroot -p< all.dump 
Enter password: 
[root@cdh02 ~]# mysql -uroot -p

(可左右滑动)

3.修改CM数据地址

1.登录CM服务所在服务器,修改/etc/cloudera-scm-server/db.properties文件

[root@cdh01 ~]# vim /etc/cloudera-scm-server/db.properties         
# Auto-generated by scm_prepare_database.sh on Fri Jun  8 01:48:49 CST 2018
#
# For information describing how to configure the Cloudera Manager Server
# to connect to databases, see the "Cloudera Manager Installation Guide."
#
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=cdh02.fayson.com
com.cloudera.cmf.db.name=cm
com.cloudera.cmf.db.user=cm
com.cloudera.cmf.db.setupType=EXTERNAL
com.cloudera.cmf.db.password=password

(可左右滑动)

2.重启cloudera-scm-server服务,命令如下

[root@cdh01 ~]# systemctl start cloudera-scm-server
[root@cdh01 ~]# netstat -apn |grep 7180

(可左右滑动)

3.登录Cloudera Manager控制界面

4.修改CMS服务数据库地址


1.登录Cloudera Manager管理界面,进入Cloudera Management Service服务的配置页面

2.在搜索栏搜索“数据库主机名”,将数据地址指向新的地址

3.保存配置并重启CMS服务

服务启动成功

5.修改CDH集群各服务元数据库地址

1.进入Hive配置界面,选择“Hive Metastore数据库”类别,搜索“数据库主机”,将数据库主机修改为新的IP或HOSTNAME

2.进入Hue配置界面,选择“数据库”类别,修改数据库主机名称为cdh02.fayson.com

3.进入Oozie配置界面,选择“数据库”类别,修改数据库主机名为cdh02.fayson.com

4.进入Sentry配置界面,选择“Sentry Server数据库”类别,修改数据库主机为cdh02.fayson.com

5.完成以上配置后,回到CM主页重启CDH集群

集群启动成功

6.总结

1.涉及到修改数据的服务有Cloudera Manager、Cloudera Management Service、Hive、Hue、Sentry、Oozie等服务。

2.在修改的过程中,我们可以只停止上述涉及到的服务,这样可以确保集群的HDFS、HBase、Yarn、Zookeeper、Kafka、Spark等服务是可用的,如果有服务依赖上述的需要修改的服务则也需要停止。

原文发布于微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文发表时间:2018-07-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏行者悟空

Spark之集群概述

1533
来自专栏Ken的杂谈

Hadoop高可用集群部署指南

Hadoop是一个由Apache基金会所开发的分布式系统基础架构,用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。

1693
来自专栏Hadoop实操

如何修改CDH集群的DataNoe节点HOSTNAME

在使用CDH集群的过程中,会涉及到修改集群DataNode的HOSTNAME,在修改HOSTSNAME的时候需要注意什么,如何让新修改HOSTSNAME的CDH...

5655
来自专栏我是攻城师

Hive集成Tez让大象飞起来

3618
来自专栏Hadoop实操

如何使用Intellij搭建Spark开发环境

在开始Spark学习之前,首先需要搭建Spark的开发环境,可以基于Eclipse或者Intellij等IDE,本文档主要讲述如何使用Intellij搭建Spa...

3664
来自专栏Hadoop实操

如何在不重启Yarn服务的情况下启用DEBUG日志记录

为了解决Yarn问题,需要为不同的服务启用调试。但是,在生产集群中,可能无法立即重启Yarn服务。本篇文章Fayson主要介绍如何在不重启Yarn服务的情况下为...

1505
来自专栏Hadoop实操

如何修改CM及CDH元数据库配置

在前面Fayson介绍了《如何实现CDH元数据库MySQL的主主互备》和《如何实现CDH元数据库MySQL的高可用》,实现了MySQL的高可用后访问地址有了变化...

5825
来自专栏KaliArch

大数据平台CDH搭建

Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称“CDH”),基于Web的用户界面,...

4565
来自专栏Hadoop实操

0463-如何使用SQuirreL通过JDBC连接CDH的Hive(方式二)

Fayson在前面的《0459-如何使用SQuirreL通过JDBC连接CDH的Hive(方式一)》简单的介绍了SQuirreL SQL Client的安装、注...

1333
来自专栏分布式系统和大数据处理

安装和配置Hadoop(单节点)

Hadoop生态圈仍处于欣欣向荣的发展态势,不断涌现新的技术和名词。Hadoop的HDFS、YARN、MapReduce仍是最基础的部分,这篇文章记录了如何一步...

6823

扫码关注云+社区

领取腾讯云代金券