前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >如何修改CDH集群元数据库地址

如何修改CDH集群元数据库地址

作者头像
Fayson
发布2018-08-03 14:43:00
2.9K0
发布2018-08-03 14:43:00
举报
文章被收录于专栏:Hadoop实操Hadoop实操

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。

Fayson的github: https://github.com/fayson/cdhproject

提示:代码块部分可以左右滑动查看噢

1.文档编写目的

在生产环境CDH集群中会遇到元数据库的迁移,迁移后数据库的IP地址发生变化或是元数据库做主备,在主节点挂掉后,我们需要将数据库CDH集群中的元数据库地址指向新的IP或备用元数据库。本篇文章Fayson主要介绍如何修改CDH集群元数据库IP地址。

  • 内容概述

1.切换前准备

2.修改Cloudera Manager Server数据库

3.修改CMS和CDH集群各服务数据库地址

  • 测试环境

1.CM5.14.3和CDH5.14.2

2.Redhat7.4

  • 前置条件

1.CDH集群正常运行

2.CDSW集群已部署则正常运行

2.切换前准备

1.登录Cloudera Manger,停止CDH集群所有服务

2.停止Cloudera Management Service服务

3.登录CM所在服务器,停止cloudera-scm-server服务,命令如下:

代码语言:javascript
复制
[root@cdh01 ~]# systemctl stop cloudera-scm-server
[root@cdh01 ~]# netstat -apn |grep 7180

(可左右滑动)

4.停止CM和CDH集群后,如果是迁移数据库则可以对数据库进行迁移操作(如果只是主备切换则跳过此步)

将原MariaDB数据库数据导出

代码语言:javascript
复制
[root@cdh01 ~]# mysqldump -uroot -p --all-database > all.dump
Enter password: 

(可左右滑动)

在新的数据库节点上,接导出的dump文件导入

代码语言:javascript
复制
[root@cdh02 ~]# mysql -uroot -p< all.dump 
Enter password: 
[root@cdh02 ~]# mysql -uroot -p

(可左右滑动)

3.修改CM数据地址

1.登录CM服务所在服务器,修改/etc/cloudera-scm-server/db.properties文件

代码语言:javascript
复制
[root@cdh01 ~]# vim /etc/cloudera-scm-server/db.properties         
# Auto-generated by scm_prepare_database.sh on Fri Jun  8 01:48:49 CST 2018
#
# For information describing how to configure the Cloudera Manager Server
# to connect to databases, see the "Cloudera Manager Installation Guide."
#
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=cdh02.fayson.com
com.cloudera.cmf.db.name=cm
com.cloudera.cmf.db.user=cm
com.cloudera.cmf.db.setupType=EXTERNAL
com.cloudera.cmf.db.password=password

(可左右滑动)

2.重启cloudera-scm-server服务,命令如下

代码语言:javascript
复制
[root@cdh01 ~]# systemctl start cloudera-scm-server
[root@cdh01 ~]# netstat -apn |grep 7180

(可左右滑动)

3.登录Cloudera Manager控制界面

4.修改CMS服务数据库地址


1.登录Cloudera Manager管理界面,进入Cloudera Management Service服务的配置页面

2.在搜索栏搜索“数据库主机名”,将数据地址指向新的地址

3.保存配置并重启CMS服务

服务启动成功

5.修改CDH集群各服务元数据库地址

1.进入Hive配置界面,选择“Hive Metastore数据库”类别,搜索“数据库主机”,将数据库主机修改为新的IP或HOSTNAME

2.进入Hue配置界面,选择“数据库”类别,修改数据库主机名称为cdh02.fayson.com

3.进入Oozie配置界面,选择“数据库”类别,修改数据库主机名为cdh02.fayson.com

4.进入Sentry配置界面,选择“Sentry Server数据库”类别,修改数据库主机为cdh02.fayson.com

5.完成以上配置后,回到CM主页重启CDH集群

集群启动成功

6.总结

1.涉及到修改数据的服务有Cloudera Manager、Cloudera Management Service、Hive、Hue、Sentry、Oozie等服务。

2.在修改的过程中,我们可以只停止上述涉及到的服务,这样可以确保集群的HDFS、HBase、Yarn、Zookeeper、Kafka、Spark等服务是可用的,如果有服务依赖上述的需要修改的服务则也需要停止。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2018-07-18,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Hadoop实操 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
专用宿主机
专用宿主机(CVM Dedicated Host,CDH)提供用户独享的物理服务器资源,满足您资源独享、资源物理隔离、安全、合规需求。专用宿主机搭载了腾讯云虚拟化系统,购买之后,您可在其上灵活创建、管理多个自定义规格的云服务器实例,自主规划物理资源的使用。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档