专栏首页Hadoop实操如何修改CDH集群元数据库地址

如何修改CDH集群元数据库地址

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。

Fayson的github: https://github.com/fayson/cdhproject

提示:代码块部分可以左右滑动查看噢

1.文档编写目的

在生产环境CDH集群中会遇到元数据库的迁移,迁移后数据库的IP地址发生变化或是元数据库做主备,在主节点挂掉后,我们需要将数据库CDH集群中的元数据库地址指向新的IP或备用元数据库。本篇文章Fayson主要介绍如何修改CDH集群元数据库IP地址。

  • 内容概述

1.切换前准备

2.修改Cloudera Manager Server数据库

3.修改CMS和CDH集群各服务数据库地址

  • 测试环境

1.CM5.14.3和CDH5.14.2

2.Redhat7.4

  • 前置条件

1.CDH集群正常运行

2.CDSW集群已部署则正常运行

2.切换前准备

1.登录Cloudera Manger,停止CDH集群所有服务

2.停止Cloudera Management Service服务

3.登录CM所在服务器,停止cloudera-scm-server服务,命令如下:

[root@cdh01 ~]# systemctl stop cloudera-scm-server
[root@cdh01 ~]# netstat -apn |grep 7180

(可左右滑动)

4.停止CM和CDH集群后,如果是迁移数据库则可以对数据库进行迁移操作(如果只是主备切换则跳过此步)

将原MariaDB数据库数据导出

[root@cdh01 ~]# mysqldump -uroot -p --all-database > all.dump
Enter password: 

(可左右滑动)

在新的数据库节点上,接导出的dump文件导入

[root@cdh02 ~]# mysql -uroot -p< all.dump 
Enter password: 
[root@cdh02 ~]# mysql -uroot -p

(可左右滑动)

3.修改CM数据地址

1.登录CM服务所在服务器,修改/etc/cloudera-scm-server/db.properties文件

[root@cdh01 ~]# vim /etc/cloudera-scm-server/db.properties         
# Auto-generated by scm_prepare_database.sh on Fri Jun  8 01:48:49 CST 2018
#
# For information describing how to configure the Cloudera Manager Server
# to connect to databases, see the "Cloudera Manager Installation Guide."
#
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=cdh02.fayson.com
com.cloudera.cmf.db.name=cm
com.cloudera.cmf.db.user=cm
com.cloudera.cmf.db.setupType=EXTERNAL
com.cloudera.cmf.db.password=password

(可左右滑动)

2.重启cloudera-scm-server服务,命令如下

[root@cdh01 ~]# systemctl start cloudera-scm-server
[root@cdh01 ~]# netstat -apn |grep 7180

(可左右滑动)

3.登录Cloudera Manager控制界面

4.修改CMS服务数据库地址


1.登录Cloudera Manager管理界面,进入Cloudera Management Service服务的配置页面

2.在搜索栏搜索“数据库主机名”,将数据地址指向新的地址

3.保存配置并重启CMS服务

服务启动成功

5.修改CDH集群各服务元数据库地址

1.进入Hive配置界面,选择“Hive Metastore数据库”类别,搜索“数据库主机”,将数据库主机修改为新的IP或HOSTNAME

2.进入Hue配置界面,选择“数据库”类别,修改数据库主机名称为cdh02.fayson.com

3.进入Oozie配置界面,选择“数据库”类别,修改数据库主机名为cdh02.fayson.com

4.进入Sentry配置界面,选择“Sentry Server数据库”类别,修改数据库主机为cdh02.fayson.com

5.完成以上配置后,回到CM主页重启CDH集群

集群启动成功

6.总结

1.涉及到修改数据的服务有Cloudera Manager、Cloudera Management Service、Hive、Hue、Sentry、Oozie等服务。

2.在修改的过程中,我们可以只停止上述涉及到的服务,这样可以确保集群的HDFS、HBase、Yarn、Zookeeper、Kafka、Spark等服务是可用的,如果有服务依赖上述的需要修改的服务则也需要停止。

本文分享自微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-07-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 如何修改CM及CDH元数据库配置

    在前面Fayson介绍了《如何实现CDH元数据库MySQL的主主互备》和《如何实现CDH元数据库MySQL的高可用》,实现了MySQL的高可用后访问地址有了变化...

    Fayson
  • HiveServer2服务异常日志分析

    2.该异常会在Thrift0.9.2及更低版本的HiveServer2服务上出现。

    Fayson
  • 0682-Cloudera Enterprise 6.3.0发布

    Cloudera于7月31日宣布正式发布CDH6.3,此版本提供了许多新功能,改进了可用性,性能提升以及对更现代的Java和身份管理基础设施软件的支持(Free...

    Fayson
  • 给数据库减负的八个思路

    传统的企业级应用,其实很少会有海量应用,因为企业的规模本身就摆在那里,能有多少数据?高并发?海量数据?不存在的!

    江南一点雨
  • PHP学习进程

    做为一个php痴迷者,我一直想整理一份系列学习php的计划。下面是我学习php进程计划。 1.准备知识:了解html,熟悉div+css,通过设计稿编辑前台 2...

    苦咖啡
  • 数据库防火墙:数据库防火墙商业化的前提条件

    数据库防火墙和一般的传统数据库安全设备不同,它部署在应用服务器和数据库服务器之间。业务系统巨大的流量将穿越数据库防火墙,数据库防火墙任何的风吹草动都会影响业务系...

    数据安全
  • GreenDao教程1

    最近项目重构,涉及到了数据库和文件下载,发现GreenDao这个框架还是不错的。直接面向对象的,可以通过对对象的操作,实现数据的存储。

    用户3030674
  • 全国经济第一县为什么选择腾讯云数据库TDSQL

    8月16日,昆山农商银行举行新一代银行核心系统建设启动仪式。据了解,该系统将采用长亮科技最新“微服务+单元化”架构核心系统建设方案,并将国产分布式数据库腾讯云...

    腾讯云数据库 TencentDB
  • MySQL选择合适的字符集

    对数据库来说,字符集更加重要,因为数据库存储的数据大部分都是各种文字,字符集对数据库的存储,处理性能,以及日后系统的移植,推广都会有影响。 MySQL5.6...

    秋白
  • 快速入门网络爬虫系列 Chapter12 | 将数据存储到数据库

    数据模型是现实生活中数据的抽象,用来描述数据的概念和定义,是数据库中数据的存储方式,是数据库系统的基础。 常用的数据模型有以下三种:

    不温卜火

扫码关注云+社区

领取腾讯云代金券