0711-6.3.0-如何将CM的外部PostgreSQL数据库迁移至MySQL服务

文档编写目的

在前面的文章《6.3.0-如何将CM内嵌PostgreSQL服务迁移至外部PostgreSQL服务》介绍了将CM内嵌的PostgreSQL迁移至外部PostgreSQL,因为CM内嵌的PostgreSQL数据库不支持直接迁移至MySQL。本篇文章Fayson主要介绍如何将集群使用的外部PostgreSQL迁移至MySQL数据库。

注意:不支持直接从Cloudera Manager嵌入式PostgreSQL迁移到MySQL / Oracle数据库。您必须首先从Cloudera Manager嵌入式PostgreSQL数据库服务器迁移到外部PostgreSQL数据库服务器。

只有在成功从嵌入式PostgreSQL数据库服务器迁移到外部PostgreSQL数据库服务器后,才能迁移到外部MySQL或Oracle数据库。

  • 内容概述
  1. 安装Mariadb服务
  2. 数据库迁移
  3. 验证
  4. 总结
  • 测试环境
  1. CM和CDH版本均为6.3.0
  2. 采用root用户

迁移前集群环境确认

CM元数据库类型为postgresql

cat /etc/cloudera-scm-server/db.properties

Hue用户及用户组

Hue的数据库类型为PostgreSQL

用户信息

用户组信息

管理员信息

Hive数据库及表信息

Hive的数据库类型为PostgreSQL

如下所示,当前hive中有default和test两个数据库;default数据库中有两个表。

查看table_partitioned表的数据

Sentry授权信息

Sentry的数据库类型为PostgreSQL

Sentry的授权信息如下

安装MySQL

选一台节点安装MariaDB服务

yum -y install mariadb mariadb-server

启动mariadb服务并设置为开机自启动

systemctl start mariadb
systemctl enable mariadbsystemctl status mariadb | grep Active

初始化MariaDB数据库

/usr/bin/mysql_secure_installation

使用root用户登录查看当前数据库

安装MySQL JDBC驱动

将mysql驱动上传至/usr/share/java目录,并以软链接的方式去掉驱动版本号

迁移CM元数据库

导出Cloudera Manager配置文件

获取当前支持的API版本

curl -u admin:admin "http://192.168.0.204:7180/api/version"

导出json格式配置文件

curl -u admin:admin "http://192.168.0.204:7180/api/v33/cm/deployment" > /root/cm/cm-deployment.json

执行如下命令,保留Cloudera Manager的GUID号

sudo -u postgres psql -qtAX scm -c "select GUID from CM_VERSION" > /etc/cloudera-scm-server/uuid

停止集群和Cloudera Management Service服务

在CM节点上执行如下命令停止cloudera-scm-server服务

systemctl stop cloudera-scm-serversystemctl status cloudera-scm-server | grep Active

登录MySQL执行如下SQL语句创建scm数据库及用户并授权

create database scm default character set utf8;CREATE USER 'scm'@'%' IDENTIFIED BY 'password';GRANT ALL PRIVILEGES ON scm.* TO 'scm'@'%';FLUSH PRIVILEGES;

执行如下命令,初始化Cloudera Manager数据库配置

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm password

清空所有节点的/var/run/cloudera-scm-agent/process/目录

使用批量命令,停止集群所有节点的agent和supervisor服务

sh ssh_do_all.sh node.list 'systemctl stop supervisord'sh ssh_do_all.sh node.list 'systemctl stop cloudera-scm-agent'

查看进程是否已被停止

ps -ef | grep cmf-agentps -ef | grep supervisord

使用批量命令,使用mv命令将集群所有节点的agent目录备份

sh ssh_do_all.sh node.list 'mv /var/run/cloudera-scm-agent /var/run/cloudera-scm-agent-BU'
sh ssh_do_all.sh node.list 'ls /var/run | grep cloudera-scm-agent*'

使用批量命令,启动集群所有节点的cloudera-scm-agent服务

sh ssh_do_all.sh node.list 'systemctl start cloudera-scm-agent'sh ssh_do_all.sh node.list 'systemctl status cloudera-scm-agent | grep Active'

启动Cloudera Manager Server

systemctl start cloudera-scm-servernetstat -lnpt | grep 7180

使用超级管理员用户登录CM

接收许可条款,【继续】

如果有许可证,上传许可证,没有许可证选择企业试用版,【继续】,然后单击左上角返回CM主页

注意:必须要上传许可证或者选择试用版继续之后再返回主页,否则会导致使用curl导入集群配置时失败。

单击左上角返回CM主页

当前CM主页状态如下:

执行如下命令调用CM API接口,恢复Cloudera Manager配置

curl -v -H "Content-Type: application/json" --upload-file /root/cm/cm-deployment.json -u admin:admin "http://192.168.0.204:7180/api/v33/cm/deployment?deleteCurrentDeployment=true"

再次查看CM主页,CM配置已导入成功

启动服务

启动Cloudera Mangement Service

Cloudera Management Service启动成功后,等待parcel分发完成,然后启动集群服务并分发客户端配置。

查看集群CM元数据库使用的数据库服务器,如下所示,此时已迁移至MySQL

cat /etc/cloudera-scm-server/db.properties

迁移集群其他服务元数据库

此时只有CM的数据库scm迁移到了MySQL,集群其他服务的元数据库(Hive、Sentry、Hue、Oozie等)仍然配置的为PostgreSQL,接下来主要介绍通过使用工具将PostgreSQL数据库迁移至MySQL数据库,如下示例以迁移Hive元数据库为例。

下载安装数据库转换工具 DBConvert for MySQL & PostgreSQL,下载地址如下:

https://dbconvert.com/downloads/dbconvert_mysql_postgresql.zip

下载完成之后解压,执行dbconvert_mysql_postgresql文件夹下的setup.exe进行安装

安装完成后打开该软件,选择【Try】使用版

这里以hive元数据库转换为例,配置PostgreSQL数据库连接信息

测试连接成功,单击下一步

此时会显示数据库中的所有表,全部勾选;然后单击【OK】

配置目标数据库连接信息(即我们要迁移的MySQL信息)

测试连接成功后单击【Next】

自定义要转换的表,然后单击【Next】

单击【commit】开始进行转换

转换成功后显示如下

然后依次转换其他数据库即可

注意:转换hue数据库时,有些表因为外键的原因不能被转换,根据提示取消相关外键即可

数据库迁移完成后,登录mysql查看数据库如下:

创建用户并授予数据库上的权限

CREATE USER 'hive'@'%' IDENTIFIED BY 'password';GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'%';FLUSH PRIVILEGES;CREATE USER 'sentry'@'%' IDENTIFIED BY 'password'; GRANT ALL PRIVILEGES ON sentry. * TO 'sentry'@'%';   FLUSH PRIVILEGES;CREATE USER 'rman'@'%' IDENTIFIED BY 'password'; GRANT ALL PRIVILEGES ON rman. * TO 'rman'@'%'; FLUSH PRIVILEGES;CREATE USER 'hue'@'%' IDENTIFIED BY 'password'; GRANT ALL PRIVILEGES ON hue. * TO 'hue'@'%';  FLUSH PRIVILEGES;CREATE USER 'oozie'@'%' IDENTIFIED BY 'password'; GRANT ALL PRIVILEGES ON oozie. * TO 'oozie'@'%'; FLUSH PRIVILEGES;

更换数据库服务器

进入Hive配置页面,修改Hive的Metastore数据库类型为MySQL,然后修改其在 MySQL中的数据库名称

完成上述修改后,然后回到CM主页,根据提示重启相关服务

服务重启完成后,此时数据库已迁移至MySQL数据库服务器。

迁移后验证

Hue验证

查看Hue当前数据库类型为MySQL

使用管理员账号admin登录Hue验证数据是否完整

admin用户的管理员权限与迁移前一致

迁移后的用户信息与迁移前数据一致

用户组信息与迁移前信息一致

Hive验证

查看Hive当前数据库类型为MySQL

通过Hue查看Hive数据库以及表信息如下:

查看分区表数据如下:

查看分区表结构如下:

由上图可知,数据库迁移完成后Hive的数据库、表、表结构以及表数据均迁移成功。

Sentry验证

查看Sentry当前数据库类型为MySQL

通过Hue查看Sentry的授权信息如下:

使用hive用户进行建表测试

建表成功

向表中插入数据,数据插入成功

执行查询操作,查询成功

总结

  1. 将Cloudera Manager服务使用的PostgreSQL迁移至MySQL时,主要通过CM API接口导出集群配置信息json文件,再通过CM API接口导入完成数据库的迁移。
  2. 集群其它服务(Hive、Sentry、Oozie、Hue等)在迁移时并未相应的API接口实现,主要是通过DBConvert for MySQL & PostgreSQL工具将PostgreSQL数据的数据转换为MySQL数据库的方式解决。
  3. 在进行Hue数据库转换的过程中由于部分表外键的问题,导致转换失败,需要将报错的外键取消勾选。

本文分享自微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-10-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏二狗的DBA之路

mysqldump -extended-insert参数的使用

mysqldump 的 --extended-insert 表示长INSERT,多row在一起批量INSERT,提高导入效率,和没有开启 -e 的备份导入耗时至...

9420
来自专栏分享/效率/工具/软件

mybatis 流式读取大量MySQL数据

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

39230
来自专栏分享/效率/工具/软件

Oracle存储结构

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

9620
来自专栏分享/效率/工具/软件

spring 整合c3p0连接池

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

8930
来自专栏分享/效率/工具/软件

表空间详解

个人博客:https://suveng.github.io/blog/​​​​​​​ 转载自:https://blog.csdn.net/jmilk/arti...

10830
来自专栏分享/效率/工具/软件

(centos)mongo安全认证配置

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

10320
来自专栏分享/效率/工具/软件

SQL定义及分类

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

8350
来自专栏二狗的DBA之路

[基础] MySQL5.6的密码存放方式

selectuser,host,password from mysql.user where user = 'rpl';

10760
来自专栏分享/效率/工具/软件

原生jdbc示例 与spring JDBC 示例

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

8910
来自专栏分享/效率/工具/软件

Oracle 表空间详解

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

21620

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励