前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >MySQL Online DDL经典工具-gh-ost

MySQL Online DDL经典工具-gh-ost

作者头像
DBA札记
发布2023-11-16 19:01:20
2640
发布2023-11-16 19:01:20
举报
文章被收录于专栏:MySQL参数系列MySQL参数系列

Online DDL一直是MySQL数据库的一个痛点,好在官方和社区都有不错的解决方案。这些方案大致有以下几个:

本文主要给大家介绍一下由github开源的gh-ost。目前为止大表DDL最好的工具。

1 安装

代码语言:javascript
复制
# 本文安装1.1.5版本
wget https://github.com/github/gh-ost/releases/download/v1.1.5/gh-ost-1.1.5-1.x86_64.rpm  
yum -y localinstall gh-ost-1.1.5-1.x86_64.rpm

2 使用

gh-ost有三种模式,分别是在连接从库DDL单实例(相当于只在主库)DDL、在从库测试DDL三种模式。

本案例主库:192.168.1.30 本案例主库:192.168.1.31

代码语言:javascript
复制
前置条件:  
gh-ost目前需要MySQL版本为5.7及更高版本。

gh-ost需要具有以下权限的账户:
在迁移表所在的数据库(模式)上具有ALTER、CREATE、DELETE、DROP、INDEX、INSERT、LOCK TABLES、SELECT、TRIGGER、UPDATE权限,或者当然也可以在*.*上具有这些权限。
要么:
在*.*上具有SUPER、REPLICATION SLAVE权限,或者:
在*.*上具有REPLICATION CLIENT、REPLICATION SLAVE权限。
需要SUPER权限来执行STOP SLAVE、START SLAVE操作。这些操作用于:

在binlog_format不是ROW且您明确指定了--switch-to-rbr的情况下,切换binlog_format为ROW。如果您的复制已经处于RBR状态(binlog_format=ROW),您可以指定--assume-rbr以避免STOP SLAVE/START SLAVE操作,因此不需要SUPER权限。gh-ost对所有MySQL连接使用REPEATABLE_READ事务隔离级别,而不管服务器默认设置如何。运行--test-on-replica:在切换阶段之前,gh-ost会停止复制,以便您可以比较两个表并确保迁移是正确的。

2.1 连接从库DDL

代码语言:javascript
复制
gh-ost --user="gh_user" --password="xxx" --host=192.168.1.31 --database="bbb" --table="student" --initially-drop-old-table --alter="ADD COLUMN y1 varchar(10),add column y2 int not null default 0 comment 'test' "  --execute

2.2 单实例DDL

代码语言:javascript
复制
gh-ost --user="gh_user" ---password="xxx" --host=192.168.1.30 --database="bbb" --table="student"  --alter="ADD COLUMN cc2 varchar(10),add column cc3 int not null default 0 comment 'test' " --allow-on-master  --execute

2.3 从库测试DDL

代码语言:javascript
复制
gh-ost --user="gh_user" --password="xxx" --host=192.168.1.31 --database="bbb" --table="student"  --alter="ADD COLUMN abc1 varchar(10),add column abc2 int not null default 0 comment 'test' " --test-on-replica  --switch-to-rbr --execute

3 参数说明

gh-ost --help即可查看

4 限速

代码语言:javascript
复制
gh-ost --user="gh_user" --password="xxx" --host=192.168.1.31 --database="bbb" --table="student"  --alter="ADD COLUMN o2 varchar(10),add column o1 int not null default 0 comment 'test' " --exact-rowcount --serve-socket-file=/tmp/gh-ost.t1.sock --panic-flag-file=/tmp/gh-ost.panic.t1.flag  --postpone-cut-over-flag-file=/tmp/ghost.postpone.t1.flag --allow-on-master  --execute

代码语言:javascript
复制
① 标示文件终止运行:--panic-flag-file

创建文件终止运行,例子中创建/tmp/gh-ost.panic.t1.flag文件,终止正在运行的gh-ost,临时文件清理需要手动进行。

② 表示文件禁止cut-over进行,即禁止表名切换,数据复制正常进行。--postpone-cut-over-flag-file

创建文件延迟cut-over进行,即推迟切换操作。例子中创建/tmp/ghost.postpone.t1.flag文件,gh-ost 会完成行复制,但并不会切换表,它会持续的将原表的数据更新操作同步到临时表中。

③ 使用socket监听请求,操作者可以在命令运行后更改相应的参数。--serve-socket-file,--serve-tcp-port(默认关闭)

创建socket文件进行监听,通过接口进行参数调整,当执行操作的过程中发现负载、延迟上升了,不得不终止操作,重新配置参数,如 chunk-size,然后重新执行操作命令,可以通过scoket接口进行动态调整。如:

暂停操作:

#暂停
echo throttle | socat - /tmp/gh-ost.test.t1.sock
#恢复
echo no-throttle | socat - /tmp/gh-ost.test.t1.sock
修改限速参数:

echo chunk-size=100 | socat - /tmp/gh-ost.t1.sock

echo max-lag-millis=200 | socat - /tmp/gh-ost.t1.sock

echo max-load=Thread_running=3 | socat - /tmp/gh-ost.t1.sock

5 DDL 过程

代码语言:javascript
复制
① 检查有没有外键和触发器。
② 检查表的主键信息。
③ 检查是否主库或从库,是否开启log_slave_updates,以及binlog信息  
④ 检查gho和del结尾的临时表是否存在
⑤ 创建ghc结尾的表,存数据迁移的信息,以及binlog信息等    
---以上校验阶段
⑥ 初始化stream的连接,添加binlog的监听
---以下迁移阶段
⑥ 创建gho结尾的临时表,执行DDL在gho结尾的临时表上
⑦ 开启事务,按照主键id把源表数据写入到gho结尾的表上,再提交,以及binlog apply。
---以下cut-over阶段
⑧ lock源表,rename 表:rename 源表 to 源_del表,gho表 to 源表。
⑨ 清理ghc表。

6 限制

代码语言:javascript
复制
外键约束不受支持。将来可能会在某种程度上支持。

触发器不受支持。将来可能会支持。

MySQL 5.7支持JSON列,但不作为主键的一部分。

前后两个表必须共享一个主键或其他唯一键。gh-ost将使用此键在复制时迭代表行。阅读更多

迁移键不得包含具有NULL值的列。这意味着:
列是NOT NULL,或
列是可空的,但不包含任何NULL值。
默认情况下,如果唯一键包括可空列,则gh-ost不会运行。
您可以通过--allow-nullable-unique-key覆盖此行为,但请确保这些列中没有实际的NULL值。现有的NULL值无法保证迁移表的数据完整性。
不允许迁移存在具有相同名称但大小写不同的另一个表的表。

例如,如果同一模式中存在名为MYtable的另一个表,则无法迁移MyTable。
Amazon RDS可用,但具有自己的限制。

Google Cloud SQL可用,需要--gcp标志。

Aliyun RDS可用,需要--aliyun-rds标志。

Azure Database for MySQL可用,需要--azure标志,并且有详细的文档(azure.md)。

当通过副本进行迁移时,不支持多源。如果直接连接到主服务器(--allow-on-master),则应该可以工作(但从未经过测试)。

仅支持活动-被动设置的主-主设置。不支持同时在两个主服务器上写入表的活动-活动设置。将来可能会支持。

如果枚举字段作为迁移键(通常是主键)的一部分,则迁移性能将降低并且可能很差。阅读更多

不支持迁移FEDERATED表,这与gh-ost解决的问题无关。

不支持加密的二进制日志。

不支持ALTER TABLE ... RENAME TO some_other_name(您不应该使用gh-ost进行这种微不足道的操作)。

6 参考资料:

1、https://www.cnblogs.com/zhoujinyi/p/9187421.html 2、《MySQL实战》 第七章 DDL 3、官方文档 https://github.com/github/gh-ost/tree/master/doc

一起交流数据库技术。后台回复“交流群”可添加技术交流群。欢迎觉得读完本文有收获,可以转发给其他朋友,大家一起学习进步

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2023-11-14,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 DBA札记 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1 安装
  • 2 使用
    • 2.1 连接从库DDL
      • 2.2 单实例DDL
        • 2.3 从库测试DDL
        • 3 参数说明
        • 4 限速
        • 5 DDL 过程
        • 6 限制
        • 6 参考资料:
        相关产品与服务
        云数据库 MySQL
        腾讯云数据库 MySQL(TencentDB for MySQL)为用户提供安全可靠,性能卓越、易于维护的企业级云数据库服务。其具备6大企业级特性,包括企业级定制内核、企业级高可用、企业级高可靠、企业级安全、企业级扩展以及企业级智能运维。通过使用腾讯云数据库 MySQL,可实现分钟级别的数据库部署、弹性扩展以及全自动化的运维管理,不仅经济实惠,而且稳定可靠,易于运维。
        领券
        问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档