作者：黄稚禹 Online DDL in MySQL5.5 历史上看，MySQL 在 2007 年就完成了在线索引接口的设计。 虽然在 MySQL5.5 版本中增加了 IN-Place 方式，但依然会阻塞 INSERT、UPDATE、DELETE 操作 Online DDL in MySQL5.6 MySQL5.5 中对添加索引操作引入了新特性 innodb_online_alter_log_max_size 参数 虽然 MySQL 5.6 支持了在线 DDL 操作，不过还是有些需要注意的问题，最为重要的就是参数 innodb_online_alter_log_max_size Online DDL in MySQL5.7 那到了 MySQL5.7，在 5.6 的基础上又增加了以下的新特性： 增加了 Alter table rename index 的语法支持，同时继续支撑 Online GH-OST 使用限制： 不能对有外键关系及触发器的表进行 Online DDL 要求所连接的获取增量数据的 mysql binlog 为 row 格式(会强制转换) 若有同名但是字母大小写不同的表如：
// MySQL之Online DDL过程 // 昨天内容中说了不同类型的DDL操作所采用的的执行方法，以及Online DDL对系统空间的依赖，今天我们说说Online DDL的操作过程，让大家有一个更加直观的认识 01 Online DDL的过程 从官方文档上看，online ddl操作的执行过程一般被分为3个阶段，如下： 阶段1：初始化阶段（准备阶段） 在初始化阶段，服务器将考虑存储引擎功能，语句中指定的操作以及用户指定的 02 Online DDL失败的情况 昨天的文章中说道，Online DDL失败的情况没有给出样例，但是官方文档上给出了可能失败的几种情况： 1、手工指定的algorithm和存储引擎中的算法出现冲突 的一些限制 1、使用lock=none模式的时候，不允许有外键约束，如果表中有外键的时候，使用Online DDL会出现一些问题 2、持有元数据锁的其他事务可能导致Online DDL阻塞，Online √ 2、提前准备好故障报告，直接在线上进行变更，该方法纯属娱乐:)× 相关文章： 大表Online-DDL操作问题初探 MySQL之Online DDL再 有帮助的话还希望点下再看哈
Vite学习指南，基于腾讯云Webify部署项目。
有一些第三方工具也可以实现 DDL 操作，最常见的是 percona 的 pt-online-schema-change 工具（简称为 pt-osc），和 github 的 gh-ost 工具，均支持 pt-online-schema-change 比 gh-ost 落后很多，不推荐使用此工具。 的 inplace 算法虽然支持在 DDL 过程中间的读写，但是对写入的数据量有上限，不能超过 innodb_online_alter_log_max_size（默认为 128M）。 - 根据 alter 类型，确定执行方式（copy，online-rebuild，online-not-rebuild）。 更新数据字典的内存对象。 pt-online-schema-change 借鉴了 copy 算法的思路，由外部工具来完成临时表的建立，数据同步，用临时表替换源表这三个步骤。
Online DDL是从mysql5.6版本后引入的新功能，可以实现在线DDL操作不锁表。但是MySQL5.6的Online DDL不是真正的Online DDL，针对部分操作还是有局限性。 old_alter_table参数，判断是通过INPLACE还是COPY的算法，默认为OFF，表示采用INPLACE的方式： INPLACE 表示创建索引或删除索引操作不需要创建临时表； COPY 表示按照MySQL 只有以下几类DDL操作不可以通过“Online”的方式进行：会影响其他DML操作 1、新加字符编码不同 2、更改列数据类型 3、删除主键 4、添加全文索引 所以5.6的Online DDL并不是真正的Online DDL，如果想保证尽量不锁表，可以使用oak-online-alter-table和pt-online-schema-change等工具。 通过触发器复制到临时表） 4、copy数据 5、更新外键关联的子表 6、数据一致后将原表rename成_old，将临时表rename成原表（瞬间） 7、删除_old表 8、删除触发器 https://dev.mysql.com
在MySQL实现online create index之前，新建索引意味着业务要停止写入，这是非常影响用户使用体验的，为此，MySQL引入了online create index，极大地减少了业务停写的时间 MySQL online create index原理 在MySQL中表格至少需要设置一个主键，如果用户未指定主键的话，内部会自动生成一个。 对于带主键的表格，MySQL会以聚集索引的方式实现，即表格的数据都是完整的存储在聚集索引上的。 online create index主要分为两个阶段，第一阶段为从主表读取索引列并排序生成索引表的数据，称为基线数据；第二阶段为把新建索引阶段索引表的增量数据更新到第一阶段的基线数据上。 总结 MySQL online create index的整体思路分为两步构建基线以及更新增量，构建基线时采用的归并算法比较简单，资源占用少，但性能会比较差；在更新增量时，采用将增量切分成更小的块，来减少停写的时间
// MySQL之Online DDL再探 // 昨天内容中说了MySQL5.6引入了online DDL，但是没有详细的展开说，这块儿内容比较多，只能一点一点的写了，今天再来看这里的内容。 01 Online DDL的优点 online ddl操作支持表的本地更改(无需拷贝)和并发DML操作，一般有以下几个优点： 1、一般的线上环境都是比较忙碌的，想要在一个大表中比较平滑的执行 默认情况下，MySQL5.7使用inplace的方法，而不是copy表结构的方法。因此，与传统的表复制方法相比，online ddl可以降低磁盘上的消耗和IO上的开销。 我们以创建二级索引为例，我们知道，在创建二级索引的时候，MySQL是支持我们进行DML操作的，如果我们正在对表A进行创建索引的操作，此时有一个update或者insert的SQL也来操作该表A，那么MySQL 所以MySQL中指定了一个参数innodb_online_alter_log_max_size 来设置临时日志文件的大小，如下所示： +---------------------------------
在 MySQL 5.6 之前，MySQL 的 DDL 操作会按照原来的表复制一份，并做相应的修改。 因此，MySQL 5.6 增加了 Online DDL，允许在不中断数据库服务的情况下进行 DDL 操作。 用法 ? Reference Manual — Online DDL Operations) 中查看。 踩坑 前面提到 Online DDL 执行过程中需要获取 MDL，MDL (metadata lock) 是 MySQL 5.5 引入的表级锁，在访问一个表的时候会被自动加上，以保证读写的正确性。 为了在大表执行 DDL 的过程中同时保证 DML 能并发执行，前面使用了 ALGORITHM=INPLACE 的 Online DDL，但这里仍然存在死锁的风险，问题就出在 Online DDL 过程中需要
 导读 MySQL的Online DDL长期饱受诟病，8.0之后有没有好一些呢... 本文重点讨论常见的几种Online DDL需求： 增加新列（ADD COLUMN） 修改列定义（MODIFY COLUMN） 增加/删除索引（ADD/DROP INDEX） 其他的DDL操作相对比较少， 选项，因为MySQL会自行判断该采用哪种方式。 本来可以INPLACE的，可能不小心给指定成COPY就悲剧了 延伸阅读 MySQL Reference Manual, 15.12.1 Online DDL Operations MySQL Reference Instant ADD COLUMN | MySQL Server Blog 杨奇龙：MySQL Online DDL思维导图 最后，欢迎扫码订阅《乱弹MySQL》专栏，快人一步获取我最新的MySQL
Online DDL方案及优缺点： 方式优点缺点先在从库执行，然后进行主从切换适用于计划内的切换；步骤较多，需要做主从切换；如果开启gtid，从库执行需要设置sql_log_bin=off避免主从切换时异常 MySQL自身Online DDL无需借助额外工具，部分DDL操作不会创建临时表、不会造成DML阻塞；需要mysql5.6以上版本；MySQL5.6的Online DDL不是真正的Online DDL 失败的话回滚时间长；如果表的DML操作比较多，需要设置更大的缓存空间；pt-online-schema-change不会造成DML阻塞； 加锁时间短，只在最后rename阶段加瞬间锁需要创建触发器和临时表 对主库影响较小；无需创建触发器; 有暂停功能； 需要开启binlog并设置row模式； 对binlog保留时间要求较高； 模拟从库单线程应用较慢； 需要更大的存储空间gh-ost定义： gh-ost是针对MySQL 对主库影响很小，无trigger的online schema change解决方案。
// MySQL 8.0 之 Online DDL快速加列 // 问题描述 前几天同事问了我一个问题：业务A从MySQL迁移到MongoDB的原因是什么？ 这里我简单列举一下： 1、percona的pt-osc工具 2、github开源项目gh-ost工具 3、MySQL原生Online DDL 01 MySQL Online DDL加列的历史方法 01 02 Inplace方法 MySQL5.6版本开始引入Online DDL，这个功能使得上面的过程变成了下面这样： ? 这也就是为什么把这个过程叫做Online DDL的原因。 当然，instant算法不支持删除普通列、无法设置列的顺序、还有一些其他的限制，详情可以查看官方文档：https://dev.mysql.com/doc/refman/8.0/en/innodb-online-ddl-operations.html
点击上方蓝色字关注我们~ online indexbuild (online create或者rebuild index)是Oracle的一个极其常用的online操作，我们知道当创建索引或者重建索引没有加 本文将深入解析online indexbuild的工作原理。 在分析online indexbuild实现原理之前，先介绍一下indexbuild online与非online除了对表持有的TM锁级别不同之外的第二个比较大的区别，就是 indexbuild的执行计划不同 ： indexbuild online只能使用全表扫描的方式； indexbuild非online，遵循CBO最小cost原则去选择执行计划，索引快速全扫描或者全表扫描。 由于online create index和online rebuild index在实现原理上基本一致，所以此次测试online rebuild index即可，测试环境选择的11.2.0.4，通过gdb
作者：胡存存 爱可生 DBA 团队成员，主要负责 MySQL 故障处理和 SQL 审核优化。对技术执着，为客户负责。 ---- MySQL 在 5.6 引入 Online DDL 之后，在 5.7 和 8.0 版本又对这一功能进行了大幅的优化。尤其是在 8.0 之后，已经实现了列的秒加。 当出现这种需求，我们是采用 MySQL 的 Online DDL 直接修改还是用第三方的工具呢。我们先看下官网关于扩 varchar 类型的描述： ? 参考文章：https://dev.mysql.com/doc/refman/5.7/en/innodb-online-ddl-operations.html 通过上图可以发现，Extending VARCHAR 另外，再提醒下，MySQL 5.7.20 之前的版本可能不支持（我测试的版本是 5.7.29），生产使用时需要再测试下。
MySQL Online DDL导致全局锁表案例分析 我这边遇到了什么问题? MySQL:8.11.4 Metadata Locking MySQL:14.13.1 Online DDL Operations 初步的一些结论 看下来下面的一些结论: MySQL 5.6以后的版本， 支持在线DDL，新增index/删除index之类的可以直接InPlace操作，不需要rebuild整张表，理论上效果是很快的，详细资料见Online DDL Operations DDL add index 解决MDL锁导致无法操作数据库的问题 RDS for MySQL Online DDL 使用 阿里云建议主要是这样操作. 最后建议 online DDL前,最好确认一下当前数据库有没有类似lock存在 最好的方案还是主从切换来搞 全文完.
下来我们来看一下INnoDB中的Online DDL各个操作请求。 mysql 在DDL 权威指南 5.6 官方文档 ：verision :https://dev.mysql.com/doc/refman/5.6/en/innodb-online-ddl-operations.html 5.7 官方文档 ： https://dev.mysql.com/doc/refman/5.7/en/innodb-online-ddl-operations.html 对比 对比过后我们可知 总结 在数据量很大的时候，varchar通过Online DDL做到快速进行更改字段长度。但是前提条件就是不会进行锁表和copy数据的过程。 这个前提条件就是数据库的支持5.7及5.7以上。
北京大学 Online Judge（POJ) <http://acm.pku.edu.cn/JudgeOnline/> 建立较晚，但题目加得很快，现在题数和ZOJ不相上下，特点是举行在线比赛比较多， 这个题库的一大特点就是 Online Judge功能强大，其实pku现在已经是中国最好的ACM网站。 浙江大学 Online Judge（ZOJ） <http://acm.zju.edu.cn> 国内最早也是最有名气的OJ，有很多高手在上面做题。打开速度快。 西班牙Valladolid大学 Online Judge（UVA） <http://acm.uva.es/> 世界上最大最有名的OJ，题目巨多而且巨杂，数据也很刁钻，全世界的顶尖高手都在上面。 俄罗斯Ural立大学 Online Judge（URAL） <http://acm.timus.ru/> 也是一个老牌的OJ，题目不多，但题题经典，我在高中的时候就在这上面做题的。
作者简介 无为，多年 MySQL DBA 工作经验，现就职于某知名互联网公司，对 MySQL、 Redis、PostgrepSQL 等主流数据库有一定了解，拥有丰富的一线运维经验。 上一节咱们了解了元数据锁，但在 Online DDL 操作中具体是怎样加锁的呢？加几次锁呢？带着这些疑问，我们一起来学习 DDL 三阶段。 4 Online DDL 限制 在 alter table 时，如果涉及到 table copy 操作，要确保 datadir 目录有足够的磁盘空间，能够放的下整张表，因为拷贝表的的操作是直接在数据目录下进行的 涉及到 table copy 时，目前还没有机制限制暂停 ddl，或者限制 IO 阀值，在 MySQL 5.7.6 开始能够通过 performance_schema 观察 alter table 的进度 如果 DDL 执行时间很长，期间又产生了大量的 dml 操作，以至于超过了 innodb_online_alter_log_max_size 变量所指定的大小，会引起 DB_ONLINE_LOG_TOO_BIG
点击上方蓝色字关注我们~ 先从Online Move Datafile说起，Online Move Datafile是12.1的新特性，在12c之前如果想要move datafile通常需要下列步骤： 之前需要recover datafile 5.online datafile Oracle 12.1推出了Online Move Datafile的新特性，那么Oracle是如何通过一条命令就搞定了12c 10046跟踪Online Move Datafile的会话，strace跟踪dbwr进程。 非常关键的一点 dump控制文件可以看到，secondary file被加入，并且 Online move state变成了1。 该步骤是Online Move Datafile的结束动作。
简介-online DDL过程介绍 ddl包含了copy和inplace方式，对于不支持online的ddl操作采用copy方式。 对于inplace方式，mysql内部以“是否修改记录格式”为基准也分为两类，一类需要重建表(重新组织记录)，比如optimize table、添加索引、添加/删除列、修改列NULL/NOT NULL属性等 Mysql将这两类方式分别称为rebuild方式和no-rebuild方式。 < the log of modifications during online index creation; valid when online_status is ONLINE_INDEX_CREATION 调用栈为： mysql_alter_table-->handler::ha_prepare_inplace_alter_alter_table-->ha_innobase::prepare_inplace_alter_table
腾讯云数据库MySQL是一种高性能、高可靠、高安全、可灵活伸缩的数据库托管服务，其不仅经济实惠，而且提供备份回档、监控、快速扩容、数据传输等数据库运维全套解决方案，为您简化 IT 运维工作，让您能更加专注于业务发展。
扫码关注腾讯云开发者
领取腾讯云代金券
云服务器
测试服务 WeTest
文件存储
命令行工具
SSL 证书