归档脚本在主库打出一条不带范围的 DELETE 或 UPDATE 之后,只读实例延迟跟着上去。把 slave_parallel_workers 调到 8 或 16,部署监控里的主从延迟距离还在涨。并行复制增加的是能同时回放的事务个数,不是把一个事务里的行拆开。
部署监控才是复制链路。主实例上看主实例和隐藏备机,只读实例上看只读和主实例,灾备要分清相对主实例还是相对自己的隐藏备机。主从延迟时间、主从延迟距离,对应指标 SecondsBehindMaster(秒)和 MasterSlaveSyncDistance(MB);指标表里也写作主备延迟时间、主备延迟距离。
延迟时间走 Seconds_Behind_Source 这一类算法:正在处理事件时,是从库当前时间减去该事件在主库上的原始时间戳;没有事件在处理时为 0。它衡量的是应用线程相对接收线程的差。接收线程本身落后时,应用线程追上 relay log 也会显示 0,并不等于追上主库。多线程回放下,这个值基于 Exec_Source_Log_Pos,不一定是最近已提交的事务。
故障处理文档里的大事务是:一个事务对百万行级数据做 DML,或一条 SQL 修改百万行且执行超过 30 秒。binlog 在主库提交时先写出去,距离上去,备库还要用同量级时间应用这一个事务。只看延迟时间为 0,会把「当前没在处理事件」当成没有延迟。给隐藏备机配延迟,策略类型选备机监控;给只读实例配到主实例的延迟,选主机监控。
slave_parallel_workers(8.0.26 起别名 replica_parallel_workers)是回放端参数。高稳定性模板默认 0,高性能模板默认 8。社区版 8.0.27 起默认 4,云上以参数页为准。值为 0 时单线程顺序应用。大于等于 1 时,协调线程读 relay log,把事务分给这么多个 worker。设成 1 仍是顺序应用,slave_parallel_type 和 slave_preserve_commit_order 被忽略。改完要等复制线程重新启动才生效,官方对应下次 START REPLICA。云上不要手动停复制,以参数页的重启标记为准。只读实例单独看参数页,不要假设和主实例相同。
一个事务只分给一个 worker。binlog_row_event_max_size 默认 8192 字节,多行会切成很多 event,仍进同一个队列。每个 worker 队列上限 16384 个 event,约 90% 进入 overrun,队列满时协调线程要等,官方统计项是 Waited due to worker queue full。其他 worker 可以空着。
replica_pending_jobs_size_max(旧名 slave_pending_jobs_size_max)默认 128MB,软限制,也要等复制线程重启。单个 event 超过它时,先等所有 worker 队列清空,再单独处理该事务,后续事务全部等到它完成。这不是事务总大小超过 128MB。行格式下先满的通常是这一个 worker 的队列,不是一个超过 128MB 的 event。单 event 过大,常见于无法再拆的大 BLOB,或一条特别长的语句文本。
TXSQL 的 TABLE 表示不同表的事件可以并行,内核下限是 8.0 20201230、5.7 20180530、5.6 20170830。5.6 取值 SCHEMA / TABLE,默认 SCHEMA;5.7 / 8.0 默认 LOGICAL_CLOCK。同表这一条大事务不会因此拆开。
依赖由主库 binlog_transaction_dependency_tracking 写入 binlog,默认 COMMIT_ORDER。该变量在 8.0 已标记弃用,参数页不一定开放。
COMMIT_ORDER 只把提交窗口重叠的事务看成可并行。窗口从最后一条语句执行完开始,到存储引擎提交结束为止。跑了几分钟的 DELETE,窗口只是末尾那一下提交。窗口里没有同伴,备库就没有可并行的事务。
WRITESET 按唯一键哈希判断冲突,窗口不重叠也可能并行,但每个事务仍是一个依赖项。无主键或无唯一键的表、写集不完整的事务、更新外键父表的事务,退回 COMMIT_ORDER。DDL、外键以及写集历史达到 binlog_transaction_dependency_history_size 时会插入序列化点。设成 WRITESET 要求 transaction_write_set_extraction 不是 OFF(默认 XXHASH64 即可)。已写入的 binlog 要等备库复制线程重启后才按新依赖回放。
replica_preserve_commit_order 在社区版 8.0.27 及以后的多线程备库上默认开,且必须配 LOGICAL_CLOCK,云上以参数页为准。打开时 worker 提交前等待更早的事务,状态是 Waiting for preceding transaction to commit。后面的事务可以先执行完,对外仍不可见。Exec_Source_Log_Pos 是低水位:之前的事务保证已提交,之后的不一定。关掉它会让备库出现主库从未有过的状态,不适合只读扩展。worker 为 0 或 1 时该参数被忽略。
row 格式下备库靠主键或二级索引找行,两者都没有就逐行全表扫描,且 worker 大于 1 时更差。先加主键;加不上时给基数高的列加二级索引,再加 worker。只读或灾备规格小于主实例、上面还有分析查询时,回放和查询抢 IO,文档建议规格不低于主实例。
cdb_optimize_large_trans_binlog 默认关,主要加快 row 模式下无主键大事务的回放。识别时看上次影响行数和平均影响行数两个阈值(默认都是 10000),且语句允许落成 statement,然后把隔离级别抬到可重复读,binlog 改写成 statement。内核下限 5.6 20210630、5.7 20200630、8.0 20200830。参数要工单改。文档里的 85% 和约 30% 是功能说明中的测试数据,不是这张表的承诺。事务没有拆开,备库仍要执行完整条语句后才提交。information_schema.CDB_SQL_STATISTICS 的 STMT_BINLOG_FORMAT_IF_POSSIBLE 为 FALSE 时不会改写。
txsql_non_blocking_binlog_threshold 是另一项,内核 8.0 20230630 起,默认 UINT64_MAX 表示关闭,设到 134217728 字节以上才启用,也要工单。它把大事务 binlog 写到临时文件,避免堵住主库其他事务提交,备库要应用的日志量不变。主库 TPS 恢复而只读延迟还在,就是这项在起作用。
提交顺序保持开启时,可见延迟不会短于备库应用这一个事务的时间。要缩短,只能让 binlog 里出现多个已提交事务。下面每次删 500 行,语句结束即提交,会话必须 autocommit=1。单表 DELETE 可以带 ORDER BY 和 LIMIT。
DELETE FROM app.order_event
WHERE created_at < '2024-01-01 00:00:00'
ORDER BY id
LIMIT 500;created_at 无索引时每批仍可能扫全表,只是锁和回放单位变小。归档列加上索引,批才是范围删除。autocommit=0 把循环包到最后才 COMMIT,或存储过程中间不提交,binlog 里仍是一个事务。连接池交还未提交会话,下一批会粘进同一事务。
拆批后只读会看到删到一半的表。整批必须同时可见时不能拆。这种任务期间不要切换:备库有延迟时切换完成不了,灾备要等堆积的 binlog 应用完才能升主。只读组开了延迟超限剔除时,只读会被移出读流量;最少保留为 0 则读回主库,大于等于 1 且全部超阈值时,读仍落在延迟的只读上。要一致读就走主库,不要把剔除阈值调到比归档还长。
主库先确认是不是这一类事务。看不到别人的 trx_query 是没有 PROCESS 权限。没有 innodb_trx 时,用 SHOW FULL PROCESSLIST 看 Time 很长、Info 就是那条 DML 的会话。
SELECT trx_mysql_thread_id,
trx_started,
TIMESTAMPDIFF(SECOND, trx_started, NOW()) AS age_sec,
trx_rows_modified,
trx_state,
trx_query
FROM information_schema.innodb_trx
WHERE trx_rows_modified > 10000
OR TIMESTAMPDIFF(SECOND, trx_started, NOW()) > 30
ORDER BY trx_rows_modified DESC;10000 行只是大事务复制优化的默认阈值,不是安全线。8.0.26 以前没有 replica_* 名字,查不到就只看 slave_*。
SHOW VARIABLES WHERE Variable_name IN (
'slave_parallel_workers',
'replica_parallel_workers',
'slave_parallel_type',
'replica_parallel_type',
'slave_preserve_commit_order',
'replica_preserve_commit_order',
'slave_pending_jobs_size_max',
'replica_pending_jobs_size_max',
'binlog_transaction_dependency_tracking',
'binlog_format',
'binlog_row_event_max_size'
);只读实例若能读 performance_schema.replication_applier_status_by_worker,看是不是只有一个 worker 的 APPLYING_TRANSACTION 长时间非空。性能模式关闭时计时列是 0。隐藏备机用部署监控,以及 DBbrain 异常告警里的「事务导致复制延迟」。
拆批生效的判据:每批提交后,主从延迟距离随这批 binlog 应用完回落,而不是等整个归档结束才掉。距离不回落、同一个事务的 trx_rows_modified 还在涨,就是没提交。之后再加 worker,只影响后续事务能不能重叠。
参考文档:并行复制、实例数据同步延迟、大事务复制、监控功能、Replica Server Options and Variables、Binary Logging Options and Variables。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。