从案例中我们得知是中途开启的GTID，但是留下了很多未开启GTID的BINLOG，从第六部分源码bool MYSQL_BIN_LOG::init_gtid_sets()函数的分析，我们知道删除BINLOG后也会触发正向查找来获取gtid_purged(Gtid_state.lost_gtids)。当读取到第一个BINLOG的时候虽然获取到了PREVIOUS GTID EVENT但是没有GTID EVENT，而simple_recovery=flase所以需要继续查找下一个文件，直到找到同时包含PREVIOUS GTID EVENT和GTID EVENT的 那个BINLOG才会停止，那么显然这种情况下那些GTID关闭的时候生成的BINLOG将会全部扫描一遍，如果量大那么代价将是巨大的。 而案例中每半个小时会触发一次BINLOG切换，因为触发超过expire_logs_days参数设置导致BINLOG进行删除，触发了大量的BINLOG扫描。 显然有了前面的基础这个案例很容易分析。
开启MySql的binlog其实不是像网上说的那么一致，我用的是Ubuntu系统。这些debian系统与普通的Linux在开启binlog的方法上是有区别的。在unbuntu下默认安装的MySql，开启binlog只需编辑/etc/mysql/my.cnf文件，修改配置：
在工作中，我们误删数据或者数据库，我们一定需要跑路吗？我看未必，程序员一定要学会自救，神不知鬼不觉的将数据找回。
对于自建 MySQL , 需要先开启 Binlog 写入功能，配置 binlog-format 为 ROW 模式，开启Mysql binlog日志步骤如下：
https://mp.weixin.qq.com/s/XSnFkuYzIlGWMaXIl-oPeQ
在任何一种数据库中，都会有各种各样的日志，记录着数据库工作的方方面面，以帮助数据库管理
错误日志是 MySQL 中最重要的日志之一，它记录了当 mysqld 启动和停止时，以及服务器在运行过程中发生任何严重错误时的相关信息。当数据库出现任何故障导致无法正常使用时，建议首先查看此日志。
作用： 记录mysql数据库的一般状态信息及报错信息，是我们对于数据库常规报错处理的常用日志。
MySQL的二进制日志binlog可以说是MySQL最重要的日志，它记录了所有的DDL和DML语句（除了数据查询语句select），以事件形式记录，还包含语句所执行的消耗的时间，MySQL的二进制日志是事务安全型的。一般来说开启binlog日志大概会有1%的性能损耗。
2、准备数据 网址：https://dev.mysql.com/doc/sakila/en/sakila-installation.html
在配置文件中加入 log-bin 配置，表示启用binlog，如果没有给定值，写成 log-bin=，则默认名称为主机名。（注：名称若带有小数点，则只取第一个小数点· 前的部分作为名称）
我们常常听人说，只要你愿意，MySQL 可以恢复至半个月甚至一个月以内的任何一个状态。网上也有很多删库跑路的段子。。。
爱可生数据库工程师，负责 MySQL 日常维护及 DMP 产品支持。擅长mysql故障处理。
查看master状态，即最后一个binlog日志的编号名称，及其最后一个操作时间pos结束点值
MySQL 中的日志比较重要的有 binlog（归档日志）、redo log（重做日志）以及 undo log，那么跟我们本文相关的主要是 binlog，另外两个日志松哥将来有空了再和大家详细介绍。 1. binlog binlog 我们中文一般称作归档日志，如果大家看过松哥之前发的 MySQL 主从搭建，应该对这个日志有印象，当我们搭建 MySQL 主从的时候就离不开 binlog（传送门：MySQL8 主从复制踩坑指南）。 binlog 是 MySQL Server 层的日志，而不是存储引擎自带的日志，
Mysql主从复制也可以称为Mysql主从同步，它是构建数据库高可用集群架构的基础。它通过将一台主机的数据复制到其他一台或者多台主机上，并重新应用日志（realy log）中的SQL语句来实现复制功能。Mysql支持单向，双向，链式级联，异步复制，复制过程中一台服务器充当主库（master），而一个或者多个服务器充当从库（slave）
binlog 二进制日志文件，这个文件记录了MySQL所有的DML操作。通过binlog日志我们可以做数据恢复，增量备份，主主复制和主从复制等等。
MySQL日志是在MySQL server上生成的，不管更改哪个存储引擎，这些日志都是需要有的，包括：
131和132已经按照MySQL-CentOS7通过YUM安装MySQL5.7.29完成了MYSQL的安装，并成功启动。
修改mysql配置文件，不同的系统my.cnf路径不同（CentOS中位于/etc/my.cnf）
如果哪天不小心把表给删了，数据都没了或者一不留神被删库跑路了，那怎么把数据恢复呢？这就需要今天的主角binlog登场了。
基本定义：二进制日志，也成为二进制日志，记录对数据发生或潜在发生更改的SQL语句，并以二进制的形式保存在磁盘中；
MySQL 5.7增强了半同步复制，rpl_semi_sync_master_wait_point增加了AFTER_SYNC的值，由该参数AFTER_SYNC/AFTER_COMMIT两个值选择是否启用增强半同步。
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/xmt1139057136/article/details/88840293
错误日志是MySQL中最重要的日志之一，它记录了当MySQL启动和停止时，以及服务器在运行过程中发生的任何严重错误时的相关信息，当数据库出现任何故障导致无法正常使用时，建议首先查看此日志
数据库误删某表恢复方法，下面介绍的的方法是针对每天有备份的数据库和开启 binlog 日志的。
糖豆贴心提醒，本文阅读时间5分钟 血的教训，事发经过就不详述了。直接上操作步骤及恢复思路（友情提示：数据库的任何操作都要提前做好备份），以下是Mysql数据后的恢复过程： 1. 找到binlog 恢复数据的前提是必须开启Mysql的binlog日志，如果binlog日志没开启，请忽略此篇文档。binlog日志是否开启可以查看Mysql配置文件。日志位置一般在/var/lib/mysql目录或者编译安装的date目录下。也可登录Mysql用命令查看。 # cat /etc/my.cnflog_bin
基本定义：二进制日志，也成为二进制日志，记录对数据发生或潜在发生更改的SQL语句，并以二进制的形式保存在磁盘中； 作用：binlog的作用类似于Oracle的归档日志，可以用来查看数据库的变更历史（具体的时间点所有的SQL操作）、数据库增量备份和恢复（增量备份和基于时间点的恢复）、Mysql的复制（主主数据库的复制、主从数据库的复制） 二进制日志的信息： 文件位置：默认存放位置为数据库文件所在目录下 文件的命名方式： 名称为hostname-bin.xxxxx （重启mysql一次将会自动生成一个新的bin
MySQL 主从复制是指数据可以从一个MySQL数据库服务器主节点复制到一个或多个从节点。
使用数据库的时候，我们每个操作都十分小心，尤其是不能直接在数据库上执行 update、delete 等操作，否则万一忘记加全 where 条件，可能就会造成无法挽回的结果。 有一句十分流行的调侃 — “从删库到跑路”就很形象的说明了误操作后的结果，那么如果你真的不小心执行了删库操作，真的就无法挽回了吗？ 当然不会了，通常对于线上数据库，我们都会定时冷备，dump 导出数据库的全量备份，并且保留一段时间内的所有修改日志，进而实现在必要时回滚到这段时间内的任何一秒。 这里提到的“日志”指的就是 binlog，那么究竟什么是 binlog 呢？本文我们就来详细介绍一下。
偶然的机会朋友说他部门的数据库误删了，想恢复回来，他百度了一些资料，也跟着试了。但发现会报一些错，于是他就找我帮忙看一下。对于我来说，因为公司的数据库都是DBA在管控，平时都没机会操作，基本上都停留在理论上。
首先列出一个 8.0 my.cnf 的实例，这个只针对普通的单实例或者主从环境，对于其他环境，比如 MGR，可能有更多的一些参数需要调整。并且也不是最完整，最终要根据自己实际环境进行调整。
首先主从复制是什么？简单来说是让一台MySQL服务器去复制另一台MySQL的数据，使两个服务器的数据保持一致。
ClickHouse 20.8.2.3 版本新增加了 MaterializeMySQL 的 database 引擎，该 database 能 映射到 MySQL 中的某个 database ，并自动在 ClickHouse 中创建对应的ReplacingMergeTree。ClickHouse 服务做为 MySQL 副本，读取 Binlog 并执行 DDL 和 DML 请求，实现了基于 MySQL Binlog 机制的业务数据库实时同步功能。
STATEMENT模式（SBR） 每一条会修改数据的sql语句会记录到binlog中。优点是并不需要记录每一条sql语句和每一行的数据变化，减少了binlog日志量，节约IO，提高性能。缺点是在某些情况下会导致master-slave中的数据不一致(如sleep()函数， last_insert_id()，以及user-defined functions(udf)等会出现问题)
MySQL主从架构已经被广泛应用,保障主从复制关系的稳定性是大家一直关注的焦点。MySQL 5.6针对主从复制稳定性提供了新特性:slave支持crash-safe。该功能可以解决之前版本中系统异常断电可能导致relay_log.info位点信息不准确的问题。本文将从原理，参数等几个方面对该特性进行介绍。
早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，产出了canal项目。canal的原理很简单，就是如上图片所示
从MySQL 5.6.5 开始新增了一种基于 GTID 的复制方式。通过 GTID 保证了每个在主库上提交的事务在集群中有一个唯一的ID。这种方式强化了数据库的主备一致性，故障恢复以及容错能力。 GTID (Global Transaction ID)是全局事务ID,当在主库上提交事务或者被从库应用时，可以定位和追踪每一个事务，对DBA来说意义就很大了，我们可以适当的解放出来，不用手工去可以找偏移量的值了，而是通过CHANGE MASTER TO MASTER_HOST='xxx', MASTER_AUTO_POSITION=1的即可方便的搭建从库，在故障修复中也可以采用MASTER_AUTO_POSITION=‘X’的方式。
MySQL 主从架构已经被广泛应用,保障主从复制关系的稳定性是大家一直关注的焦点。MySQL 5.6 针对主从复制稳定性提供了新特性: slave 支持 crash-safe。该功能可以解决之前版本中系统异常断电可能导致 relay_log.info 位点信息不准确的问题。
Relay log 类似 binary log，是指一组包含数据库变更事件的文件，加上相关的 index 和 mata 文件，具体细节参考 官方文档 。在 DM 中针对某个上游开启 relay log 后，相比不开启，有如下优势：
1.主从数据库版本最好一致 2.主从数据库内数据保持一致，若不一致，可将从库中所有数据删除，并将主库全部数据导入进去
当开启mysql数据库主从时，会产生大量如mysql-bin.00000* log的文件，这会大量耗费您的硬盘空间。 如：
MySQL日志管理 错误日志 配置方法： vim /etc/my.cnf [mysqld] log-error=/tmp/mysql.log 查看配置方式： show variables like '%log%error%'; 作用： 记录mysql数据库的一般状态信息及报错信息，是我们对于数据库常规报错处理的常用日志。 一般查询日志 配置方法： vim /etc/my.cnf [mysqld] general_log=on general_log_file=/data/mysql/server2.log
今天一位跨界老码农不知咋回事，兴奋过了头，一不小心把数据库给删掉啦，然后问我咋恢复，然后我告诉他基于 binlog 可以恢复，谁成想没有开启 binlog，最后只能躲在角落里伤心。
本文深入介绍Mysql Binlog的应用场景，以及如何与MQ、elasticsearch、redis等组件的保持数据最终一致。最后通过案例深入分析binlog中几乎所有event是如何产生的，作用是什么。
hello 各位小伙伴大家好，今年 5 月份的时候，松哥和大家聊过如何搭建 MySQL 主从复制：
3、一个GTID在一个服务器上只执行一次，避免重复执行导致数据混乱或者主从不一致。
1、Master能看到slave在连接，show processlist也能看到在dump binlog
这种主从复制环境在单机应用的时候没有问题，但是在实际的生产环境中，会存在复制延迟的问题。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
