MySQL NDB Cluster团队致力于NDB架构核心部分的基础重新设计。这些更改之一是部分检查点算法。现在，用户可以充分利用它构建更大的集群，NDB 8.0可以在每个数据节点上使用16 TB的内存表，也可以使用磁盘数据构建3副本5 PB的集群。
这一节会先描述 MTS 的工作线程执行 Event 的大概流程。然后重点描述一下 MTS 中检查点的概念。在后面的第 25 节我们可以看到，MTS 的异常恢复很多情况下需要依赖这个检查点，从检查点位置开始扫描 relay log 做恢复操作，但是在 GTID AUTO_POSITION MODE 模式且设置了 recovery_relay_log=1 的情况下这种依赖将会弱化。
首先，我们将讨论支持InnoDB克隆技术的一些内部产品。MySQL企业版备份（MEB）是一种企业级产品，可为MySQL提供备份和恢复。在各种类型的备份中，我们关注下面两种类型：
理解：防止出现未知错误，导致原先要执行完全的数据只执行了一半，最终影响数据，也就是 事务是一组组合成逻辑工作单元的操作，虽然系统中可能会出错，但事务将控制和维护事务中每个操作的一致性和完整性。
2023 年某一天周末，新手程序员小明因为领导安排的一个活来到公司加班，小明三下五除二，按照领导要求写了一个跑批的数据落库任务在测试环境执行 ，突然间公司停电了，小明大惊，“糟了，MySQL 还在跑任务，会不会因为突然断电，导致数据库崩了”。
从关系数据库抽取图数据，需要考虑的一个场景是新增数据的处理【其中任务状态的依赖与数据依赖关系非常重要】。从一个自动化抽取图数据的工具角度来说，自动化生成脚本可以与如下实现完成对接【即设计好schema之后自动生成如下脚本】。该设计方案可以与自动化抽取图数据的工具无缝集成。 在现有的Airflow调度系统中【可以自行实现调度逻辑或者可以是其它的调度系统，本文的设计思路可以借鉴】，可以设计Task和DAG来完整增量数据的处理，完成线上数据的持续更新需求。在构建TASK时，按照图数据的特点设计了节点TASK和关系TASK，并在同一个DAG中执行调度。【DAG的设计可以是某一类业务数据的处理流程】在下面的案例中主要展示了担保关系图数据的构建设计。
提示：公众号展示代码会自动折行，建议横屏阅读 1 MLOG CHECKPOINT是什么 在MySQL 5.7存储引擎InnoDB崩溃恢复中，我们一定看到过MLOG_CHECKPOIN的身影。从上一个检查点(LOG CHECKPOINT)开始，进行第一次redo日志扫描(参考函数recv_group_scan_log_recs() )，就是要找到MLOG_CHECKPOINT。那么MLOG_CHECKPOINT是用来做什么的？ 大家都知道在InnoDB恢复的过程，是先应用redo日志，再执行undo操作。
基于check-point实现图数据构建任务针对这篇文章提出的方案增加了数据分块操作与任务状态回滚操作。 数据分块：控制加载到内存的数据量，避免占用过多堆内存保证图数据库可靠运行。 任务状态回滚：回滚到构建节点的任务状态，下一次构建节点关系时从回滚点开始操作【构建任务分为节点TASK和关系TASK，任务回滚操作是在关系TASK中进行回滚】。
墨墨导读：Checkpoint是数据库中重要的概念，无论在Oracle，MySQL这个概念，它主要功能是在检查点时刻，脏数据全部刷新到磁盘，以实现数据的一致性和完整性。PostgreSQL为什么要设计Checkpoint呢？跟Oracle一样，其主要目的是缩短崩溃恢复时间。PostgreSQL在崩溃恢复时会以最近的Checkpoint为基础，不断应用这之后的WAL日志。下面我们就从Oracle的角度去学习下PostgreSQL的Checkpoint。
原文：https://www.enmotech.com/web/detail/1/784/1.html
为了模拟生产环境中实时产生的订单数据，这里我们自己定义一个数据源来源源不断的产生模拟订单数据
3月16日在北京举行的腾讯云自研数据库CynosDB交流会圆满落下帷幕。现将技术团队分享的内容整理如下。
点击上方蓝字关注每天学习数据库 作者简介：尚博，腾讯云数据库高级工程师，多年数据库内核研发经验，在事务、日志、存储、性能调优、SQL兼容性等方面有较深的研究和开发经验。 腾讯云数据库高级工程师尚博 3月16日，由腾讯云云+社区主办的腾讯云自研数据库 CynosDB 交流会在北京圆满落幕，本次交流会全方位解读了CynosDB，揭秘技术内幕，解读兼容两大主流开源数据库的一主多读架构、高可用架构及快速恢复实现、可计算智能存储和分布式存储。 本文为尚博分享的《CynosDB for MySQL 计算存储分离架
在说完mysql 不要关DW 后，祭出 POSTGRESQL FULL PAGE 的确是有点不厚道，所以必然会引出 FULL PAGE 也存在性能问题的话题。到底是大公鸡和大马猴的问题，还是小绵羊的牧羊犬的故事。
在上一期《时区信息记录表|全方位认识 mysql 系统库》中，我们详细介绍了mysql系统库中的时区信息记录表，本期我们将为大家带来系列第七篇《复制信息记录表|全方位认识 mysql 系统库》，下面请跟随我们一起开始 mysql 系统库的系统学习之旅吧！
MySQL CDC连接器允许从MySQL数据库读取快照数据和增量数据。本文档根据官网翻译了如何设置MySQL CDC连接器以对MySQL数据库运行SQL查询。
本文分两部分， 第一部分概念介绍，重在理解。 第二部分通过MySQL Innodb中的具体实现，加深相关知识的印象。 本文的原意是一篇个人学习笔记，为了避免成为草草记录一下的流水账，尝试从给人介绍的角度开写。但在整理的过程中，越来越感觉力不从心，一是细节太多了，原以为足够了解的一个小知识点下可能隐藏了很多细节；二是内容与范围的取舍，既想有点技术性避免空谈，又不想陷入枯燥冗长的小细节描述。几番折腾，目前的想法把坑填上，能写完就不错了，你读起来有不顺或错误的地方请见谅，欢迎反馈。
大家都清楚，日志是 MySQL 数据库的重要组成部分，记录着数据库运行期间各种状态信息。MySQL 日志主要包括「错误日志」、「查询日志」、「慢查询日志」、「二进制日志(binlog)」 和 事务日志(redo log、undo log)几大类。
现在主流的数据库系统的故障恢复逻辑都是基于经典的ARIES协议，也就是基于undo日志+redo日志的来进行故障恢复。redo日志是物理日志，一般采用WAL(Write-Ahead-Logging)机制，所以也称redo日志为wal日志，redo日志记录了所有数据的变更，undo日志是逻辑日志，记录了所有操作的前镜像，方便异常时进行回滚。用户在提交事务时，只要确保写redo日志成功即可，并不需要对应的数据页也实时落盘，这套机制的基本思想是利用空间换时间，用户事务的更新实际上在数据页和redo日志中记录了两份，传统的数据库存储引擎都是基于B+Tree来组织数据页，因此刷数据页是离散小块IO，而写redo是顺序IO，对磁盘介质更友好，而且OLTP场景下，业务对RT(ResponseTime)也比较敏感，所以这套机制非常流行。
•每个任务都需要获取锁然后执行数据构建逻辑，不管构建逻辑是否成功执行TASK结束时必须释放锁•[NODE-TASK]负责锁的node_check-point更新以及后续任务的rel_check_point同步•[REL-TASK]负责node_check-point的回滚和任务状态同步rel_check_point=node_check_point
在Oracle数据库系统中，写日志和写数据文件是数据库中消耗I/O较大的两种操作。在这两种操作中，写数据文件属于分散写，写日志文件是顺序写，因此为了保证数据库的性能和数据的安全，通常数据库都是在提交（COMMIT）完成之前要先保证Redo日志条目都被写入到日志文件中，才会给用户反馈提交完成的通知（Commit complete.），而保存在Buffer Cache中的脏块会不定期地、分批地写入到数据文件中。也就是说，日志写入和提交操作是同步的，而数据写入和提交操作是不同步的，修改的数据并不是在用户提交后就立马写入数据文件中。这样就存在一个问题，当数据库崩溃的时候并不能保证Buffer Cache里面的脏数据全部写入到数据文件中，那么在实例启动的时候就要使用日志文件进行恢复操作，将数据库恢复到崩溃之前的状态，从而保证数据的一致性。那怎么确定该从何时、从哪里开始恢复呢，Oracle使用了检查点（Checkpoint）来进行确定。
PostgreSQL从小白到专家，是从入门逐渐能力提升的一个系列教程，内容包括对PG基础的认知、包括安装使用、包括角色权限、包括维护管理、、等内容，希望对热爱PG、学习PG的同学们有帮助，欢迎持续关注CUUG PG技术大讲堂。
如果你对Flink CDC 还没有什么概念，可以参考这里：Flink CDC 原理及生产实践。
概述 接口自动化概述 众所周知，接口自动化测试有着如下特点： 低投入，高产出。 比较容易实现自动化。 和UI自动化测试相比更加稳定。 如何做好一个接口自动化测试项目呢？ 我认为，一个“好的”自动化测试项目，需要从“时间”、“人力”、“收益”这三个方面出发，做好“取舍”。 不能由于被测系统发生一些变更，就导致花费了几个小时的自动化脚本无法执行。同时，我们需要看到“收益”，不能为了总想看到100%的成功，而少做或者不做校验，但是校验多了维护成本一定会增多，可能每天都需要进行大量的维护。 所以做好这三个方面的平衡
检查点通过恢复状态和对应流位置来实现 Flink 状态容错，从而为应用程序提供与无故障执行相同的语义。
我认为，一个“好的”自动化测试项目，需要从“时间”、“人力”、“收益”这三个方面出发，做好“取舍”。
UNDO表空间可以在MySQL 8.0中隐式或显式截断。两种方法使用相同的机制。当UNDO表空间截断完成时，可能导致非常繁忙的系统上的定期停顿。此问题已在MySQL 8.0.21中修复。
Saver类添加ops来在检查点之间保存和恢复变量，它还提供了运行这些操作的方便方法。检查点是私有格式的二进制文件，它将变量名映射到张量值。检查检查点内容的最佳方法是使用保护程序加载它。保护程序可以自动编号检查点文件名与提供的计数器。这允许您在训练模型时在不同的步骤中保持多个检查点。例如，您可以使用训练步骤编号为检查点文件名编号。为了避免磁盘被填满，保护程序自动管理检查点文件。例如，他们只能保存N个最近的文件，或者每N个小时的培训只能保存一个检查点。通过将一个值传递给可选的global_step参数以保存()，可以对检查点文件名进行编号:
Flink 中的每个函数和操作符都可以是有状态的（请参阅使用状态了解详细信息）。有状态函数在处理单个元素/事件时存储数据。
这里只准备讨论基于 LOGICAL_CLOCK 的并发方式，而不会讨论老的基于 DATABASE 的方式，下面是我设置的参数：
第一部分讨论如何大规模执行checkpoint。 最后一部分解释了一些关于规划要使用多少资源的最佳实践。
在反向传播期间通过对每个检查分割运行一个前向传递分割来实现。这可能导致RNG状态等持久状态比没有检查点时更高级。默认情况下，检查点包含切换RNG状态的逻辑，这样使用RNG(例如通过dropout)的检查点通过与非检查点通过相比具有确定性的输出。根据检查点操作的运行时间，存储和恢复RNG状态的逻辑可能会导致适度的性能下降。如果不需要与非检查点传递相比的确定性输出，则向检查点或checkpoint_sequential提供preserve_rng_state=False，以省略每个检查点期间的RNG状态的存储和恢复。
我们都知道，当用户修改了数据，数据页在内存中修改后并不是每次都刷新到磁盘上。checkpoint之前的数据页保证一定落盘了，这也代表这这部分redolog可以被覆盖了，checkpoint之后的之后的数据有可能落盘，也有可能没有落盘，所以在进行崩溃恢复时，checkpoint之后的日志还是需要被使用的。innodb会依据脏页的刷新情况，定期推进checkpoint，从而减少数据库崩溃恢复的时间。
由于该路线设置在市中心，街道呈网格状交错，因此两个检查站点 (x1,y1) 与 (x2,y2) 之间的距离应该为 |x1−x2|+|y1−y2|。
有几个WAL相关的配置参数会影响数据库性能。本节将解释它们的使用。关于服务器配置参数的设置的一般信息请参考Chapter 19。
如果你玩过电子游戏，你就会明白为什么检查点（chekpoint）是有用的了。举个例子，有时候你会在一个大Boss的城堡前把你的游戏的当前进度保存起来——以防进入城堡里面就Game Over了。 机器学
虽然数据流中的许多操作一次只查看一个单独的事件（例如事件解析器），但有些操作会记住跨多个事件的信息（例如窗口操作符）。 这些操作称为有状态的。
on disk rba 重做日志(current redo log)中最后一条日志的地址
大部分基本上都是用于内部研究、测试等场景，但是为了避免很多麻烦，必要的备份还是必须的。
本系列文章来自云栖社区，对Flink的解析兼具广度和深度，适合对Flink有一定研究的同学学习。
从以开始就一直在尝试对WAL进行不同级别的压缩。自2016年以来内置功能（wal_compression）就一直存在，几乎所有备份工具都会在传递到备机前对WAL进行压缩。但现在是时候再看看内置的wal_compression功能了。因为PG15提供了更多功能。如果我们将其与PG15中WAL归档的其他重大改进相结合，将会有相当大的收益，如之前贴子PG15中的新WAL归档模块/库：
当我对公司的一个内部系统性能无可忍受时，意外发现在这个内存仅为 32G 的服务器上，运行着一个 MongoDB 数据库，其主进程 mongod 占用了 30.705 G的虚拟内存空间。这立刻引起了我的兴趣，必须要研究一下其工作原理。
RDD检查点（Checkpoint）是Spark Core计算过程中的容错机制。通过将RDD的数据与状态持久化，一旦计算过程出错，就可以从之前的状态直接恢复现场，而不必从头重算，大大提高了效率与可靠性。本文从之前已经研究过的RDD类入手，探索一下检查点的具体实现。
这篇文章改编自2017年柏林Flink Forward上Piotr Nowojski的演讲。你可以在Flink Forward Berlin网站上找到幻灯片和演示文稿。
MongoDB Manual (Version 4.2）> Storage > Storage Engines > WiredTiger Storage Engine
预写式日志write ahead log，是数据库保证数据完整性的重要数据结构。数据库管理器将数据库发生的变更记录写入wal日志缓冲区，进而写入wal日志文件中，在数据库崩溃时利用wal日志进行重演恢复，这几乎是所有数据库的统一实现原理。
场景描述：两阶段提交（two-phase commit, 2PC）是最基础的分布式一致性协议，应用广泛。本文来介绍它的相关细节以及它在Flink中的典型应用场景。。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
