MVCC , Multi - Version Concurrency Control , 多版本控制并发
本文是对两大开源关系型数据库MySQL、PostgreSQL做了详细的对比，欢迎大家在评论区发表自己的见解。
当多个事务并发执行时, 即使每个单独的事务都正确执行, 数据库的一致性也可能被破坏.。
这里假设，你已经在 k8s 上部署好了基于 Citus 扩展的分布式 PostgreSQL 集群。
原创文章，转载请务必将下面这段话置于文章开头处（保留超链接）。 本文转发自技术世界，原文链接 http://www.jasongj.com/sql/mvcc/ PostgreSQL针对ACID的实现机制 数据库ACID 数据库事务包含如下四个特性 原子性（Atomicity） 指一个事务要么全部执行，要么不执行。也即一个事务不可能只执行一半就停止（哪怕是因为意外也不行）。比如从取款机取钱，这个事务可以分成两个步骤：1)划卡；2)出钱。不可能划了卡，而钱却没出来。这两步必须同时完成，或者同时不完成。 一
ACID中的C即一致性在PG内部使用MVCC机制来保证。MVCC多版本并发控制为数据加上时间戳，读写需要额外的根据自身时间戳与数据时间戳对比，按照既定的规则可以知道这条数据对当前的SQL是否可见。MVCC避免了传统的锁方法，将锁竞争最小化来获得更高的性能。
pg_resetwal工具是个很有用的工具，我们使用它来修改控制文件的一些信息，可能用的最多的地方是应急清理wal日志并更新lsn信息。但是pg_resetwal这个功能你可能没听说过，可以使用pg_resetwal修改当前事务号来达到查看死元组的信息，这些死元组随着事务号的推进可能会像“幽灵”一样出现，然后消失，通过这种方法可以找回以前的行记录信息。下面具体来看看。
一般实现数据库的并发会采用三种方式，分别是多版本并发控制(MVCC),严格两阶段锁(S2PL),乐观并发控制(OCC).在MVCC中，每个更新操作都会创建新的一个数据版本，并保留旧版本。当事务读取数据对象时候，系统会根据一定的策略选择一个数据版本读取，这样读写都不会互相干扰。基于S2PL的数据库系统在写操作发生时会阻塞相应对象上的读操作，因为写入者获得了操作对象的互斥锁。PostgreSQL采用了基于MVCC的变体，叫做快照隔离级别(SI) 目前Oracle数据使用undo来实现快照隔离级别。当新数据写入
之前写过一篇文章（浅析一个sql server数据库事务死锁问题），简单分析了一个sql server数据库的死锁问题及索引对执行计划的影响；这里继续分享一个postgresql的死锁问题。
Uber 的早期架构包含了一个用 Python 开发的单体后端应用程序，这个应用程序使用 Postgres 作为数据存储。从那个时候开始，Uber 的架构已经发生了巨大变化，变成了微服务，并采用新的数据平台模型。具体地说，之前使用 Postgres 的地方，现在改用 Schemaless，一种构建在 MySQL 之上的新型数据库分片层。在本文中，我们将探讨 Postgres 的一些缺点，并解释为什么我们要在 MySQL 之上构建 Schemaless 和其他后端服务。
PostgreSQL提供了功能来支持数据库服务器的动态追踪。这样就允许在代码中的特 定点上调用外部工具来追踪执行过程。
现在MySQL 8和PostgreSQL 10已经发布，现在是重新审视两个主要的开源关系数据库如何相互竞争的好时机。
OID 是 PostgreSQL 内部用于标识数据库对象(数据库，表**，视图，**存储过程等等)的标识符，用4个字节的无符号整数表示。它是PostgreSQL大部分系统表的主键。
GlobalTransactionManager（简称 GTM）， 是全局事务管理器，负责全局事务管理。GTM 上不存储业务数据。
PostgreSQL数据库中的WAL的主要用途是用于故障恢复，针对数据库的数据insert/delete/update操作都会形成一些列的WAL日志记录，多个WAL日志组成WAL的日志序列，这些日志记录记录了哪些page做了什么修改。如果此时数据库发生故障(主机),哪些未被提交的事务或者需要回滚的事务可以从WAL中进行恢复。 PostgreSQL针对数据的更改先会写入到内存，但是事务提交后一定是要把数据更改信息写入到WAL日志。比如做update一条记录，现在内存中构建update tuple,然后插入到
📷 官方手册：https://docs.citusdata.com 📷 脑图大纲 入门 什么是Citus？ Citus 可以扩展多远？ 何时使用 Citus 多租户数据库 实时分析 使用注意事项 何时 Citus 不合适 快速教程 多租户应用程序 数据模型和示例数据 创建表 分发表和加载数据 运行查询 实时分析 数据模型和样本数据 创建表 分发表和加载数据 运行查询 安装 单节点 Citus Docker (Mac 或 Linux) Ubuntu 或 Debian Fedora, CentOS, 或 Re
预设场景 假设系统中有两张大表在不停的写入数据，现在的需求是把两张大表做一个逻辑备份，要求两张表的数据必须一致。
MySQL为多线程架构后台有多个线程处理内部操作例如:刷脏、Undo purge、checkpoint等，整体上MySQL分为两层Server/存储引擎。存储引擎层可支持多种，Server层负责接收请求对于每个请求创建新的线程，同时SQL解析、查询优化、复制都是在Server处理。
Python 目前已经进化到了3.8版本，对操作数据库也提供了相应的异步支持。当我们做一个Web服务时，性能的瓶颈绝大部分都在数据库上，如果一个请求从数据库中读数据的时候能够自动切换、去处理其它请求的话，是不是就能提高并发量了呢。
PostgreSQL Basic PG中的MVCC(多版本并发)设计目的是读不阻塞写。PG中的所有的insert和update操作都是创建新的一行数据；update和delete都不是立即删除旧版本无用的数据。tuple是否可见是由snapshot决定。 PG中追踪每个表的Block可见性是通过表的vm文件。Table或者Index的可用空间管理是通过表或者索引的fsm文件管理，它是一个2级的binary tree，最底层存储了每个page可用空间，最上层聚合最低层的信息。 📷 📷 📷 PG目前支持多种
从PG1开始，ALTER TABLE DETACH 支持 CONCURRENTLY，避免因ALTER TABLE DETACH忘记设置statement_timeout参数而长时间锁表。
不同的架构决定了产品不一样的特性，看完了PostgreSQL核心进程会发现并没有喜闻乐见的UNDO模块，既然没有UNDO，那么我在事务修改了一条数据， 发现数据改错了，突然不想改了数据还能回退吗？
逻辑复制是基于逻辑解析，其核心原理是逻辑主库将Publication中表的WAL日志解析成一定格式并发送给逻辑备库，逻辑备库Subscription接收到解析后的WAL日志后进行重做，从而实现表数据同步。
在获得一些新的问题中，关于子事务的问题是我第一个想在 review的，关于子事务，首先在PG中一直被强调的子事务性能不是很好的口碑下，到底为什么还会有使用的子事务的情况，这是因为有着方面的需求。
该备份工具自动执行 pg_start_backup()和 pg_stop_backup()函数，而且备份速度和数据都比手动的备份快。
Django 迁移官方文档：https://docs.djangoproject.com/en/2.2/topics/migrations/。
http://amitkapila16.blogspot.com/2021/07/logical-replication-of-in-progress.html
作者 | 李亮，云和恩墨西区交付工程师，长期服务于运营商、社保、银行、医院、公积金等行业，擅长数据库备份恢复，升级迁移，性能优化，sql优化。
因为在事务中，有些行为是需要看到最新数据的，比如一个RR事务拿到一个快照后执行了一段时间，这时运行了一条CALL Func或触发器语句，开始进入函数的执行逻辑。
博客 PostgreSQL的Page分析记录 有过对page的 大体介绍，可以参看之前的blog，下面主要通过插件 pageinspect 向大家进行介绍。 在此之前需要了解的名词： page，物理文件的单位，默认大小为8K。 tuple，PG中物理行。 xid，事务号，执行操作时的顺序id。 pageinspect里边有三个函数是本文用到的，他们分别是： a.get_raw
在本教程中，我们将使用示例广告分析数据集来演示如何使用 Citus 来支持您的多租户应用程序。
和任何数据库软件一样，PostgreSQL需要定期执行特定的任务来达到最优的性能。这里讨论的任务是必需的，但它们本质上是重复性的并且可以很容易使用cron脚本或Windows的任务计划程序等标准工具来自动进行。建立合适的脚本并检查它们是否成功运行是数据库管理员的职责。
工作中可能会存在业务比较复杂，重复性工作比较多，需要批量处理数据的情况，此时使用存储过程会方便很多，存储过程的执行效率也会快很多，能帮助我们节省很多代码和时间。
如果阅读过手册一定听过postgresql cluster的概念，第一次听到这个概念可能都会有一些困惑。cluster在安装数据库时，由initdb工具生成，initdb后产生的pgdata文件夹可以理解为cluster的物理存储结构。数据库启动、停止时pg_ctl -D参数指定的文件夹即cluster文件夹，所以一个PG Server可以运行在一个PG Cluster上。
PostgreSQL天然集群，多个集群可以组成集簇，有点类似军队的连、团、旅这样的组织规则。对于我们日常学习使用的单节点则是单个集簇单个集群，自己就是集群。
Postgres-XL 是一款Postgres-XC升级的产品， 如果说PGXC是在PG添加了集群的功能主打OLTP的功能为卖点， PGXL 是一款基于PGXC添加了OLAP功能的支持MPP架构的， 但不是简单的POSTGRESQL 单机的功能的堆叠，本身基于的是PG早期的9.5 ，目前最新的版本是Postgres-XL 10R1.1 的版本。
网上已经有很多拿PostgreSQL与MySQL比较的文章了，这篇文章只是对一些重要的信息进行下梳理。在开始分析前，先来看下这两张图：
《Postgresql 内幕探索》读书笔记 - 第一章：集簇、表空间、元组 引言 个人建议本章节自己搭建一个Postgresql数据库边实战边阅读更容易理解。 思维导图 图片比较大，这里贴出xmind
pageinspect分析工具 编译安装postgres extension // 安装 postgres extension [root@centos-linux ~]$ mkdir /usr/local/pgsql && chown -R perrynzhou:perrynzhou /usr/local/pgsql && chmod -R 755 /usr/local/pgsql [perrynzhou@centos-linux ~]$cd /home/perrynzhou/postgresql-1
TBase作为支持分布式事务的数据库，数据是分散存储在不同节点上，分布式事务特性可以保证跨节点的数据修改的一致性，相比传统其他分布式系统，无需应用层来实现事务，减少应用层开发的复杂度。我们在已经搭建好的集群中去体验TBase的分布式事务。
分布式数据库有两大流派，NEW SQL VS POSTGRESQL -XC ，NEW SQL 的分布式主流的理论来源自 GOOGLE 的分布式数据库spanner，以及相关理论的白皮书，而令一派的分布式数据库来自于POSTGRESQL -XC， 今天我们看看到底POSTGRESQL-XC 这个流派的方式是什么，有什么特点，当下那些分布式数据库采用了POSTGRESQL -XC。
关系数据库管理系统是许多网站和应用程序的关键组件。它们提供了一种存储，组织和访问信息的结构化方法。
在Postgres中更新大型表并不像看起来那样简单。如果您的表包含数亿行，您将发现很难及时进行简单的操作，例如添加列或更改列类型。
Notify和Listen是Postgresql提供的不同会话间异步消息通信功能，例子：
– 把before for each row的触发器删掉, 再测试插入 : postgres=# drop trigger tg02 on t_ret; DROP TRIGGER postgres=# drop trigger tg2 on t_ret; DROP TRIGGER postgres=# insert into t_ret values(1,’digoal’,now()); NOTICE: 00000: tg01 LOCATION: exec_stmt_raise, pl_exec.c:2840 NOTICE: 00000: tg1 LOCATION: exec_stmt_raise, pl_exec.c:2840 NOTICE: 00000: tg03, after for each row 的触发器函数返回空, 不影响后续的触发器是否被调用. 因为只要表上面发生了真正的行操作, after for each row就会被触发, 除非when条件不满足. (这个后面会讲到) LOCATION: exec_stmt_raise, pl_exec.c:2840 NOTICE: 00000: tg3 LOCATION: exec_stmt_raise, pl_exec.c:2840 NOTICE: 00000: tg04 LOCATION: exec_stmt_raise, pl_exec.c:2840 NOTICE: 00000: tg4 LOCATION: exec_stmt_raise, pl_exec.c:2840 INSERT 0 1 – 有数据插入. 这也说明了before for each statement的返回值为空并不会影响数据库对行的操作. 只有before for each row的返回值会影响数据库对行的操作. postgres=# select * from t_ret ; id | info | crt_time —-+——–+—————————- 1 | digoal | 2013-03-10 16:50:39.551481 (1 row)
连续归档可以配合随时准备取代失效主服务器的一个或多个备份服务器， 用于创建一个高可用性(HA)集群。这个能力通常被称为温备份或日志传送
mybatis官网中文文档：https://mybatis.org/mybatis-3/zh/sqlmap-xml.html
将数据从一个服务器复制到另一个服务器的过程就是PG复制。源数据库服务器通常称为Master，而接收复制数据的数据库服务器称为Replica服务器。
Fujitsu OSS团队和PostgreSQL开源社区合作在PG14中添加了在逻辑复制中对两阶段提交进行解密的功能。下面看看这项功能是什么？
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
