但你知道 MySQL 是通过什么技术手段来实现的吗？ ACID 简介 先来简单回顾一下 ACID 的定义： 原子性：事务作为一个整体被执行，包含在其中的对数据库的操作要么全部被执行，要么都不执行。...因此，持久性的关键就在于如何保证数据可以由内存顺利写入磁盘。...MySQL 给出的方案是 WAL（Write Ahead Log）机制。WAL 翻译过来就是先写日志的意思。这个日志就是 redo log。...写 redo log 和写表的区别就在于随机写和顺序写。MySQL 的表数据是随机存储在磁盘中的，而 redo log 是一块固定大小的连续空间。而磁盘顺序写入要比随机写入快几个数量级。...为记录添加删除标志，即 MySQL 内部的逻辑删除，回滚根据主键恢复 隔离性 数据库事务有四种隔离级别，不同的级别可能会出现各种各样的问题（脏读、幻读、不可重复读），关系如下： 隔离级别脏读 不可重复读
作者：无名鼠辈 llc687.top/posts/数据库/mysql的acid 写在前面 本文主要探讨MySQL InnoDB 引擎下ACID的实现原理，对于诸如什么是事务，隔离级别的含义等基础知识不做过多阐述...ACID MySQL 作为一个关系型数据库，以最常见的 InnoDB 引擎来说，是如何保证 ACID 的。 （Atomicity）原子性：事务是最小的执行单位，不允许分割。...那么不同的隔离级别，隔离性是如何实现的，为什么不同事物间能够互不干扰？答案是 锁 和 MVCC。 锁 先来说说锁， MySQL 有多少锁。 粒度 从粒度上来说就是表锁、页锁、行锁。...总结 MySQL 都很熟， ACID 也知道是个啥，但 MySQL 的 ACID 怎么实现的？...参考 MVCC 实现原理 MySQL 中的锁 MySQL 事务中 ACID 实现原理 深入 MySQL 事务
对数据库中数据的改变是持久的，即使数据库发生故障。 接下来就介绍下，MySQL在innoDB引擎下是事务特性的 3隔离性 为什么要先说隔离性呢？...答案是 锁 和 MVCC。 MySQL中的锁从粒度上来说分为表锁、页锁、行锁。 表锁有意向共享锁（IS）、意向排他锁（IX）、自增锁等。...隔离性的MVCC其实就是依靠它来实现的，原子性也是。实现原子性的关键，是当事务回滚时能够撤销所有已经成功执行的sql语句。...如果是，则提交事务；b. 否则，回滚事务。 6一致性 一致性是事务追求的最终目标，前面提到的原子性、持久性和隔离性，其实都是为了保证数据库状态的一致性。...当然，上文都是数据库层面的保障，一致性的实现也需要应用层面进行保障。 也就是你的业务，比如购买操作只扣除用户的余额，不减库存，肯定无法保证状态的一致。
对数据库中数据的改变是持久的，即使数据库发生故障。 接下来就介绍下，MySQL在innoDB引擎下是事务特性的 3隔离性 为什么要先说隔离性呢？...隔离性的MVCC其实就是依靠它来实现的，原子性也是。实现原子性的关键，是当事务回滚时能够撤销所有已经成功执行的sql语句。...如果是，则提交事务；b. 否则，回滚事务。 6一致性 一致性是事务追求的最终目标，前面提到的原子性、持久性和隔离性，其实都是为了保证数据库状态的一致性。...当然，上文都是数据库层面的保障，一致性的实现也需要应用层面进行保障。 也就是你的业务，比如购买操作只扣除用户的余额，不减库存，肯定无法保证状态的一致。...总结 MySQL事务应该大家都知道，但是实现原理可能就不是那么清楚，希望本文能对事务的了解有所帮助。 今天多学一点知识，明天就少说一句求人的话
前言 最近在面试，有被问到，MySQL的InnoDB引擎是如何实现事务的，又或者说是如何实现ACID这几个特性的，当时没有答好，所以自己总结出来，记录一下。...MySQL的InnoDB引擎是靠undo log（回滚日志）来实现的，undo log能够保证在事务回滚时，能够撤销所有已经执行成功的SQL。...第二点层次上的区别： redo log是存储引擎InnoDB实现的（MyISAM就没有redo log），而binlog是在MySQL服务器层面存在的任何其他存储引擎也有binlog。...，而事务间的写和读操作是靠MVCC机制来实现的。...MVCC的主要是靠在每行记录上增加隐藏列和使用undo log来实现的，隐藏列主要包括，改行数据创建的版本号（递增的），删除时间，指向undo log的指针等。 那么MVCC是如何保证读写隔离的呢？
简单理解一下可重复读 可重复读是指：一个事务执行过程中看到的数据，总是跟这个事务在启动时看到的数据是一致的。 我们可以简单理解为：在可重复读隔离级别下，事务在启动的时候就”拍了个快照“。...注意，这个快照是基于整个库的。 这时，你可能就会想，如果一个库有 100G，那么我启动一个事务，MySQL就要拷贝 100G 的数据出来，这个过程得多慢啊。可是，我平时的事务执行起来很快啊。...实际上，我们并不需要拷贝出这 100G 的数据。我们来看下”快照“是怎么实现的。 拍个快照 InnoDB 里面每个事务都有一个唯一的事务 ID，叫作 transaction id。...它在事务开始的时候向 InnoDB 的事务系统申请的，是按申请顺序严格递增的。...InnoDB 就是利用 undo log 和 trx_id 的配合，实现了事务启动瞬间”秒级创建快照“的能力。
并发场景 最近做了一些分布式事务的项目，对事务的隔离性有了更深的认识，后续写文章聊分布式事务。今天就复盘一下单机事务的隔离性是如何实现的？ 「隔离的本质就是控制并发」，如果SQL语句就是串行执行的。...是通过锁和隔离级别对MySQL进行并发控制的」 MySQL中的锁 行级锁 InnoDB存储引擎中有如下两种类型的行级锁 「共享锁」（Shared Lock，简称S锁），在事务需要读取一条记录时，需要先获取改记录的...「这两种隔离级别是通过MVCC（多版本并发控制）来实现的，本质就是MySQL通过undolog存储了多个版本的历史数据，根据规则读取某一历史版本的数据，这样就可以在无锁的情况下实现读写并行，提高数据库性能...」 「那么undolog是如何存储修改前的记录？」...好了，我们知道了版本可见性的获取规则，那么是怎么实现读已提交和可重复读的呢？」
MySQL 的解决方案是：既写磁盘又写内存。...，它还会记录当前是在哪个数据库下的等等。...未完待续 总结一下： redo log： innodb 在实现高性能写数据的同时，利用 redo log，实现了事务 ACID 中的D，持久性 binlog：MySQL 的数据还原、主从复制，都依赖 binlog...来实现 两阶段提交：为了保证 redo log 和 binlog 的一致性 看似一条简单的 update 语句，MySQL 在这背后其实做了很多事情。...MySQL 是一个把单机性能发挥到极致的数据库，这也是为什么出现了那么多分布式数据库，MySQL 依然是很多公司的首选的原因吧。 当然这篇文章也只是个引子，很多细节，还没有展开。
MySQL 为我们提供了分布式事务解决方案，在前面的内容中 聊一聊分布式事务的解决方案 提到过 binlog 的同步，其实是 MySQL XA 规范的一个应用，那么 XA 规范是如何定义的，具体又是如何应用的呢...XA 事务的执行流程 XA 事务是两阶段提交的一种实现方式，根据 2PC 的规范，XA 将一次事务分割成了两个阶段，即 Prepare 和 Commit 阶段。...MySQL 如何实现 XA 规范 MySQL 中 XA 事务有两种情况，内部 XA 和外部 XA，其区别是事务发生在 MySQL 服务器单机上，还是发生在多个外部节点间上。...MySQL 外部 XA 主要应用在数据库代理层，实现对 MySQL 数据库的分布式事务支持，例如开源的数据库中间层，比如淘宝的 TDDL、阿里巴巴 B2B 的 Cobar 等。...总结 本文介绍了 MySQL 一致性相关的几种日志，并分享了 MySQL 的 XA 规范相关内容，以及内外部 XA 事务如何实现。
如何实现 MySQL 的读写分离？ 其实很简单，就是基于主从复制架构，简单来说，就搞一个主库，挂多个从库，然后我们就单单只是写主库，然后主库会自动把数据给同步到从库上去。...MySQL 主从复制原理的是啥？ 主库将变更写入 binlog 日志，然后从库连接到主库之后，从库有一个 IO 线程，将主库的 binlog 日志拷贝到自己本地，写入一个 relay 中继日志中。...这里有一个非常重要的一点，就是从库同步主库数据的过程是串行化的，也就是说主库上并行的操作，在从库上会串行执行。...所以 MySQL 实际上在这一块有两个机制，一个是半同步复制，用来解决主库数据丢失问题；一个是并行复制，用来解决主从同步延时问题。...MySQL 主从同步延时问题（精华） 以前线上确实处理过因为主从同步延时问题而导致的线上的 bug，属于小型的生产事故。 是这个么场景。有个同学是这样写代码逻辑的。
从MongoDB开始到MySQL，黑客瞄准了数据库服务，通过黑客手段获取数据库服务的权限，然后删除数据，在数据库中插入勒索信息，要求支付比特币以赎回数据（可见扩展阅读）。...那么黑客是如何实现这整个过程？...（具体可见雷锋网的报道） 在这个事件中，我们来还原下黑客是怎么实现这个流程的： 大概是这样一个流程，通过探测互联网上符合的目标，然后使用对应的攻击脚本针对探测得到的目标实现自动化的攻击。...视频内容 上面的视频是通过手动的方式演示了如何利用这个问题获取服务器的系统权限，而往往这个过程黑客是通过自动化的手段进行的，下面是的视频演示了如何通过工具自动化的获取攻击目标，利用PoC进行验证是否存在...漏洞的利用与修复一直都是安全对抗中一个主要的工作内容！ 如何获取攻击目标 在上面的内容我们介绍了很多黑客攻击流程和黑客对漏洞的利用，但是似乎唯独漏了黑客是哪里得到这些攻击目标的。
专栏持续更新中：MySQL详解 一、背景 先要从 InnoDB 的索引实现说起，InnoDB 有两大类索引： 聚集索引(clustered index) 普通索引 (secondary index...列是聚集索引； 否则，InnoDB 会创建一个隐藏的 row-id 作为聚集索引； 注意：所以主键查询非常快，直接定位行记录。...二、什么是回表查询？...通俗的讲就是，如果索引的列在 select 所需获得的列中（因为在 mysql 中索引是根据索引列的值进行排序的，所以索引节点中存在该列中的部分值）或者根据一次索引查询就能获得记录就不需要回表，如果 select...这个是可以的，上面所说的分两步查找，第一步根据username查找是肯定不能少的，那我们只要把password和索引username放到一起就可以了。
1.文档编写目的 ---- MySQL数据库自身提供的主从复制功能可以方便的实现数据的多处自动备份，实现数据库的扩展。...多个数据备份不仅可以加强数据的安全性，通过实现读写分离还能进一步提升数据库的负载性能。本文档讲述如何实现MySQL主从复制。...注：本文档实现的MySQL主备模式为Active-Passive而不是Active-Active，如果使用双活的方式，建议企业内部配备MySQL的DBA来维护MySQL。...CDH集群在运行过程中，MySQL的负载并不会太高，推荐的方式是Active-Passive模式，以降低维护成本和维护难度。...设置Mysql binlog记录日志的格式（格式含：Statement、MIXED、ROW），MySQL默认使用的是Statement，推荐使用MIXED。
Fayson的github：https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 在前面Fayson讲过《如何实现CDH...元数据库MySQL的主主互备》，那如何做到MySQL的高可用呢？...本篇文章主要介绍如何使用Keepalived实现MySQL的高可用。...~]# mysql -uroot -p -h192.168.0.188 [xi0vlqlrm.jpeg] MySQL登录成功，连接的是MySQLB服务。...MySQLA服务的MariaDB数据库。
一、前言 在MySQL中进行SQL优化的时候，经常会在一些情况下，对MySQL能否利用索引有一些迷惑。例如: MySQL 在遇到范围查询条件的时候就停止匹配了，那么到底是哪些范围条件？...MySQL 在LIKE进行模糊匹配的时候又是如何利用索引的呢？ MySQL 到底在怎么样的情况下能够利用索引进行排序？...四、Between 和Like 的处理 那么如果查询中存在between 和like，MySQL是如何进行处理的呢？...五、索引的排序 在数据库中，如果无法利用索引完成排序，随着过滤数据的数据量的上升，排序的成本会越来越大，即使是采用了limit，但是数据库是会选择将结果集进行全部排序，再取排序后的limit记录，而且MySQL...，通过这篇文章，想必大家应该了解到MySQL大部分情况下是如何利用索引的。
一.MySQL的一条查询语句是怎么运行的 一条查询语句的执行过程一般是经过连接器、分析器、优化器、执行器等功能模块，最后到达存储引擎。...三.MySQL的数据是如何保证不丢的 从上面的流程图可以看出，MySQL采用了wal机制。 只要redo log和binlog保证持久化到磁盘，就能确保MySQL异常重启后，数据可以恢复。...这两个参数目的是减少binlog的写盘次数。这个方法是基于“额外的故意等待”来实现的，因此可能会增加语句的响应时间，但没有丢失数据的风险。...部分写的问题： 页面的刷新会遇到部分写的问题，也就是说对于只写了其中一个页面，只写了一部分的内容，在数据库崩溃后，传统的数据库会使用redo log进行恢复，恢复的原理是通过redo对数据也进行重新进行物理操作...现负责公司MySQL数据库、分布式数据库运维方面的技术工作；热衷于运维故障处理、备份恢复、升级迁移、性能优化的学习与分享。
由于事务2的修改，那么事务1两次读到的的数据可能是不一样的，因此称为是不可重复读。...当我们将当前会话的隔离级别设置为可重复读的时候，当前会话可以重复读，就是每次读取的结果集都相同，而不管其他事务有没有提交。 我当初做完这个实验的时候，我都蒙蔽了，MySQL是如何支持这两种隔离级别的？...我们接着往下看 MVCC是如何实现的？ 为了判断版本链中哪个版本对当前事务是可见的，MySQL设计出了ReadView的概念。...max_trx_id并不是m_ids中的最大值，事务id是递增分配的。...参考博客 《MySQL 是怎样运行的：从根儿上理解 MySQL》
这篇文章将介绍数据库分片的工作原理、思考如何给你自己的数据库分片，以及其他一些有用的、可以提供帮助的工具，尤其是针对 MySQL 和 Postgres。...关系型数据库中的分片是如何工作的# 要对数据库进行分片，你需要做以下几件事情： 决定分片方案 —— 哪些数据需要被拆分，以及如何拆分？如何组织这些数据？...如果你的分片方案不是随机的（例如基于哈希的方案），你就会了解到为什么查询分析和了解负载分布如何可以是有用的。 想象一下你是亚马逊，你想要对存储客户订单的 MySQL 数据库进行分片。...Notion 的工程团队在 如何实现分片的帖子 中提出了一个用于思考迁移的有用框架： 双写：传入的写入操作会同时应用于旧数据库和新数据库。 回刷：一旦双写开始，将旧数据迁移到新数据库。...如果想了解 Vitess 如何改进普通 MySQL 的技术概述，请查看他们的比较。 据我所知，Vitess 是关系型数据库最成熟、最流行的开源分片层。
数据库“断页”是个很有意思的话题，目前任何数据库应该都绕不过去。...我们知道数据库的块大小一般是8k、16k、32k，而操作系统块大小是4k，那么在数据库刷内存中的数据页到磁盘上的时候，就有可能中途遭遇类似操作系统异常断电而导致数据页部分写的情况，进而造成数据块损坏，数据块损坏对于某些数据库是致命的...既然对于断页问题数据库都可能遇到，那么再来看看主流数据库是如何避免发生断页的。...先看看mysql，innodb的page size一般是16k，innodb的数据行发生变更时，将buffer pool中的page更新，并且将这次变更写入redolog中，buffer pool中发生改变的...这种方式对性能也有一定影响，但是相比mysql的方式我觉得要好一些，mysql相当于任何一个脏页刷盘前都需要写两份，pg只是在数据块第一次发生变更的时候写入xlog中。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
