排序可能是在内存中完成，也可能需要外部排序，这取决于排序所需要的内存和 sort_buffer_size 参数值。...sort_buffer_size 是为排序而开辟的内存，如果排序的数据量小于其值，排序就在内存中完成，否则会利用磁盘临时文件来辅助排序。...上面的查询中只返回3个字段，不会太长，可以一起都放在 sort_buffer 中，但如果排序的单行长度太大，MySQL会怎么做？...假设 name、city、age 3个字段定义的总长度为36，而 max_length_for_sort_data = 16，就是单行的长度超了，MySQL认为单行太大，需要换一个算法。...内容整理自丁奇的《MySQL实战45讲》
视图 MySQL有两个“视图”概念： view 一个用查询语句定义的虚拟表，在调用时，执行查询语句并生成结果。...“快照”在MVCC里是怎么工作的？ 在可重复读下，事务启动时就“拍了个快照”。 该快照是基于整库的。 若一个库有100G，则启动一个事务，MySQL就要拷贝100G的数据出来，这得多慢啊。...更新逻辑 事务B的update语句，若按一致性读，好像结果不对呢？ 你看下图，事务B的视图数组是先生成的，之后事务C才提交，不是应该看不见(1,2)吗，怎么能算出(1,3)？...t where id=1 for update; 假设事务C不是马上提交的，而是变成了下面的事务C’，会怎么样呢？...那事务B的更新语句会怎么处理呢？ “两阶段锁协议”。事务C’没提交，即(1,2)这个版本上的写锁还没释放。
MySQL Select语句是怎么执行的？...今天分享的内容是select和update的执行流程。 select的执行过程 话不多说，来个神图镇楼(自己画的)。...每个模块的作用如下： 连接器： 连接器的任务是跟客户端建立连接，查询权限，维持和管理连接等等。...、库名等； 语法分析是指需要分析你写的SQL是否满足MySQL的语法。...A1：有些时候，SQL语句要操作的表不只是SQL字面上那些。比如如果有个触发器，得在执行器阶段（过程中）才能确定。优化器阶段前是无能为力的 Q2：MySQL权限到底在哪里验证？
MySQL Update语句是怎么执行的？...[isd2tnp037.png] 昨天，我们利用这张图，了解了一个select语句的执行过程，讲解了连接器、查询缓存、分析器、优化器、执行器等模块的作用，今天我们来看一条update语句是怎么执行的...redo log并没有落在磁盘上，落磁盘的动作是由MySQL在空闲时候处理的，这样能够最大程度上保证MySQL的性能。...，之前提交的记录都不会丢失，这个能力称为crash-safe 接下来我们来看binlog，binlog记录的是MySQL数据库对于数据记录的增删改操作，这里，强调一下redo log和binlog的三点不同之处...在这个过程中，MySQL server端的执行器和innodb存储引擎频繁进行交互，画成流程图就是： [owf6lim4ed.png] 其中，涂蓝色的是在Server层面执行的，白色框代表在Innodb
如果不排队等待，又怎么保证读事务的数据是最新状态（一致性）？各隔离级别如何处理并发事务？到这里应该就看明白了。...结合事务隔离级别，看一下MySQL是怎么处理的：不处理第一个情形不就是“读未提交”的“脏读”，一致性保证不了一点。使用锁第二个情形就是“串行化”，完全通过锁来处理并发事务。...对于MySQL这样的数据库，性能的高低会直接影响用户的去留，所以，仅仅是“串行化”的并发处理是远远不够的。...MVCC的并发处理数据的多版本在《MySQL是如何保证数据不丢失的》，每个DML操作在更新数据页之前，InnoDB会先将数据当前的状态记录在「Undo Log」中。...案例说明接下来，通过一张图具体看一下Read View怎么判断的。图中有4个并发事务，并且在同一时刻开启了事务。
这和我之前的理解是完全一样的，那么究竟是怎么回事呢？难道 MySQL 的 RR 真的会出现幻读现象？...二、编译 MySQL 源码 编译 MySQL 的源码非常简单，但是中间也有几个坑，如果能绕过这几个坑，在本地调试 MySQL 是一件很容易的事（当然能调试源码是一回事，能看懂源码又是另一回事了）。...我的环境是 Windows 10 x64，系统上安装了 Visual Studio 2012，如果你的开发环境和我不一样，编译步骤可能也会不同。...将源码解压缩到 D:\mysql-5.6.40 目录，在编译之前，还需要再安装几个必要软件： CMake：CMake 本身并不是编译工具，它是通过编写一种平台无关的 CMakeList.txt 文件来定制编译流程的...编译 MySQL 时会卡死； Visual Studio：没什么好说的，Windows 环境下估计没有比它更好的开发工具了吧。
其实就是我们前端的编译过程，是通过javac（编译器）把java文件变成.class字节码文件。...结论：是将源代码的字符流转变为标记（Token）集合的过程，单个字符是程序编写时的最小元素，但标记才是编译时的最小元素。...真正完成解析的是 JavaTokenizer.java的readToken()；方法 2语法分析器 根据Token集合生成抽象语法树，抽象语法树（Abstract Syntax Tree，AST）是一...3语义分析 经过语法分析之后，编译器获得了程序代码的抽象语法树表示，抽象语法树能够表示一个结构正确的源程序，但无法保证源程序的语义是符合逻辑的; 结论：而语义分析的主要任务则是对结构上正确的源程序进行上下文相关性质的检查...4字节码生成 字节码生成是Javac编译过程的最后一个阶段，在Javac源码里面由com.sun.tools.javac.jvm.Gen类来 完成。
正常情况下，只要主库执行更新生成的所有 binlog，都可以传到备库并被正确地执行，备库就能达到跟主库一致的状态，这就是最终一致性。 MySQL 主备切换流程 – 双 M 结构： ?...主备延迟 主备切换可能是一个主动运维动作，比如软件升级、主库所在机器按计划下线等，也可能是被动操作，比如主库所在机器掉电。...切换流程一般由专门的HA系统来完成。 切换流程： ? 可以看到，这个切换流程中是有不可用时间的。...可用性存在产生数据不一致的情况： 假如有表： mysql> CREATE TABLE `t` ( `id` int(11) unsigned NOT NULL AUTO_INCREMENT,...问题：发生主从切换的时候，主有的最新数据没同步到从，会出现这种情况吗，出现了会怎么样？
注意，存储引擎在 mysql 是可选的，常见的还有： InnoDB、MyISAM 以及 Memory 等，最常用的就是 InnoDB。...由于存储引擎是可选的，所以 mysql 中，所有的存储引擎其实是共用一个 server 层的。回到正题，我们就以这张图的流程来解决一下小胖的问题。...MySQL 是个聪明的仔，再执行之前会自己优化下客户端传过来的语句，看看那种执行起来不那么占内存、快一点。...两种方案的执行结果是一样的，但是效率不一样、占用的资源也就不一样。优化器就是在选择执行的方案。它优化的是索引应该用哪个？多表联查应该先查哪个表？怎么连接等等。...1.5 执行器 分析器知道了做啥、优化器知道了应该怎么做。接下来就交给执行器去执行了。 开始执行，判断是否有相应的权限。
专栏持续更新中：MySQL详解 前言 mysql中的乐观锁是怎么实现的？很多新手对此不是很清楚，为了帮助大家解决这个难题，下面将为大家详细讲解，有这方面需求的人可以来学习下，希望你能有所收获。...此时，将提交数据的版本数据与数据库表对应记录的当前版本信息进行比对，如果提交的数据版本号大于数据库表当前版本号，则予以更新，否则认为是过期数据。...缺点： 需要注意的是，乐观锁机制往往基于系统中的数据存储逻辑，因此也具备一定的局限性，如在上例中，由于乐观锁机制是在我们的系统中实现，来自外部系统的用户余额更新操作不受我们系统的控制，因此可能会造成脏数据被更新到数据库中...即为数据增加一个版本标识，一般是通过为数据库表增加一个数字类型的 “version” 字段来实现。当读取数据时，将version字段的值一同读出，数据每更新一次，对此version值加一。...当我们提交更新的时候，判断数据库表对应记录 的当前版本信息与第一次取出来的version值进行比对，如果数据库表当前版本号与第一次取出来的version值相等，则予以更新，否则认为是过期数 据。
昨天讲到了索引的基础知识，没看的小伙伴记得看： 《爱上面试官》系列-数据库索引 MySQL 的索引长什么样子？索引到底是怎么加速查询的？...如果有时间，也建议你到这个网站去，从 1 到 5，一个一个插入，你会看到 B+树在插入的过程中是怎么维护它的几个特性的： 有序：左边节点比右边小 自平衡：左右两边数量趋于相等 节点分裂：节点在遇到元素数量超过节点容量时...不是的，主键虽然是递增的，但是如果你写入磁盘时，没有去维护有序数组这样一个数据结构（比如你删掉了 4，怎么把 5 往前面挪），那数据在磁盘里依旧是无序的，查找时只能随机查找，而如果你维护了有序数组这样的数据结构...B+树 查询，快速查到有两条姓名是“David”的记录，并且拿到它们的主键，分别是 4 和 5，但是你要的是select *呀，怎么办？...别人都只会用公式，他却时刻牢记这些公式是怎么来的，别人考试就只会套用公式，他却可以用这些公式以外的知识解决问题。
---- MySQL 的 commit 命令提交事务时，内部会进行两阶段（Prepare 和 Commit）提交，这篇文章基于 MySQL 8.0.33 对 MySQL 的两阶段提交进行源码分析，带你了解提交事务过程中都经历了什么...以下是整体逻辑： 一、Prepare 阶段 1. Binlog Prepare 获取上一个事务最大的 sequence number 时间戳。 2....Prepare 阶段相对简单，以下是 commit 命令入口及 Prepare 阶段的堆栈和相关作用： |mysql_execute_command |--trans_commit |----ha_commit_trans...- 如果没开启 binlog，@@GLOBAL.GTID_PURGED 的值是从 executed_gtid 获取的， 此时 @@GLOBAL.GTID_PURGED 的值和 @@...m_stage_cond_binlog信号变量唤醒 leader 负责提交整组事务，提交完成后，发送m_stage_cond_binlog 信号变量唤醒挂起的 follower 队列转化的主要逻辑是线程先入下个阶段的队列
以下文章来源于柳树的絮叨叨 ，作者靠发型吃饭的柳树 对于 MySQL，要记住、或者要放在你随时可以找到的地方的两张图，一张是 MySQL 架构图，另一张则是 InnoDB 架构图： ? ?...我一直觉得 MySQL 的设计，是教科书式的，高内聚松耦合，边界明确，职责清晰。学习 MySQL，学的不只是如何更好的使用 MySQL，更是学习如何更好的进行系统设计。...，他们之间又是怎么配合的？...上面是 MySQL 官网对 Change Buffer 的定义，仔细看的话，你会发现里面提到：Change Buffer 只在操作「二级索引」（secondary index）时才使用，原因是「聚簇索引...怎么理解呢？ 前面提到过，MySQL 以「页」为读取和写入单位，一个「页」里面有多行数据，写入数据时，MySQL 会先写内存中的页，然后再刷新到磁盘中的页。
尽管比较次数仍为N*M，但由于JOIN BUFFER是基于内存的，因此效率大大提高。 尽管MySQL已经尽力优化这些算法，但这几种算法的复杂度仍然相对较高。...当无法使用JOIN进行关联查询时，可以考虑使用子查询、临时表或者联合查询等方式来实现相同的查询需求。 如果不能通过数据库做关联查询，那么需要查询多表的数据的时候要怎么做呢？...MySQL的Hash Join是什么？ 在MySQL 8.0中新增的 Hash Join 算法是一种用于多表连接的算法。...在此之前，MySQL通常使用嵌套循环（Nested-Loop Join）的方法来执行关联查询，然而嵌套循环算法在性能方面并不理想。...需要注意的是，上述提到的哈希表是存在于内存中的。然而，内存是有限的（受到 join_buffer_size 的限制）。那么，如果内存无法容纳驱动表的数据怎么处理呢？
一般人都会Google博客，尝试解决问题，最后虽然是解决了问题，但可能也没搞懂背后原理。 所以才需要精通MySQL底层原理，探索在解决MySQL各种问题时，如何凭借原理去快速分析、排查和解决问题。...mysql-connector-java就是Java语言使用的MySQL驱动。...肯定不止的，用Java开发的Web系统部署在Tomcat，Tomcat本身就有多个线程并发处理接收到的大量请求： 若Tomcat中的多个线程并发处理多个请求时，都去抢夺一个连接访问MySQL，那效率肯定很低...数据库连接池的机制解决了： 多个线程并发使用多个数据库连接执行SQL 避免了数据库连接使用完之后就销毁 MySQL本身的连接池干嘛的？...很多系统要与MySQL建立大量连接，那MySQL必然也得维护与系统之间的各个连接，所以MySQL架构体系中的第一个环节，就是连接池。 MySQL本身的连接池就维护了与系统之间的多个数据库连接：
一个事务的 binlog 是不能被拆开的，因此不论这个事务多大，也要确保一次性写入。这就涉及到了 binlog cache 的保存问题。...图中的 write，指的就是指把日志写入到文件系统的 page cache，并没有把数据持久化到磁盘，所以速度比较快。 图中的 fsync，才是将数据持久化到磁盘的操作。...write 和 fsync 的时机，是由参数 sync_binlog 控制的： sync_binlog=0 的时候，表示每次提交事务都只 write，不 fsync； sync_binlog=1 的时候...在实际的业务场景中，考虑到丢失日志量的可控性，一般不建议将这个参数设成 0，比较常见的是将其设置为 100~1000 中的某个数值。...但是，将 sync_binlog 设置为 N，对应的风险是：如果主机发生异常重启，会丢失最近 N 个事务的 binlog 日志。
三、MySQL 是如何解决幻读的 如果你看到了这篇文章，那么我会默认你了解了脏读 、不可重复读与可重复读。 1....一个是行的创建版本，一个是行的删除（过期）版本。具体的版本号（trx_id）存在 information_schema.INNODB_TRX 表中。版本号（trx_id）随着每次事务的开启自增。...，保证此范围内读取的数据是一致的。...其他：MySQL InnoDB 引擎 RR 隔离级别是否解决了幻读 引用一个 github 上面的评论 地址： Mysql官方给出的幻读解释是：只要在一个事务中，第二次select多出了row就算幻读。...所以我认为mysql的rr级别是解决了幻读的。 先说结论，MySQL 存储引擎 InnoDB 隔离级别 RR 解决了幻读问题。面试问烂的 MySQL 四种隔离级别，这篇文章建议大家看下。
在进行MySQL的优化之前，必须要了解的就是MySQL的查询过程，很多查询优化工作实际上就是遵循一些原则，让MySQL的优化器能够按照预想的合理方式运行而已。 ?...所以优化工作，是由业务需要驱使的！...1、数据库层面 检查问题常用工具： 1）MySQL 2）msyqladmin：MySQL客户端，可进行管理操作 3）mysqlshow：功能强大的查看shell命令 4）show [SESSION |...“一次传输”意思是“一次I/O请求”。多个逻辑请求可能会被合并为“一次I/O请求”。 2）iops ：硬件出厂的时候，厂家定义的一个每秒最大的IO次数 3）"一次传输"请求的大小是未知的。...值得注意的是，Redo log是覆写模式的，即使使用了文件系统的cache，也不会占用太多。
在进行MySQL的优化之前，必须要了解的就是MySQL的查询过程，很多查询优化工作实际上就是遵循一些原则，让MySQL的优化器能够按照预想的合理方式运行而已。...图-MySQL查询过程 一、优化的哲学 注：优化有风险，涉足需谨慎 1、优化可能带来的问题 1、优化不总是对一个单纯的环境进行，还很可能是一个复杂的已投产的系统； 2、优化手段本来就有很大的风险，只不过你没能力意识到和预见到...所以优化工作，是由业务需要驱使的！...“一次传输”意思是“一次I/O请求”。多个逻辑请求可能会被合并为“一次I/O请求”。 2）iops ：硬件出厂的时候，厂家定义的一个每秒最大的IO次数 3）"一次传输"请求的大小是未知的。...值得注意的是，Redo log是覆写模式的，即使使用了文件系统的cache，也不会占用太多。
结论 首先说结论，在RR的隔离级别下，Innodb使用MVCC和next-key locks解决幻读，MVCC解决的是普通读（快照读）的幻读，next-key locks解决的是当前读情况下的幻读。...幻读和不可重复读的区别是，前者是一个范围，后者是本身 3. 怎么解决的？ 3.1. 当前读 所谓当前读，指的是加锁的select(S或者X), update, delete等语句。...普通读 因为普通读是不会加锁的读，故不会有next-key locks的使用，解决幻读的手段是MVCC MVCC会给每行元组加一些辅助字段，记录创建版本号和删除版本号。...这样可以保证在读取之前记录是存在的 INSERT 将当前事务的版本号保存至行的创建版本号 UPDATE 新插入一行，并以当前事务的版本号作为新行的创建版本号，同时将原记录行的删除版本号设置为当前事务版本号...这里是把name更新为taotao，原来的元组deleteversion版本号为这个事务的id，并且新增一条 如果我删除的话，假设事务是id=3 ?
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
