# 前言
> **🍊作者简介：** 不肯过江东丶，一个来自二线城市的程序员，致力于用“猥琐”办法解决繁琐问题，让复杂的问题变得通俗易懂。
> **🍊支持作者：** 点赞👍、关注💖、留言💌~

MySQL是一个关系型数据库管理系统，由瑞典 MySQL AB 公司开发，属于 Oracle 旗下产品。MySQL是最流行的关系型数据库管理系统之一，在 WEB 应用方面，MySQL是最好的RDBMS (Relational Database Management System，关系数据库管理系统)应用软件之一。它介于应用和数据之间，将大量数据变成一张张像 Excel 的数据表，同时为应用提供增、删、改、查等核心操作。今天我们就一起来看看 MySQL 是如何实现这些功能的。

# 深入浅出聊 MySQL
## 什么是数据页
MySQL 将数据组织成 Excel 表的样子，Excel 文件在磁盘上是个后缀为 xls 的文件，MySQL 的数据表也类似，在磁盘上则是个后缀名为 ibd 的文件。数据表越大，磁盘上的 ibd 文件也就越大，直接读写一个大文件里的全部数据会很慢。所以 MySQL 将数据拆成一个个数据页，每页大小16kb，这样我们读写部分表数据的时候，就只需要读取磁盘里的几个数据页就好。

![1.png](https://developer.qcloudimg.com/http-save/yehe-4287693/1722826948ee4ec48080846fd82df33f.jpg)

## 什么是索引
当数据页逐渐增多时，查询某条数据的时候怎么知道要读哪个数据页呢？我们可以为每个数据页加入页号，再为每行数据加个序号，这个序号其实就是所谓的主键。按主键大小排序，将每个数据页里最小的主键序号和所在页的页号提出来，放入到一个新生成的数据页中，并且给数据页加入层级的概念，这样我们就可以通过上层的数据页快速缩小查找范围，加速查找数据页的过程。现在页和页之间看起来就像是一棵倒过来的树，这棵可以加速查找数据页的树就是我们常说的 B+ 数索引。

![2.png](https://developer.qcloudimg.com/http-save/yehe-4287693/468a13ad5e9e702ae0f083b63920fed6.jpg)

上面提到的是针对主键的索引，也就是主键索引。按同样的思路，也可以为其他数据表的列去建立索引，比如用户表的名称字段，这样我们就能快速查找到名字为的用户有哪些，这就是所谓的辅助索引。


## 什么是Buffer Pool
即便有了索引，数据也还是在磁盘上，每次都读磁盘太慢了，有办法提升下性能吗？没有什么是加一层中间层不能解决的，我们只需要在磁盘数据和应用之间加一层进程内缓存就好。缓存里装的就是前面提到的 16kb 数据页和索引页，它就是所谓的 Buffer Pool。读数据的时候优先读 Buffer Pool，有数据就返回，没数据才去磁盘里读取，减少了读磁盘的次数，大大提升了性能。但问题就来了，我们知道文件读取默认会先将文件数据加载到操作系统的文件缓存中，同样都是缓存，为什么还要整出一个 Buffer Pool 呢？这是因为进程自己维护的 Buffer Pool 可以定制更多缓存策略，还能实现加锁等各种数据表高级特性。也正是因为已经有了 Buffer Pool，所以也就没必要使用操作系统的文件缓存了。所以 Buffer Pool 通过直接 IO 模式，绕过操作系统的缓存机制，直接从磁盘读写数据。

![3.png](https://developer.qcloudimg.com/http-save/yehe-4287693/e16fc3dd2b293a542586de47468be44f.jpg)

## 什么是自适应哈希索引
就算有了 Buffer Pool，要查到某个数据页也依然要查找 B+ 树，查询复杂度是O(lgN)。如果我们想继续提升查找效率，那么就可以使用查询复杂度为O(1)的哈希表进行优化，记录每个数据页的查询频率。对于热点数据页，我们以查询的值为 Key，数据页地址为 Value 构建哈希表。这个哈希表就是所谓的自适应哈希索引（Adaptive Hash Index）。

## 什么是 Change Buffer
有了自适应哈希索引的加持，读性能提高了，那么写性能也能优化吗？答案当然是肯定的。大部分数据表除了主键索引外，我们还会加一些辅助索引，比如对用户名加个辅助索引，那对于这类数据表的写操作，更新完主键索引的数据页之后，还需要更新辅助索引页，这样读取辅助索引页的磁盘IO必然少不了。我们可以先将要写入的数据收集到一块内存里，等哪天磁盘里的索引页正好被读入 Buffer Pool 的时候，再将写入数据应用到索引页中，通过这个方式减少大量的磁盘IO，提升性能。而这个将写操作收集起来的地方就是所谓的 Change Buffer，他其实是 Buffer Pool 的一部分。
## 什么是 Undo Log
在数据库中有一个叫事物的概念，说白了就是可以让多行数据要么同时更新成功，要么同时更新失败，也就是所谓的原子性。为了实现这一点，我们就需要知道写数据时每行数据原来长啥样，方便对更新后的数据行进行回滚，因此就有了 Undo Log。

更新 Buffer Pool 数据页的时候，会用旧数据生成 Undo Log 记录，存储在 Buffer Pool 中的特殊 Undo Log 内存页中，并随着 Buffer Pool 的刷盘机制不定时写入到磁盘的Undo Log 文件中。

![4.png](https://developer.qcloudimg.com/http-save/yehe-4287693/a73a9c73420a7cc7dc0b953a07492933.jpg)

## 什么是 Redo Log
上面提到的都是 Buffer Pool 相关的内容，它们本质上都是内存。如果内存数据只写了一半到磁盘中，数据库进程就崩了，那一个事物里的多行数据就没能做到同时更新成功，怎么办呢？我们将事物中更新数据行的操作都写入到 Redo Log Buffer 内存中，然后在事物提交的时候进行 Redo Log 刷盘，将数据固化到 Redo Log 文件中。一旦数据库进程发生崩溃，服务重启后就能通过 Redo Log 文件找到历史操作记录重做数据保证了原子性。

![5.png](https://developer.qcloudimg.com/http-save/yehe-4287693/886f5d2a003c54bffd81a3e293571435.jpg)

这时候可能有些小伙伴会产生一个疑问：我有更新 Redo Log 文件的功夫，直接将 Buffer Pool 的数据写入磁盘不好吗？

其实二者不太一样，Redo Log 是用顺序写入的，Buffer Pool 的内存数据是随机分散在磁盘各处的。顺序写磁盘性能是随机写的几十倍，所以很多存储系统写数据时都会搞个日志来记录操作，方便服务重启后进行数据对账，确保数据的一致性和完整性。这类操作就是所谓的 Write Ahead Logging（WAL）。

## 什么是 Innodb
我们将上面提到的内容分为内存和磁盘两部分，一部分是内存里的自适应Hash索引、Buffer Pool、Redo Log Buffer；另一部分是磁盘里的存储行数据和索引的 ibd 文件、Undo Log 文件、Redo Log 等文件。他们共同构成了 Innodb 存储引擎，并对外提供一系列函数接口，比如操作数据行的 write_row() 、update_row() 以及操作数据表的 create()、drop() 等等接口。我们平时写的 SQL 语句最终都会转换成 Innodb 提供的这些接口函数调用。比如 insert 语句会调用 write_row() 接口来插入数据行。

但问题就来了，我们平时读写 MySQL 所用的 SQL 语句是怎么转成存储引擎的函数接口的呢？下面我们再一起来看看 Server 层。

## 什么是 Server 层

Server 层本质上就是 SQL 语句和 Innodb 存储引擎之间的中间层。

在 Server 层内提供一个连接管理模块，用于管理来自应用的网络连接。并提供一个分析器用于判断 SQL 语句有没有语法错误，比如检查 select 关键字是不是少打了一个字母；再提供一个优化器，用于根据一定的规则选择该用什么索引生成执行计划；之后提供一个执行器，根据执行计划去调用 Innodb 存储引擎的接口函数。

![6.png](https://developer.qcloudimg.com/http-save/yehe-4287693/f07ea8f255214bb90627cd406d67fe61.jpg)

Server 层和存储引擎层共同构成了一个完整的数据库，它就是我们常说的 MySQL，并且 Server 层和存储引擎层，是通过接口函数进行解偶的，换句话说就是只要实现了上面这些接口函数，就能作为存储引擎与 Server 层对接。比如 MySQL早期用了MyISAM存储引擎，后来才支持的 Innodb。



# 小结
本人经验有限，有些地方可能讲的没有特别到位，如果您在阅读的时候想到了什么问题，欢迎在评论区留言，我们后续再一一探讨🙇‍

> 希望各位小伙伴动动自己可爱的小手，来一波点赞+关注 (✿◡‿◡) 让更多小伙伴看到这篇文章~  蟹蟹呦(●'◡'●)

如果文章中有错误，欢迎大家留言指正；若您有更好、更独到的理解，欢迎您在留言区留下您的宝贵想法。

> *你在被打击时，记起你的珍贵，抵抗恶意；*
*你在迷茫时，坚信你的珍贵，抛开蜚语；*
**爱你所爱  行你所行  听从你心  无问东西**


🍊作者简介： 不肯过江东丶，一个来自二线城市的程序员，致力于用“猥琐”办法解决繁琐问题，让复杂的问题变得通俗易懂。 🍊支持作者： 点赞👍、关注💖、留言💌~

大聪明教你学Java | 深入浅出聊 MySQL

MySQL是最流行的关系型数据库管理系统之一，在 WEB 应用方面，MySQL是最好的RDBMS (Relational Database Management System，关系数据库管理系统)应用软件之一。它介于应用和数据之间，将大量数据变成一张张像 Excel 的数据表，同时为应用提供增、删、改、查等核心操作。今天我们就一起来看看 MySQL 是如何实现这些功能的。

高级Java开发工程师

后端

编程语言

数据库

MySQL数据库核心机制解析：深入剖析数据页、索引、BufferPool等底层原理，揭秘Innodb存储引擎如何通过B+树索引、自适应哈希索引、ChangeBuffer等关键技术实现高效数据存取，并详细讲解UndoLog和RedoLog如何保障事务的原子性与数据一致性。

数据库管理系统

关系型数据库

数据库管理

MySQL

云数据库采购特惠，高性能、高可靠、高安全，超值优惠等你享！


AI驱动 智领未来

tencentdb-catalog

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

大聪明教你学Java | 深入浅出聊 MySQL-腾讯云开发者社区-腾讯云

大聪明教你学Java | 深入浅出聊 MySQL

大聪明教你学Java | 深入浅出聊 MySQL

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐