操作系统：CentOS 7.7 MySQL版本：5.7.30，搭建主从 开启binlog，binlog_format=row 备份情况：每天00:00对数据库进行全量备份 恢复原因：某日22:00左右，执行了批量update语句，需要回滚
数据库的锁是为了解决事务的隔离性问题，为了让事务之间相互不影响，每个事务进行操作的时候都会对数据加上一把特有的锁，防止其他事务同时操作数据。如果你想一个人静一静，不被别人打扰，那么请在你的房门上加上一把锁。
查找是数据库操作中一个非常重要的技术。查询一般就是使用filter、exclude以及get三个方法来实现。我们可以在调用这些方法的时候传递不同的参数来实现查询需求。在ORM层面，这些查询条件都是使用field+__+condition的方式来使用的。以下将那些常用的查询条件来一一解释。
我们的表经常使用的MyISAM、InnoDB存储引擎都是将数据和索引都存储到磁盘上的，当查询表中的记录时，需要先把数据或者索引加载到内存中，然后再进行操作。这个从磁盘到内存的加载过程损耗的时间称为I/O成本。
日志是开发者用来分析程序和排查问题的重要工具。随着系统架构从早期的单体应用，演变到如今的微服务架构，日志的重要性也逐步提升。除了用日志辅助问题排查，还可以通过日志对微服务请求的全链路进行性能分析，甚至可以它用来解决分布式系统中的一致性问题。与此同时，系统产生的日志量和日志管理难度也显著增加。于是，日志管理工具随之诞生并迭代升级。从最开始登录到跳板机上查看日志，到自建分布式日志中心来统一管理日志流，到云平台厂商提供专门的日志管理服务。开发者只需要在应用中接入SDK将日志回流到日志平台，就可以使用日志平台提供智能检索、数据分析以及链路分析等能力，平台中易用的图形化界面和成熟的数据管理能力极大的提升了开发效率。
官网的解释大概意思就是：next-key 锁是索引记录上的记录锁和索引记录之前的间隙上的间隙锁的组合。
在上一篇文章《MySQL next-key lock 加锁范围是什么？》中已经介绍了主键索引的加锁范围，现在来回顾一下：
前面我们说了join查询原理，最基本的是嵌套查询，这种不推荐，如果数据量庞大，因为内存是有限的，不能放下所有的数据，可能查询到后面的时候，前面的数据就从内存从释放，为了减少磁盘的查询次数，有了join buffer这个缓存区，专门放被驱动表的数据，用来匹配查询出来的驱动表数据是否符合，当然还是建议用索引来查询。
前面其实写了好几篇关于 mysql 索引的文章了，文章中有具体的实例和 sql 语句，这篇文章我想再用纯大白话讲讲 mysql 索引，文中不涉及具体 sql 。
在业务离线数据分析场景下，往往需要将Mysql中的数据先导出到分布式存储中，如Hive、Iceburg。这个功能实现的方式有很多，但每种方式都会遇到一些问题（包括阿里开源的DataX）。本文就介绍下这个功能的优化之路，并最终给出一个笔者实现的终极方案。
因为前面小伙伴对 data_locks 应该有了一定的了解，这里就直接分析 data_locks 的数据信息。
了解一个产品，从性能测试下手是最好的方法，这里就是针对金融级MySQL解决方案RadonDB中的核心组件Radon进行一次性能测试。
全局锁就是对整个数据库实例加锁。MySQL提供了一个加全局读锁的方法，命令是 Flush tables with read lock (FTWRL)。
大家如果是做后端开发的，想必都实现过列表查询的接口，当然有的查询条件很简单，一条 SQL 就搞定了，但有的查询条件极其复杂，再加上库表中设计的各种不合理，导致查询接口特别难写，然后加班什么的就不用说了（不知各位有没有这种感受呢~）。
大家如果是做后端开发的，想必都实现过列表查询的接口，当然有的查询条件很简单，一条 SQL 就搞定了。
不知道你有没有这种感觉，那些所谓的数据结构和算法，在日常开发工作中很少用到或者几乎不曾用到，可能只是在每次换工作准备面试的时候才会捡起来学习学习。
B-树,这里的 B 表示 balance( 平衡的意思)，B-树是一种多路自平衡的搜索树。它类似普通的平衡二叉树，不同的一点是B-树允许每个节点有更多的子节点。
这段时间在维护产品的搜索功能，每次在管理台看到 elasticsearch 这么高效的查询效率我都很好奇他是如何做到的。
MySQL日志是在MySQL server上生成的，不管更改哪个存储引擎，这些日志都是需要有的，包括：
MySQL在业界流行多年，很好地支撑了携程的业务发展。但随着技术多元化及业务的不断发展，MySQL也遇到了新的挑战，主要体现在：业务数据模型呈现多元化，OLTP和OLAP出现融合的趋势；在MySQL数据库上慢查询治理成本高；使用传统的分库分表方案对开发不友好，核心数据库改造成分库分表方案，时间一般以年为单位。
binlog 基本认识 MySQL的二进制日志可以说是MySQL最重要的日志了，它记录了所有的DDL和DML(除了数据查询语句)语句，以事件形式记录，还包含语句所执行的消耗的时间，MySQL的二进制日志是事务安全型的。
（1）在读未提交(Read Uncommitted)，读提交(Read Committed, RC)，可重复读(Repeated Read, RR)这三种事务隔离级别下，普通select使用快照读(snpashot read)，不加锁，并发非常高；
在计算机系统中，锁（Lock）是一种同步机制，用于控制对共享资源的访问。它确保在任何给定时间内只有一个线程能够访问受保护的共享资源，从而避免了由并发访问导致的数据竞争和不一致问题。
有读者在 mysql索引为啥要选择B+树 (上) 上篇文章中留言总结了选择 B+ 树的原因，大体上说对了，今天我们再一起来看看具体的原因。
线上有个定时任务，这个任务需要查询一个表几天范围内的一些数据做一些处理，每隔十分钟执行一次，直至成功。
锁是计算机协调多个进程或纯线程并发访问某一资源的机制. 在mysql中更是用处多多, 今天就一起看下mysql中的行级锁. 它主要包括行锁, 间隙锁, 临键锁三种. 首先我们先了解几个基础概念.
上篇文章回忆了innodDB的独立表空间和系统表空间的结构，因为需要梳理的知识点太多，所以额外用一篇。
索引的作用就是为了加快搜索，计算机要处理的数据非常复杂，为了快速检索多种多样的数据，聪明的程序员们就发明了各种类型的索引。
但事实上，Innodb 引擎实现了行级锁，与只支持表级锁的 MyISAM 相比，这显然能够有效减少锁冲突，这也是 Innodb 最终能够战胜 MyISAM 成为 MySQL 默认存储引擎的一个重要原因。 因此我们在使用中，最为频繁接触到就是行级锁，用好行级锁，减少锁冲突，将有效提升 MySQL 的执行性能，本文我们就来详细介绍一下 Innodb 中的各种行级锁。
使用mysqlbinlog按时间查询二进制日志时，会用到start-datetime和stop-datetime选项。
InnoDB有两种不同的SELECT，即普通SELECT 和 锁定读SELECT. 锁定读SELECT 又有两种，即SELECT ... FOR SHARE 和 SELECT ... FOR UPDATE; 锁定读SELECT 之外的则是 普通SELECT
前面我写了很多Mysql相关的知识点，到这一篇稍微可以串一下了，从SQL执行流程、MVCC到锁，很多时候可能觉得对于间隙锁和Next-Key Lock好像已经理解了，但是好像又觉得理解差那么一点意思，这篇文章从头来梳理一下概念，明确一下这些知识。
我们说对于InnoDB存储引擎来说，表中的数据都存储在所谓的B+树中，我们每多建立一个索引，就相当于多建立一棵B+树。
来源 | http://github.com/jasonGeng88/blog/blob/master/201706/redis-search.md 场景 大家如果是做后端开发的，想必都实现过列表查询的接口，当然有的查询条件很简单，一条 SQL 就搞定了，但有的查询条件极其复杂，再加上库表中设计的各种不合理，导致查询接口特别难写，然后加班什么的就不用说了（不知各位有没有这种感受呢~）。 下面以一个例子开始，这是某购物网站的搜索条件，如果让你实现这样的一个搜索接口，你会如何实现？（当然你说借助搜索引擎，像 E
写在前面：最早接触的MySQL是在三年前，那时候MySQL还是4.x版本，很多功能都不支持，比如，存储过程，视图，触发器，更别说分布式事务等复杂特性了。但从5.0(2005年10月)开始，MySQL渐渐步入企业级数据库的行列了；复制、集群、分区、分布式事务，这些企业级的特性，使得现在的MySQL，完全可以应用于企业级应用环境(很多互联网公司都用其作为数据库服务器，尽管节约成本是一个因素，但是没有强大功能作后盾，则是不可想象的)。虽然，MySQL还有很多不足，比如，复制、分区的支持都十分有限、查询优化仍需要改进，但是MySQL已经是一个足够好的DBMS了，更何况它是opensource的。这段时间没有事，出于好奇，略微的研究了一下MySQL，积累了一些资料，欲总结出来。这些资料打算分为两部分，上部主要讨论MySQL的优化，其中主要参考了《MySQL Manual》和《High Performance MySQL》，如果有时间，以后在下部分析一下MySQL的源码。如果你是MySQL高手，希望你不吝赐教；如果你是新手，希望对你有用。
一般情况下，我们会在一个索引上较多的使用等值查询或者范围查询，此时索引大多可以帮助我们极快的查询出我们需要的数据。
MySQL中的间隙是指索引中两个索引键之间的空间，间隙锁用于防止范围查询期间的幻读，确保查询结果的一致性和并发安全性。
写在最前: 本文主要描述在网站的不同的并发访问量级下，Mysql架构的演变 可扩展性 架构的可扩展性往往和并发是息息相关，没有并发的增长，也就没有必要做高可扩展性的架构，这里对可扩展性进行简单介绍一下，常用的扩展手段有以下两种 Scale-up : 纵向扩展，通过替换为更好的机器和资源来实现伸缩，提升服务能力 Scale-out : 横向扩展, 通过加节点（机器）来实现伸缩，提升服务能力 对于互联网的高并发应用来说，无疑Scale out才是出路，通过纵向的买更高端的机器一直是我们所避讳的问题，也不是长
1、什么是Elasticsearch 1、概念以及特点 1、Elasticsearch和MongoDB/Redis/Memcache一样，是非关系型数据库。是一个接近实时的搜索平台，从索引这个文档到这个文档能够被搜索到只有一个轻微的延迟，企业应用定位：采用Restful API标准的可扩展和高可用的实时数据分析的全文搜索工具。
1、Elasticsearch和MongoDB/Redis/Memcache一样，是非关系型数据库。是一个接近实时的搜索平台，从索引这个文档到这个文档能够被搜索到只有一个轻微的延迟，企业应用定位：采用Restful API标准的可扩展和高可用的实时数据分析的全文搜索工具。
由于原来mysql库里面的数据量从2万增加到40万，并且mysql库缩容导致，每小时其他项目级小伙伴来调xinyun库的这张表导致cpu每次开销都在20%以上，并且该库数据可能还会继续增加，每次拉数据会延长到半小时左右，非常耗能，所以将原有的mysql表同步到es中...，但是发现es翻页到一万条数据后就会出现以下问题。
对于我们这些MySQL的使用者来说，MySQL其实就是一个软件，平时用的最多的就是查询功能。DBA时不时丢过来一些慢查询语句让优化，我们如果连查询是怎么执行的都不清楚还优化个毛线，所以是时候掌握真正的技术了。我们在第一章的时候就曾说过，MySQL Server有一个称为查询优化器的模块，一条查询语句进行语法解析之后就会被交给查询优化器来进行优化，优化的结果就是生成一个所谓的执行计划，这个执行计划表明了应该使用哪些索引进行查询，表之间的连接顺序是啥样的，最后会按照执行计划中的步骤调用存储引擎提供的方法来真正的执行查询，并将查询结果返回给用户。不过查询优化这个主题有点儿大，在学会跑之前还得先学会走，所以本章先来瞅瞅MySQL怎么执行单表查询（就是FROM子句后边只有一个表，最简单的那种查询～）。不过需要强调的一点是，在学习本章前务必看过前边关于记录结构、数据页结构以及索引的部分，如果你不能保证这些东西已经完全掌握，那么本章不适合你。
MySQL 在5.1以后的版本支持了分区表，从物理的角度上来看分区是将一个表分解成多个独立不相交的子表，但从逻辑的角度来看所有的分区共同组成一个独立的表。MySQL目前只支持水平分区（表的不同行分布在不同的子表中）并不支持垂直分区（表的不同列分布在不同的子表）。分区可以更方便的管理数据，比如：可以通过删除分区来快速的删除某部分数据；可以只扫描少量的几个分区来查询符合条件的结果；不同的分区可以使用不同的物理设备，更高效的利用查询物理设备；避免ext3文件系统中inode锁竞争等等。
本文是微信公众号【Java技术江湖】的《重新学习MySQL数据库》其中一篇，本文部分内容来源于网络，为了把本文主题讲得清晰透彻，也整合了很多我认为不错的技术博客内容，引用其中了一些比较好的博客文章，如有侵权，请联系作者。
点号(.)：表示和任意字符串匹配，星号(*)：表示重复“左边的字符串”，（x|y）表示和x或者y匹配
在二级索引idx_key1中，key1列是有序的，查找按key1列排序的第1条记录，MySQL只需要从idx_key1中获取到第一条二级索引记录，然后直接回表取得完整的记录即可，这个很容易理解。
当数据库的隔离级别为Repeatable Read或Serializable时,我们来看这样的两个并发事务（场景一）：
首先，解释一下什么是度假起价引擎。度假每个旅游线路涉及到不同的出发地，不同的出发地下有不同可出发班期，每个班期都有对应的这一天的价格。旅游产品的价格由多个资源组成的，任何一个资源价格发生变化，都会影响到产品的价格。 为了尽快捕捉到价格变化，需要有一个专门的价格系统去监测不同资源的价格变化，这就是起价引擎。
有一道关于「数据库锁」的面试题。我们发现其实很多 DBA （数据库管理员，Database administrator）包括工作好几年的 DBA 都答得不太好。这说明 MySQL 锁的机制其实还是比较复杂，值得深入研究。本文对3条简单的查询语句加锁情况进行分析，以期帮助各位开发者彻底搞清楚加锁细节。欢迎阅读~
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
