系统表空间是更改缓冲区的存储区域。如果表是在系统表空间而不是每个表文件或通用表空间中创建的，它也可能包含表和索引数据。(在MySQL5.x版本中还包含InnoDB数据字典、undolog等)
在MySQL 8.0.18上进行的后续工作中，我们引入了对从服务器的回放线程进行权限检查功能，在本文中，我们将介绍一项新功能，可以进一步提高安全复制数据的能力，用户可以将复制流限制为仅基于行的事件。
sort buffer、内存临时表和 join buffer。这三个数据结构都是用来存放语句执行过程中的中间数据，以辅助 SQL 语句的执行的。其中，我们在排序的时候用到了 sort buffer，在使用 join 语句的时候用到了 join buffer。
前几天同事问了我一个问题：业务A从MySQL迁移到MongoDB的原因是什么？
墨墨导读：数据是以表空间来维护和存放的。在表空间中包含数据，结构，索引等信息，如何有效使用表空间对于MySQL来说非常重要。
一、什么是 GTID GTID （Global Transaction Identifiers）是对于一个已提交事务的编号，事务的唯一编号，并且是一个全局唯一的编号。GTID 和事务会记录到 binlog 中，用来标识事务。 GTID 是用来替代以前 classic 复制方法，MySQL-5.6.2 开始支持 GTID，在 MySQL-5.6.10 后完善。 有了 GTID，一个事务在集群中就不再孤单，在每一个节点中，都存在具有相同标识符的兄弟们和它作伴，可以避免同一个事务，在同一个节点中出现多次的情况。 GTID 的出现，最直接的效果就是，每一个事务在集群中具有了唯一性的意义，这在运维方面具有更大的意义，因为使用 GTID 后再也不需要为了不断地找点而烦恼了，给 DBA 带来了很大的便利性。
Oracle已经发布了他们的开源关系数据库管理系统MySQL 8。这个版本引入了许多改进，最受关注的可能是基于文档的存储，开发人员可以在同一个数据库中使用传统关系数据和“NoSQL”文档数据。该版本还提升了性能，增强了安全性，并改变了默认字符集以促进“移动优先”开发。 MySQL在MySQL 5.7中引入了对JSON的支持，现在在8.0里带来了MySQL文档存储，开发人员可以将无模式JSON文档集合与关系表放在一起使用。MySQL文档存储由一系列技术组成，一个新的客户端协议、X协议以及让MySQL服务器能够
Oracle已经发布了他们的开源关系数据库管理系统MySQL 8。这个版本引入了许多改进，最受关注的可能是基于文档的存储，开发人员可以在同一个数据库中使用传统关系数据和“NoSQL”文档数据。该版本还提升了性能，增强了安全性，并改变了默认字符集以促进“移动优先”开发。
插件式存储引擎是MySQL最重要的特性之一 优化表碎片：OPTIMIZE TABLE table_name 存储过程和函数是事先经过编译并存储在数据库中的一段SQL语句的集合，可以减少开发人员很多工作；
作者简介 韩锋 精通包括Oracle、MySQL、informix等多种关系型数据库，有丰富的数据库架构设计开发经验。就职于宜信。 子查询，是SQL中常见的一种写法。对于优化器来说，子查询是较难优
TXSQL Parallel DDL 功能建设 DDL（Data Definition Language）是用来修改数据库和表结构的一类操作，是数据库所有操作中最高危也是最重要的一类操作，常见的DDL操作包括：加减列、修改列类型、加减索引等。由于DDL操作涉及到数据库表结构、表数据的重构，尤其是在云数据库场景下，表的数据量急速上涨，DDL操作的效率受到了极大的挑战，一条慢速的DDL操作甚至需要花费几天的时间来完成，在这期间DDL操作持续持有锁，意味着业务可能会面临长时间等待锁的情况，几天的等待对于业务来说是
在 Halodoc，我们始终致力于为最终用户简化医疗保健服务，随着公司的发展，我们不断构建和提供新功能。我们两年前建立的可能无法支持我们今天管理的数据量，以解决我们决定改进数据平台架构的问题。在我们之前的博客中，我们谈到了现有平台的挑战以及为什么我们需要采用 Lake House 架构来支持业务和利益相关者以轻松访问数据。在这篇博客中，我们将讨论我们的新架构、涉及的组件和不同的策略，以拥有一个可扩展的数据平台。
使用 EXPLAIN 查看执行计划， 5.6后可以加参数 EXPLAIN FORMAT=JSON xxx输出json格式的信息。
其实说到这个问题,有些同学会有疑问,访问同instance 的有那么难吗? 估计用过SQL SERVER ,MYSQL的同学会提出这样的疑问, 而ORACLE的同学则会提出什么同一个instance
数据库基础知识 1.什么是数据库。 MySQL 是最流行的关系型数据库管理系统，在WEB应用方面 MySQL 是最好的RDBMS(Relational Database Management System：关系数据库管理系统)应用软件之一。 数据库（Database）是按照数据结构来组织、存储和管理数据的仓库，每个数据库都有一个或多个不同的API用于创建，访问，管理，搜索和复制所保存的数据。 我们也可以将数据存储在文件中，但是在文件中读写数据速度相对较慢。所以，现在我们使用关系型数据库管理系统
数据库基础知识 1.什么是数据库。 MySQL 是最流行的关系型数据库管理系统，在WEB应用方面 MySQL 是最好的RDBMS(Relational Database Management System：关系数据库管理系统)应用软件之一。 数据库（Database）是按照数据结构来组织、存储和管理数据的仓库，每个数据库都有一个或多个不同的API用于创建，访问，管理，搜索和复制所保存的数据。 我们也可以将数据存储在文件中，但是在文件中读写数据速度相对较慢。所以，现在我们使用关系型数据库管理系统（RDB
首先我们介绍一下iterator模型。在编程语言中的iterator模型是一种遍历对象列表常用的数据模型，尤其在数据源大小未知或者数据量过大不适合一次性加载所有数据的情况下。通常iterator模型需要实现至少两个接口：hasNext()和next()。hasNext()判断遍历是否结束，next()接口用来取得下一个数据元素。
爱可生 dble 团队开发成员，主要负责 dble 需求开发，故障排查和社区问题解答。少说废话，放码过来。
如果 SQL 在执行过程中读到的数据无法直接得到结果，那么就需要额外的内存来保存中间结果，得出最终结果，这个额外的内存就是内部临时表。比如 group by 执行时，就需要构建一个临时表，需要额外的字段保存聚合函数的结果，当然为了防止内存使用过大，一般超出某个限制后就会放到磁盘上。关于哪些操作会产生内部临时表，可以查看官方文档：https://dev.mysql.com/doc/refman/8.0/en/internal-temporary-tables.html，下面主要介绍 MySQL 8.0 内部临时表存放方式的变化。
这两天事情稍微有点多，公众号也停止更新了几天，结果有读者催更了，也是，说明还是有人关注，利己及人，挺好。
MySQL从5.7版本直接跳跃发布了8.0版本 ，可见这是一个令人兴奋的里程碑版本。MySQL 8 版本在功能上做了显著的改进与增强，开发者对 MySQL 的源代码进行了重构，最突出的一点是多 MySQL Optimizer 优化器进行了改进。不仅在速度上得到了改善，还为用户带来了更好的性能和更棒的体验。
读取顺序：/etc/mysql/my.cnf>/etc/my.cnf>~/.my.cnf
MySQL 临时表在我们需要保存一些临时数据时是非常有用的。临时表只在当前连接可见，当关闭连接时，Mysql会自动删除表并释放所有空间。
在早期的MySQL版本中，开发者通常需要为经常需要计算的字段创建额外的物理列，并在数据插入或更新时手动计算这些列的值。这种方法虽然可行，但它增加了数据冗余和应用程序的复杂性。
**内存临时表排序：**在MySQL中，使用InnoDB引擎执行排序操作时，当处理的数据量较小，可以在内存中完成排序时，MySQL会优先使用内存进行排序操作。在这种情况下，MySQL会创建一个临时内存表来存储排序结果，这样可以快速地对数据进行排序，提高查询效率。
临时表在我们需要保存一些临时数据时非常有用。 临时表只在当前连接可见，当关闭连接时，MySQL会自动删除表并释放所有空间。
最近在MySQL运行中应用程序报错，/home/mysql/data3009/tmp/#sql_14cdb_24' is full" 。
墨墨导读：MySQL临时表在很多场景中都会用到，比如用户自己创建的临时表用于保存临时数据，以及MySQL内部在执行复杂SQL时，需要借助临时表进行分组、排序、去重等操作。下面将会对MySQL临时表的一些概念、分类和常见问题进行整理。
如果你删除了数据表中的多条记录，并希望对剩下数据的AUTO_INCREMENT列进行重新排列，那么你可以通过删除自增的列，然后重新添加来实现。 不过该操作要非常小心，如果在删除的同时又有新记录添加，有可能会出现数据混乱。操作如下所示：
线上mysql数据库爆出一个慢查询，DBA观察发现，查询时服务器IO飙升，IO占用率达到100%， 执行时间长达7s左右。
分库分表就是我们把一个大表拆开分到不同的数据库实例上，比如将一个大表bt按照字段id（分区key）拆分成32个库中。分区key的选择尽量减少跨库和跨表查询。
摘要：针对购物旺季网站流量会对数据库造成的压力，作者给出了MySQL性能调优的一些技巧，这些技巧极具参考价值，通过这些调优，可以有效避免因为流量过大造成服务器宕机，从而给企业造成经济损失。以下是译文： 万圣节已经过去很久了，该是把注意力集中在即将到来的假日季节的时候了。首先是感恩节，接着就是黑色星期五和网络星期一，最终在圣诞节/节礼周（从12月26日的节礼日开始，到12月31日的除夕结束为期六天或更长时间。这个词是由零售业在2000年代中期左右发明的，试图延长他们的节礼日销售）达到购物高潮。对于企业主来说，
1、配置文件参数my.cnf tmp_table_size=64M max_heap_table_size=64M tmpdir = /data/mysql/tmp 2、优化Tips： 如果Created_tmp_disk_tables/ Created_tmp_tables应该小于20%，如果比值较高，就需要适当调高tmp_table_size或者max_heap_table_size的值，让Mysql在内存中完成临时表的操作，减少使用硬盘对性能和响应时长的影响。 在调高tmp_table_size或者m
【问题现象】 线上mysql数据库爆出一个慢查询，DBA观察发现，查询时服务器IO飙升，IO占用率达到100%， 执行时间长达7s左右。 SQL语句如下： SELECT DISTINCT g.*, cp.name AS cp_name, c.name AS category_name, t.name AS type_name FROMgm_game g LEFT JOIN gm_cp cp ON cp.id = g.cp_id AND cp.deleted = 0 LEFT JOIN gm_category
这里给大家列出来了一部分Sqoop操作时的常用参数，以供参考，需要深入学习的可以参看对应类的源代码。
当前有三张表A、B、C其中A和B是一对多关系，B和C是一对多关系，现在需要将B中A表的主键存到C中； 常规思路就是将B中查询出来然后通过一个update语句来更新C表就可以了，但是B表中有2000多条数据， 难道要执行2000多次？显然是不现实的；最终找到写一个存储过程然后通过循环来更新C表， 然而存储过程中的写法用的就是游标的形式。
Online DDL是从mysql5.6版本后引入的新功能，可以实现在线DDL操作不锁表。但是MySQL5.6的Online DDL不是真正的Online DDL，针对部分操作还是有局限性。 5.6之前的DDL处理方式： 1、创建临时表 2、将原表加S锁（只能读，不能DML） 3、将原表数据导入临时表 3、删除原表 4、把临时表重命名成新表 这种情况会对表加一个S锁，其他用户只能访问，不能执行DML操作，如果数据量越大，锁时间越长，对业务影响也越长。 5.6之后的DDL处理方式： innodb_online
1、将项目软件工具包导入 2、项目思路： 2.1、读取 HDFS 数据进行 ETL 清洗操作，并将最终结果写入到 HBase 中。 2.2、从 HBase 中读取数据，进行新增用户统计分析操作，并将结果写入到 Mysql。 3、细节实现 数据清洗： 3.1、LoggerUtil.java 3.1.1、主要作用：将字符串数据解析成 HashMap 键值对集合。 3.1.2、重要细节： 字符串的截取 不合法数据的过滤 字符串的解码（就是将%相关的字符串编码转换成可读类型的数据） 错误数据的 Logger
临时表属于是一种临时存放数据的表，这类表在会话结束时会被自动清理掉，但在 MySQL 中存在两种临时表，一种是外部临时表，另外一种是内部临时表。
压缩表从名字上来看，简单理解为压缩后的表，也就是把原始表根据一定的压缩算法按照一定的压缩比率压缩后生成的表。
在磁盘上的内部临时表过多时(created_tmp_disk_tables)，需要增大参数tmp_talble_size，temptable_max_ram，temptable_max_mmap。
MySQL 临时表分为两种：外部临时表、内部临时表。用户通过 CREATE TEMPORARY TABLE 创建的是外部临时表。SQL 语句执行过程中 MySQL 自行创建的是内部临时表，explain 输出结果的 Extra 列出现了 Using temporary 就说明 SQL 语句执行时使用了内部临时表。
Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
在 MySQL 中，Temporary Table（临时表）和 Memory Table（内存表）是两种不同的表类型，它们有一些重要的区别和用途。
由于临时表只能被创建它的 session 访问，所以在这个 session 结束的时候，会自动删除临时表。也正是由于这个特性，临时表就特别适合我们文章开头的 join 优化这种场景，原因：
我有一个数据表，记录一个QQ号加好友的活跃天数、加好友次数、加好友的toUin数等信息。数据表的建表语句如下：
MySQL 在处理临时结果集（UNION 运算 / 聚合运算等）时，会用到内部临时表（internal temporary table）。
领取专属 10元无门槛券
手把手带您无忧上云
