在公司实习的时候，导师分配了SQL慢查询优化的任务，任务是这样的：每周从平台中导出生产数据库的慢查询文件进行分析。进行SQL优化的手段也主要是修改SQL写法，或者新增索引。
* 如果表没有主键，则会默认第一个NOT NULL，且唯一（UNIQUE）的列作为聚簇索引
前面我写了很多Mysql相关的知识点，到这一篇稍微可以串一下了，从SQL执行流程、MVCC到锁，很多时候可能觉得对于间隙锁和Next-Key Lock好像已经理解了，但是好像又觉得理解差那么一点意思，这篇文章从头来梳理一下概念，明确一下这些知识。
关于In与Exists的比较，先说结论，归纳出IN 和Exists的适用场景： 1）IN查询在内部表和外部表上都可以使用到索引。 2）Exists查询仅在内部表上可以使用到索引。 3）当子查询结果集很大，而外部表较小的时候，Exists的Block Nested Loop(Block 嵌套循环)的作用开始显现，并弥补外部表无法用到索引的缺陷，查询效率会优于IN。 4）当子查询结果集较小，而外部表很大的时候，Exists的Block嵌套循环优化效果不明显，IN 的外表索引优势占主要作用，此时IN的查询
以上案例用到的处理器有“QueryDatabaseTable”、“ConvertAvroToJSON”、“SplitJson”、“PutHDFS”四个处理器。
mysql缓存机制就是缓存sql 文本及缓存结果，用KV形式保存再服务器内存中，如果运行相同的sql,服务器直接从缓存中去获取结果，不需要在再去解析、优化、执行sql。如果这个表修改了，那么使用这个表中的所有缓存将不再有效，查询缓存值得相关条目将被清空。表中得任何改变是值表中任何数据或者是结构的改变，包括insert,update,delete,truncate,alter table,drop table或者是drop database 包括那些映射到改变了的表的使用merge表的查询，显然，者对于频繁更新的表，查询缓存不合适，对于一些不变的数据且有大量相同sql查询的表，查询缓存会节省很大的性能。
简单的说，数据库就是一个存放数据的仓库，这个仓库是按照一定的数据结构（数据结构是指数据的组织形式或数据之间的联系）来组织、存储的，我们可以通过数据库提供的多种方法来管理数据库里的数据。更简单的形象理解，数据库和我们生活中存放杂物的仓库性质一样，区别只是存放的东西不同。
在之前的一次开发需求中使用了 for update 实现悲观锁，最后导致出现了很多的 MySQL 死锁报警，现记录下死锁产生的原因。
在现代的Web开发中，处理JSON数据已经变得无处不在，而在关系型数据库中高效地查询JSON结构变得愈发重要。MySQL 8.0结合MyBatis-Plus和Spring Boot，为管理和查询JSON数据提供了强大的工具。在本文中，我们将探讨两种使用MySQL 8.0和MyBatis-Plus在Spring Boot应用中查询JSON数据的方法。
最基本的语句，意思是从那张表去查询什么数据列，可以是原表的列，也可以是聚合后的列，可以包含重复列，也可以去重，也可以只查看前几列。
https://www.cnblogs.com/joeyJss/p/11096597.html
电商中：我们想查看某个用户所有的订单，或者想查看某个用户在某个时间段内所有的订单，此时我们需要对订单表数据进行筛选，按照用户、时间进行过滤，得到我们期望的结果。
对于一个做后台不久的我，起初做项目只是实现了功能，所谓的增删改查，和基本查询索引的建立。直到有一个面试官问我一个问题，一条sql查询语句在mysql数据库中具体是怎么执行的？我被虐了，很开心，感谢他。于是开始了深入学习mysql。本篇文章通过
id INT 10 NOT NULL UNIQUE PRIMARY KEY AUTO_INCREMENT ,
mysql中可以使用explain这个关键字来获取（查询）sql语句的查询执行计划的。使用explain关键字，可以模拟mysql优化器执行的sql语句，从而知道mysql是如何处理sql语句的。通过explain可以分析查询语句或表结构的性能瓶颈。
注意关键字where，where后面跟上一个或者多个条件，条件是对前面数据的过滤，只有满足where后面条件的数据才会被返回。
简介:各个版本的区别 官网:https://dev.mysql.com/downloads/mysql/
在这个快速发展的时代，时间变得 越来越重要，也流逝得非常得快，有些人长大了，有些人却变老了。稍不留神，2019已经过完了三分之一。回首这四个月收获什么，懂得了什么？欢迎留言分享给我哟。
select查询优化一直是日常开发和数据库运维绕不开的一道坎，SQL的查询速度决定了页面的加载速度，进一步决定了客户浏览体验。
存储过程是用户定义的一系列sql语句的集合，涉及特定表或其它对象的任务，用户可以调用存储过程，而函数通常是数据库已定义的方法，它接收参数并返回某种类型的值并且不涉及特定用户表。
55道互联网大公司的经典面试题，全部答对月薪5W+没问题。 1、一张表里面有ID自增主键，当insert了17条记录之后，删除了第15,16,17条记录，再把mysql重启，再insert一条记录，这条记录的ID是18还是15 ？ 2、mysql的技术特点是什么？ 3、Heap表是什么？ 4、mysql服务器默认端口是什么？ 5、与Oracle相比，mysql有什么优势？ 6、如何区分FLOAT和DOUBLE？ 7、区分CHAR_LENGTH和LENGTH？ 8、请简洁描述mysql中InnoDB支持的
MySQL的慢查询日志是MySQL提供的一种日志记录，它用来记录在MySQL中响应时间超过阀值的语句，具体指运行时间超过long_query_time值的SQL，则会被记录到慢查询日志中。long_query_time的默认值为10，意思是运行10S以上的语句。默认情况下，Mysql数据库并不启动慢查询日志，需要我们手动来设置这个参数，当然，如果不是调优需要的话，一般不建议启动该参数，因为开启慢查询日志会或多或少带来一定的性能影响。慢查询日志支持将日志记录写入文件，也支持将日志记录写入数据库表。
数据库部分 数据表连接问题，左外连接、右外连接、内连接等 一、交叉连接（CROSS JOIN） 交叉连接（CROSS JOIN）：有两种，显式的和隐式的，不带ON子句，返回的是两表的乘积，也叫笛卡尔积。 例如：下面的语句1和语句2的结果是相同的。 语句1：隐式的交叉连接，没有CROSS JOIN。 SELECT O.ID, O.ORDER_NUMBER, C.ID, C.NAME FROM ORDERS O , CUSTOMERS C WHERE O.ID=1; 语句2：显式的交叉连接，使用CROSS
指出MySQL能使用哪个索引在表中找到记录，查询涉及到的字段上若存在索引，则该索引将被列出，但不一定被查询使用（该查询可以利用的索引，如果没有任何索引显示 null）
MySQL的 information_schema 数据库，保存着数据库的容量和使用信息。可查询数据库中每个表占用的空间、表记录的行数。
Sqoop - “SQL到Hadoop和Hadoop到SQL” sqoop是apache旗下一款"Hadoop和关系数据库服务器之间传送数据"的工具。 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统； 导出数据：从Hadoop的文件系统中导出数据到关系数据库mysql等。
1、全局内存缓冲区 1）key_buffer_size 该变量是只存储MyISAM索引信息的全局内存缓冲区。在对应的.MYI文件中的索引数据从磁盘上被读取出来然后存入这个缓冲区。想要调整key_buffer_size的大小，只需要简单统计所有MyISAM表中总索引的大小，然后随着数据随时间增长而调整。 当这个索引码缓冲区中没有足够的空间来存储新的索引数据时，将会用最近最少使用的的方法覆盖掉旧的页面。 2）innodb_buffer_pool_size innodb_buffer_pool_size是用来存储所有InnoDB数据和索引的全局内存缓冲区。对完全使用InnoDB的数据库来说，这是个很重要的缓冲区，一定要正确分配，不正确的分配这个缓冲区可能导致额外的磁盘IO开销并降低查询性能。 常见的方法是把innodb_buffer_pool_size设定为RAM的80%，但是很多情况下这样设定不合理，如RAM大小50G，而数据库总量只有2G。 可以使用SHOW GLOBAL STATUS或者SHOW ENGINE INNODB STATUS命令来监控InnoDB缓冲池的使用情况。 MySQL> SHOW GLOBAL STATUS LIKE 'innodb_buffer%'; +---------------------------------------+--------------------------------------------------+ | Variable_name | Value | +---------------------------------------+--------------------------------------------------+ | Innodb_buffer_pool_dump_status | Dumping of buffer pool not started | | Innodb_buffer_pool_load_status | Buffer pool(s) load completed at 180330 16:27:30 | | Innodb_buffer_pool_resize_status | | | Innodb_buffer_pool_pages_data | 51679 | | Innodb_buffer_pool_bytes_data | 846708736 | | Innodb_buffer_pool_pages_dirty | 0 | | Innodb_buffer_pool_bytes_dirty | 0 | | Innodb_buffer_pool_pages_flushed | 116888 | | Innodb_buffer_pool_pages_free | 1024 | | Innodb_buffer_pool_pages_misc | 4641 | | Innodb_buffer_pool_pages_total | 57344 | | Innodb_buffer_pool_read_ahead_rnd | 0 | | Innodb_buffer_pool_read_ahead | 0 | | Innodb_
索引是快速搜索的关键。MySQL索引的建立对于MySQL的高效运行是很重要的。下面介绍几种常见的MySQL索引类型。 在数据库表中，对字段建立索引可以大大提高查询速度。假如我们创建了一个 mytable表： CREATE TABLE mytable( ID INT NOT NULL, username VARCHAR(16) NOT NULL ); 我们随机向里面插入了10000条记录，其中有一条：5555, admin。 在查找username="admin"的记录 SELECT *
索引在我们使用MySQL数据库时可以极大的提高查询效率，然而，有时候因为使用上的一些瑕疵就会导致索引的失效，无法达到我们使用索引的预期效果，今天介绍几种MySQL中几种常见的索引失效的原因，可以在以后的工作中尽可能避免因索引失效带来的坑。
随着系统的数据量逐年增加，并发量也成倍增长，SQL性能越来越成为IT系统设计和开发时首要考虑的问题之一。SQL性能问题已经逐步发展成为数据库性能的首要问题，80%的数据库性能问题都是因SQL而导致。面对日益增多的SQL性能问题，如何下手以及如何提前审核已经成为越来越多的程序员必须要考虑的问题。
据身边不少朋友反映，SQL长时间不用的话难免会生疏！本文的几个查询示例可以让你5分钟内快速回忆起MySQL中常用的基础查询语法！
MySQL的查询缓存是一种用于存储SELECT语句结果集的机制。当相同的SELECT语句再次被执行时，MySQL可以直接从查询缓存中获取结果，而不需要再次执行查询。这可以显著提高查询性能，减少数据库负载。
最近在刷LeetCode中数据库题目时，有一道排名题目，用了6种写法分别代表6种SQL思维来实现，想想也算是有趣。
昨天遇到一个问题, 200万的表里查询9万条数据, 耗时达63秒. 200万数据不算多, 查询9万也还好. 怎么用了这么长的时间呢? 问题是一句非常简单的sql. select * from tk_t
hive是基于Hadoop的一个数据仓库工具，用来进行数据的ETL，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。Hive SQL是一种类SQL语言，与关系型数据库所支持的SQL语法存在微小的差异。本文对比MySQL和Hive所支持的SQL语法，发现相同的SQL语句在Hive和MySQL中输出结果的会有所不同。
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。
SQL注入是指Web应用程序对用户输入数据的合法性没有判断，前端传入后端的参数是攻击者可控的，并且参数被带入数据库查询，攻击者可以通过构造不同的SQL语句来实现对数据库的任意操作。
接了一个小需求，是将一些用户操作记录入到我们的数据库中。观察到入库的接口平均响应时间比较差大概在几秒左右，当时没多想，就觉得是先查询是否存在，再插入这个过程中查询是否存在比较耗时（因为操作记录表比较大），但是后面发现有10%，20%的入库接口响应时间甚至达到了十秒，并且pgsql数据库cpu变高了很多，波段性的高峰存在。老样子，先查询是否存在慢sql，耗时3秒以上的sql查询load出来后发现原来是查询是否存在的这个过程出了问题。我是通过一个联合索引来查询是否存在的，他们分别是(公司id，店铺id，xxid)，通过explain该sql语句发现并没有走这个联合索引，而是走了(公司id，店铺id)这个索引。而这个索引扫出来的结果并没有区分度，因为一个公司的某一个店铺可以有很多的操作记录。让我们来思考一下联合索引的定义，它满足最左前缀匹配原则，mysql的查询优化器会自动将你代码中乱序的查询条件组装成联合索引去查询，进而通过联合索引来计算查询成本。但是最左前缀匹配原则是要求越有区分度的字段应该放在左边，我误以为sql的查询优化会自动帮我把联合索引的区分度字段往左边移动。这次事故的原因主要是因为我对最左前缀匹配原则理解的不深刻，下次应该尽可能的将具有区分度的字段放在联合索引的左边。
有人的地方就有江湖，数据库也是，sql优化这个问题，任重道远，我们总是禁不住有烂sql。怎么办呢，还好各大数据库都有相关烂sql的收集功能，而MySQL的慢查询收集也是异曲同工，配合分析sql的执行计划，这个优化就有了搞头了。
关注公众号：程序员白楠楠，领取2020最新Java面试题手册（200多页PDF文档）。
对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。
1、对查询进行优化，应尽量避免全表扫描，首先应考虑在where及order by涉及的列上建立索引。
1， 对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。
1. InnoDB支持事务，MyISAM不支持，对于InnoDB每一条SQL语言都默认封装成事务，自动提交，这样会影响速度，所以最好把多条SQL语言放在begin和commit之间，组成一个事务；
另外，MySQL对于IN做了相应的优化，即将IN中的常量全部存储在一个数组里面，而且这个数组是排好序的。但是如果数值较多，产生的消耗也是比较大的。再例如：select id from table_name where num in(1,2,3) 对于连续的数值，能用 between 就不要用 in 了；再或者使用连接来替换。
对于大多数web应用来说，数据库都是一个十分基础性的部分。如果你在使用PHP，那么你很可能也在使用MySQL—LAMP系列中举足轻重的一员。 对于很多新手们来说，使用PHP可以在短短几个小时之内轻松地写出具有特定功能的代码。但是，构建一个稳定可靠的数据库却需要花上一些时日和相关技能。下面列举了我曾经犯过的最严重的10个MySQL相关的错误（有些同样也反映在其他语言/数据库的使用上）。 1、使用MyISAM而不是InnoDB MySQL有很多数据库引擎，但是你最可能碰到的就是MyISAM和InnoDB。 My
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
