墨墨导读:本文是读者『小豹子加油』的投稿,通过举出唐僧师徒取经的例子,详述一则使用JOIN来优化SQL的案例。...| 僧鞋 | +----+-----------+--------------+-----------------+-----------------+ 使用left join优化...b on (a.user_name = b.user_name) where b.user_name is null and a.user_name is not null; 使用left join优化标量子查询...使用join优化聚合子查询 例子:查询出取经组中每人打怪最多的日期 +----+-----------+---------------------+-------+ | id | user_name |...在mysql中报错ERROR 1064 (42000): You have an error in your SQL syntax; 因为mysql并不支持分析函数。
慢查询日志记录慢SQL 定位慢SQL可以通过慢查询日志来查看慢SQL,默认的情况下,MySQL数据库不开启慢查询日志(slow query log),需要手动把它打开 SET GLOBAL slow_query_log...可以根据这些开销进一步分析当前慢SQL的瓶颈再进一步进行优化 Optimizer Trace分析详情 profile只能查看到SQL的执行耗时,但无法看到SQL真正执行的过程信息,不知道MySQL...优化器是如何选择执行计划,这时候,可以使用Optimizer Trace,它可以跟踪执行语句的解析优化执行的全过程 三个阶段分为对应:准备阶段、分析阶段、执行阶段 确定问题采用响应措施 ● 多数慢...SQL都跟索引有关,比如不加索引,索引不生效、不合理等,这时候,可以优化索引 ● 还可以优化SQL语句,比如一些in元素过多问题(分批),深分页问题(基于上一次数据过滤等),进行时间分段查询 ● SQL...没办法很好优化,可以改用ES的方式,或者数仓 ● 如果单表数据量过大导致慢查询,可以考虑分库分表 ● 如果数据库在刷脏页导致慢查询,考虑是否可以优化一些参数 ● 如果存量数据量太大,考虑是否可以让部分数据归档
二次SQL查询区别不大的时候,不能按照二次执行的时间来判断优化结果,没准第一次查询后又保存缓存数据,导致第二次查询速度比第二次快,很多时候我们看到的都是假象。 17....什么时候开MySQL的查询缓存,交易系统(写多、读少)、SQL优化测试,建议关闭查询缓存,论坛文章类系统(写少、读多),建议开启查询缓存。 18. Explain 执行计划只能解释SELECT操作。...SQL优化顺序: 1)尽量少作计算。 2)尽量少 join。 3)尽量少排序。 4)尽量避免 select *。 5)尽量用 join 代替子查询。 6)尽量少 or。...10)优先优化高并发的 SQL,而不是执行频率低某些“大”SQL。 11)从全局出发优化,而不是片面调整。 12)尽可能对每一条运行在数据库中的SQL进行 Explain。 33....因为SQL只有在运行时才会解析局部变量,但优化程序不能将访问计划的选择推迟到运行时;它必须在编译时进行选择。然 而,如果在编译时建立访问计划,变量的值还是未知的,因而无法作为索引选择的输入项。
场景举例 查询文章列表,一直滑动翻页,不用跳转到指定页数 从数据库查询百万客户数据写入到redis 访问某小程序的积分商城查看商品,一直滑动翻页,不用跳转到指定页数 问题分析 深度分页SQL SELECT...* FROM 表名 WHERE 条件 LIMIT #{offset},#{pageSize} 深度分页造成的结果,offset越来越大,回表的记录越来越多,SQL查询性能急剧下降,会出现大量的慢SQL...大大减少了随机IO,提高了性能 二级索引上只查询id,传输数据包变小 缺点 二级索引还是会走下面的链表来遍历,这部分时间复杂度还是O(n) 方法三:INNER JOIN 延迟查询 延迟关联的优化思路...,跟子查询的优化思路其实是一样的:都是把条件转移到主键索引树,然后减少回表。
log_output=’FILE’ 表示将日志存入文件,默认值是FILE, log_output=’TABLE’表示将日志存入数据库,这样日志信息就会被写入到m...
MySQL性能优化目的 如何合理的设计数据库? 什么样的数据库设计才能给后期DBA优化提供基石? 数据库设计与程序设计的差异? ? 数据库设计早期优化 1....优化设计第一步 想要在表设计中节省空间,就必须精通各种数据类型的特点(能用在什么业务上)、长度等。...10) 同时存在一个坑,就是存储abc数据后改数据库字段的值为“abc 7个空格 ”,在精准查询(where)就必须带上后面的7个空格 varchar 不存的时候不占空间,存多长数据就占多少空间 优化设计第二步...优化设计第三步 数据库优化策略 1、选择小的数据类型 2、单独设计主键,并考虑分布式扩展 3、外键设计 (重要,我们之前开发都是直接使用的弱外键来设置主外键关系,而实际项目中,如果要是删除了主键对应的记录后...(九)选择数据类型 (十)优化并行 设计DB时就应该考虑到对并行进行优化,比如,timestamp类型。
欢迎评论区纠错和建议,祝大家伸手就是大厂offer~ 三、Mysql 1.事务的特征ACID和保证 原子性:事务内的操作统一成功或者失败 由undolog日志保证,他记录了需要回滚的日志信息,回滚时撤销已执行的sql...非聚簇索引(辅助索引):叶子节点存放的是数据行地址,先根据索引找到数据地址,再根据地址去找数据,需要回表二次查找 他们都是b+数结构 8.MySQL如何做sql优化 可以查看执行计划分析数据的扫描类型、...索引是否生效,常见的慢优化有: 减少select的数据列,使用覆盖索引 order by使用索引排序,否则的话会回表查询 group by同样使用索引,避免使用临时表 分页查询如果limit后面的数字很大...用外连接的话连接顺序是固定死的,比如left join,他必须先对左表进行全表扫描,然后一条条到右表去匹配;而内连接的话mysql会自己根据查询优化器去判断用哪个表做驱动。...否则进入下一阶段 (3)服务器进行 SQL 解析、预处理、再由优化器生成对应的执行计划 (4)MySQL 根据执行计划,调用存储引擎的 API 来执行查询 (5)将结果返回给客户端,同时缓存查询结果
---- 利用索引优化锁 为什么索引能优化锁 Innodb采用的行级锁,只有在修改行时才会对需要修改的行加锁。 但是这种情况只有在Innodb层过滤掉不需要的行是才有效。...所以利用索引可以过滤掉不需要的数据, 使用索引的话,仅需要锁定被索引检索出来的数据,而不是锁定全部数据,从而达到优化锁的目的。...------》可以看到索引对锁的优化后, 增加了并发,提高DB的性能 当然了,你要是会话二和会话一查询的都是统一批数据,比如都是WOOD,因为会话一未提交, 会话二肯定会被阻塞的。 这里简单提一下。
MySQL-性能优化-优化设计和设计原则 MySQL性能优化目的 如何合理的设计数据库? 什么样的数据库设计才能给后期DBA优化提供基石? 数据库设计与程序设计的差异?...数据库设计早期优化 1. 关系明确(理清表之间的关系,可以通过冗余的方式提高效率) 2. 节省空间(根据业务经验,设置字段长短) 3....优化设计第一步 想要在表设计中节省空间,就必须精通各种数据类型的特点(能用在什么业务上)、长度等。...优化设计第三步 数据库优化策略 1、选择小的数据类型 2、单独设计主键,并考虑分布式扩展 3、外键设计 (重要,我们之前开发都是直接使用的弱外键来设置主外键关系,而实际项目中,如果要是删除了主键对应的记录后...(九)选择数据类型 (十)优化并行 设计DB时就应该考虑到对并行进行优化,比如,timestamp类型。
MySQL-性能优化-索引和查询优化 要知道为什么使用索引,要知道如何去使用好索引,使自己的查询达到最优性能,需要先了解索引的数据结构和磁盘的存取原理 参考博客:MySQL索引背后的数据结构及算法原理...二次SQL查询区别不大的时候,不能按照二次执行的时间来判断优化结果,没准第一次查询后又保存缓存数据,导致第二次查询速度比第二次快,很多时候我们看到的都是假象。 17....SQL优化顺序: 1)尽量少作计算。 2)尽量少 join。 3)尽量少排序。 4)尽量避免 select *。 5)尽量用 join 代替子查询。 6)尽量少 or。...10)优先优化高并发的 SQL,而不是执行频率低某些“大”SQL。 11)从全局出发优化,而不是片面调整。 12)尽可能对每一条运行在数据库中的SQL进行 Explain。 33....因为SQL只有在运行时才会解析局部变量,但优化程序不能将访问计划的选择推迟到运行时;它必须在编译时进行选择。然 而,如果在编译时建立访问计划,变量的值还是未知的,因而无法作为索引选择的输入项。
3、优化配置参数- MySQL配置文件优化 1、MySQL配置文件修改 Mysql可以通过启动时指定参数和使用配置文件两种方法进行配置,在大多数情况下配置文件位于/etc/my.cnf 或者是 /etc...此外,在SELECT语句中加入SQL_NO_CACHE可以明确表示不使用查询缓冲。...如果调高该值,MySQL同时将增加heap表的大小,可达到提高联接查询速度的效果,建议尽量优化查询,要确保查询过程中生成的临时表在内存中,避免临时表过大导致生成基于硬盘的MyISAM表。
+----------+ 1 row in set mysql> ---- in的逻辑 select * from t1 where id in (select id from t2) ; 这个SQL...可以理解为 for(select id from t2){ select * from t1 where t1.id = t2.id } ---- 优化原则 原则:小表驱动大表,即小的数据集驱动大的数据集...subquery)只返回TRUE或FALSE,因此子查询中的SELECT * 也可以用SELECT 1替换,官方说法是实际执行时会忽略SELECT清单,因此没有区别 EXISTS子查询的实际执行过程可能经过了优化而不是我们理解上的逐条对比
---- 某些SQL查询为什么慢 要弄清楚这个问题,需要知道MySQL处理SQL请求的过程, 我们来看下 MySQL处理SQL请求的过程 客户端将SQL请求发送给服务器 服务器检查是否在缓存中是否命中该...SQL,未命中的话进入下一步 服务器进行SQL解析、预处理,再由优化器生成对应的执行计划 根据执行计划来,调用存储引擎API来查询数据 将结果返回给客户端 ---- 查询缓存对SQL性能的影响 query_cache_type...:设置查询缓存是否可用 , 可选值 ON OFF DEMAND , DEMAND表示只有在查询语句中使用了SQL_CACHE和SQL_NO_CACHE来控制是否需要缓存 query_cache_size...对于一个读写很频发的的系统,使用查询缓存很可能会降低查询处理的效率,建议不是用查询缓存,可以将query_cache_type 设置为OFF,query_cache_size 设置为0 ---- SQL...预处理及生成执行计划 接着上一步说,查询缓存未启用,或者 未命中查询缓存 , 服务器进行SQL解析、预处理,再由优化器生成对应的执行计划 。
作为CRUD工程师,了解Mysql中SQL查询的执行过程,对我们从查询优化,数据库配置,数据还原方面都有帮助。...第二步,进入Mysql的服务层,主要的功能都在这一步进行处理,包括查询缓存、解析器、优化器之类,比如SQL解析、优化、索引选择,到最后生成执行计划。...优化器优化器的主要作用是为给定的SQL语句生成最优的执行计划,生成一个预计执行成本最低、效率最高的执行计划,具体来说,优化器会考虑以下几个方面来确定最佳执行计划:表的连接方式:对于涉及多个表的查询,决定是使用嵌套循环连接...子查询的优化:优化子查询的执行方式,可能将其转换为连接操作或者其他更高效的形式。通过综合考虑这些因素,优化器能够辅助我们调整SQL,从而提高数据库的响应性能,减少资源消耗。...但主要的SQL语句优化还是需要我们自己完成。执行器根据优化器生成的执行计划,执行器会实际执行对数据库的操作,并将结果返回给客户端。
---- 使用索引扫描来优化排序 存储引擎: Innodb 重点: 优化排序 手段:利用索引 两个思路: 1 通过排序操作 、 2 按照索引顺序扫描数据 ---- 索引的列顺序和Order By子句的顺序完全一致...filtered: 50.00 Extra: Using where 1 row in set, 1 warning (0.00 sec) mysql> using where:表示优化器需要通过索引回表查询数据
http://www.searchdoc.cn/rdbms/mysql/dev.mysql.com/doc/refman/5.7/en/index.com.co...
,就是尽量减少在客户端进行大数据量的循环操作,而用SQL语句或者存储过程代替。...只要我们在查询语句中没有强制指定索引,索引的选择和使用方法是SQLSERVER的优化器自动作的选择,而它选择的根据是查询语句的条件以及相关表的统计信息,这就要求我们在写SQL语句的时候尽量使得优化器可以使用索引...为了使得优化器能高效使用索引,写语句的时候应该注意: (1)不要对索引字段进行运算,而要想办法做变换,比如: SELECT ID FROM T WHERE NUM/2=100 应改为: SELECT ID...还有就是我们写存储过程,如果比较长的话,最后用标记符标开,因为这样可读性很好,即使语句写的不怎么样,但是语句工整,C# 有region,SQL我比较喜欢用的就是: –startof 查询在职人数 SQL...我们可以用回滚来调试我们的存储过程或者是SQL语句,从而排错。
1.1.order by优化1.1.1.知识点回顾在讲解order by优化前,先回顾一下order by的语法知识。...asc , age desc;1.1.2.两种排序方式MySQL有两种排序方式Using filesort和Using index,Using index的性能高于Using filesort,我们在优化排序操作时...,尽量要优化为 Using indexUsing filesort : 通过表的索引或全表扫描,读取满足条件的数据行,然后在排序缓冲区sort buffer中完成排序操作,所有不是通过索引直接返回排序结果的排序都叫...1.1.3.order by优化案例演示1.1.3.1.案例A在上面我们创建了字段age和phone的联合索引,而且没有指定索引的排序顺序,此时索引在表中默认是按照升序排列的。...:MySQL有两种排序方式Using filesort和Using index,在优化排序操作时,尽量要优化为 Using index根据排序字段建立合适的索引,多字段排序时,索引需要遵循最左前缀法则。
MySQL常见的优化手段分为下面几个方面: SQL优化、设计优化,硬件优化等,其中每个大的方向中又包含多个小的优化点 SQL优化 此优化方案指的是通过优化 SQL 语句以及索引来提高 MySQL 数据库的运行效率...= 或者 操作符 SQL中,不等于操作符会导致查询引擎放弃索引索引,引起全表扫描,即使比较的字段上有索引 解决方法:通过把不等于操作符改成or,可以使用索引,避免全表扫描 例如,把column...JOIN关联太多的表 对于 MySQL 来说,是存在关联缓存的,缓存的大小可以由join_buffer_size参数进行设置 在 MySQL 中,对于同一个 SQL 多关联(join)一个表,就会多分配一个关联缓存...,代价很高 慢查询日志 出现慢查询通常的排查手段是先使用慢查询日志功能,查询出比较慢的 SQL 语句,然后再通过 Explain 来查询 SQL 语句的执行计划,最后分析并定位出问题的根源,再进行处理...慢查询日志指的是在 MySQL 中可以通过配置来开启慢查询日志的记录功能,超过long_query_time值的 SQL 将会被记录在日志中 我们可以通过设置“slow_query_log=1”来开启慢查询
优化手段: ① SQL优化 避免 SELECT *,只查询需要的字段。...小表驱动大表,即小的数据集驱动大的数据集: 当B表的数据集比A表小时,用in优化 exist两表执行顺序是先查B表再查A表查询语句:SELECT * FROM tb_dept WHERE id in (...SELECT id FROM tb_dept) ; 当A表的数据集比B表小时,用exist优化in ,两表执行顺序是先查A表,再查B表,查询语句:SELECT * FROM A WHERE EXISTS...② 优化索引的使用 尽量使用主键查询,而非其他索引,因为主键查询不会触发回表查询。...= 或者 操作符,查询引用会放弃索引而进行全表扫描 列表数据使用分页查询,每页数据量不要太大 避免在索引列上使用 is null 和 is not null ③ 表结构设计优化 使用可以存下数据最小的数据类型