前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >MySQL索引优化实战

MySQL索引优化实战

作者头像
Java识堂
发布2019-05-21 23:06:43
1.1K0
发布2019-05-21 23:06:43
举报
文章被收录于专栏:Java识堂Java识堂

索引的种类

众所周知,索引类似于字典的目录,可以提高查询的效率。 索引从物理上可以分为:聚集索引,非聚集索引 从逻辑上可以分为:普通索引,唯一索引,主键索引,联合索引,全文索引

索引优化策略

不要在索引列上进行运算或使用函数

在列上进行运算或使用函数会使索引失效,从而进行全表扫描。如下面例子在publish_time,id列上分别加上索引,publish_time为datetime类型,id为int类型

代码语言:javascript
复制
-- 全表扫描
select * from article where year(publish_time) < 2019
代码语言:javascript
复制
-- 走索引
select * from article where publish_time < '2019-01-01'
代码语言:javascript
复制
-- 全表扫描
select * from article where id  + 1 = 5
代码语言:javascript
复制
-- 走索引
select * from article where id = 4

小心隐式类型转换

假设id为varchar类型

代码语言:javascript
复制
-- 全表扫描
select * from article where id = 100
代码语言:javascript
复制
-- 走索引
select * from article where id = '100'

为什么呢?

代码语言:javascript
复制
select * from article where id = 100
-- 等价于
select * from article where CAST(id AS signed int) = 100

上一条规则说过,不要在索引列上使用函数,隐式类型转换在索引字段上做了函数操作,因此会全表扫描

那么如果id是int,执行下面这个语句是否会导致全表扫描呢?

代码语言:javascript
复制
select * from article where id = '100'

答案是会用到索引

前导模糊查询不会使用索引

代码语言:javascript
复制
-- 全表扫描
select * from article where author like '%李'

%李,%李%都会导致全表扫描,非前导模糊查询可以使用索引

代码语言:javascript
复制
-- 走索引
select * from article where author like '李%'

联合索引最左前缀原则

mysql会一直向右匹配直到遇到范围查询(>、<、between、like)就停止匹配,比如a = 1 and b = 2 and c > 3 and d = 4 如果建立(a,b,c,d)顺序的索引,d是用不到索引的,如果建立(a,b,d,c)的索引则都可以用到,a,b,d的顺序可以任意调整

1.将区分度最高的字段放在最左边

当不需要考虑排序和分组时,将区分度最高的列放在前面通常是很好的。这时候索引的作用只是用于优化WHERE条件的查找

如果在a b列上建立联合索引,该如何建立,才能使查询效率最高

代码语言:javascript
复制
select count(distinct a) / count(*), count(distinct b) / count(*), count(*) from table

执行如下语句,假设3个输出依次为0.001,0.373,16049,可以看到b列的选择性最高,因此将其作为联合索引的第一列,即建立(b, a)的联合索引

2.查询时=可以乱序 如果建立了联合索引(a, b)。例如下面的2个写法是等价的,因为MySQL会将查询的顺序优化成和联合索引的顺序一致

代码语言:javascript
复制
select * from table where a = '1' and b = '1'
代码语言:javascript
复制
select * from table where b = '1' and a = '1'

3.优化查询,避免出现filesort

代码语言:javascript
复制
select * from table where a = ? and b = ? order by c

最左前缀原则不仅用在查询中,还能用在排序中。MySQL中,有两种方式生成有序结果集:

  1. 通过有序索引顺序扫描直接返回有序数据
  2. Filesort排序,对返回的数据进行排序

因为索引的结构是B+树,索引中的数据是按照一定顺序进行排列的,所以在排序查询中如果能利用索引,就能避免额外的排序操作。EXPLAIN分析查询时,Extra显示为Using index。

所有不是通过索引直接返回排序结果的操作都是Filesort排序,也就是说进行了额外的排序操作。EXPLAIN分析查询时,Extra显示为Using filesort,当出现Using filesort时对性能损耗较大,所以要尽量避免Using filesort

对于如下sql

代码语言:javascript
复制
select * from table where a = ? and b = ? order by c

可以建立联合索引(a, b, c)

如果索引中有范围查找,那么索引有序性无法利用,如

代码语言:javascript
复制
select * from table where a > 10 order by b

索引(a,b)无法排序。

放几个例子

代码语言:javascript
复制
-- 使用了a列
where a = 3

-- 使用了a b列
where a = 3 and b = 5

-- 使用了a b c列
where a = 3 and c = 4 and b = 5

-- 没有使用索引
where b = 3

-- 使用了a列 
where a = 3 and c = 4

-- 使用了a b列 
where a = 3 and b > 10 and c = 7

-- 使用了a b 列
where a = 3 and b like 'xx%' and c = 7

union,or,in都能命中索引,建议使用in

代码语言:javascript
复制
select * from article where id = 1
union all
select * from article where id = 2
代码语言:javascript
复制
select * from article where id in (1 , 2)

新版MySQL的or可以命中索引

代码语言:javascript
复制
select * from article where id = 1 or id = 2

效率从高到低为union,in,or。in和union的效率差别可以忽略不计,建议使用in

负向条件索引不会使用索引,建议用in

负向条件有:!=、<>、not in、not exists、not like 等

代码语言:javascript
复制
-- 全表扫描
select * from article where id != 1 and id != 2

知道id的所有取值范围,可以改为类似如下形式

代码语言:javascript
复制
-- 走索引
select * from article where id in (0, 3, 4)

建立覆盖索引

众所周知,表数据是放在一个聚集索引上的,而建立的索引为非聚集索引,非聚集索引的叶子节点存放索引键值,以及该索引键指向的主键。一般查找的过程是从非聚集索引上找到数据的主键,然后根据该主键到聚集索引上查找记录,这个过程称为回表,不清楚的看推荐阅读。

如有下面这个sql

代码语言:javascript
复制
select uid, login_time from user where username = ? and passwd = ?

可以建立(username, passwd, login_time)的联合索引,由于 login_time的值可以直接从索引中拿到,不用再回表查询,提高了查询效率

经常更改,区分度不高的列上不宜加索引

更新会变更 B+ 树,更新频繁的字段建立索引会大大降低数据库性能。

“性别”这种区分度不大的属性,建立索引是没有什么意义的,不能有效过滤数据,性能与全表扫描类似。

一般区分度在80%以上的时候就可以建立索引,区分度可以使用 count(distinct(列名))/count(*) 来计算

明确知道只会返回一条记录,可以加limit1

当查询确定只有一条记录时,可以加liimit1,让MySQL停止游标移动,提高查询效率

代码语言:javascript
复制
select uid from user where username = ? and passwd = ?

可改为

代码语言:javascript
复制
select uid from user where username = ? and passwd = ? limit 1

对文本建立前缀索引

用邮箱登录是一个常见的问题,如果对email整个字段建立索引,会让索引变得大且慢

代码语言:javascript
复制
select username from user where email='xxx';

这时我们可以索引开始的部分字符,这样可以大大节约索引空间,从而提高索引效率,但这样也会降低索引的区分度。索引的区分度是指,不重复的索引值和数据表的记录总数的比值。索引的区分度越高则查询效率越高,因为区分度高的索引可以让MySQL在查找时过滤掉更多的行。

因此我们选择足够长的前缀保证较高的区分度,同时又不能太长(以便节约空间)

可以进行如下实验

代码语言:javascript
复制
select count(distinct left(email, 5)) / count(*) as col5,
count(distinct left(email, 6)) / count(*) as col6,
count(distinct left(email, 7)) / count(*) as col7
from user

假设输出依次为0.0305,0.0309,0.0310 查询显示当前缀长度达到7的时候,再增加前缀长度,区分度提升的幅度已经很小了,因此创建email(7)的前缀索引即可

需要注意的一点是,前缀索引不能使用覆盖索引,因为从索引中获取不到完整的数据,还得回表查询

建立索引的列不为NULL

只要列中包含有 NULL 值都将不会被包含在索引中,复合索引中只要有一列含有 NULL值,那么这一列对于此复合索引就是无效的。

因此,在数据库设计时,除非有一个很特别的原因使用 NULL 值,不然尽量不要让字段的默认值为 NULL。

分页查询优化

MySQL 并不是跳过 offset 行,而是取 offset+N 行,然后返回放弃前 offset 行,返回 N 行,那当 offset 特别大的时候,效率就非常的低下,要么控制返回的总页数,要么对超过特定阈值的页数进行 SQL 改写,单开一文来讲

推荐阅读

MySQL索引为什么要用B+树实现?

图解: EXPLAIN 实战-1

你确定真正理解联合索引和最左前缀原则?

Java识堂

一个有干货的公众号


本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2019-02-24,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Java识堂 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 索引的种类
  • 索引优化策略
    • 不要在索引列上进行运算或使用函数
      • 小心隐式类型转换
        • 前导模糊查询不会使用索引
          • 联合索引最左前缀原则
            • union,or,in都能命中索引,建议使用in
              • 负向条件索引不会使用索引,建议用in
                • 建立覆盖索引
                  • 经常更改,区分度不高的列上不宜加索引
                    • 明确知道只会返回一条记录,可以加limit1
                      • 对文本建立前缀索引
                        • 建立索引的列不为NULL
                          • 分页查询优化
                            • 推荐阅读
                            相关产品与服务
                            云数据库 SQL Server
                            腾讯云数据库 SQL Server (TencentDB for SQL Server)是业界最常用的商用数据库之一,对基于 Windows 架构的应用程序具有完美的支持。TencentDB for SQL Server 拥有微软正版授权,可持续为用户提供最新的功能,避免未授权使用软件的风险。具有即开即用、稳定可靠、安全运行、弹性扩缩等特点。
                            领券
                            问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档