最近的工作中,我听到组内两名研发同学在交流数据统计性能的时候,说到以下内容:
你怎么能用 count(*) 统计数据呢,count(*) 太慢了,要是把数据库搞垮了那不就完了么,用 count(1),这样比较快......
难道 count(1) 的性能就比 count(*) 要好吗?
印象中网上有些“XX 面试官”系列的网文也有过类似问题的讨论,那 MySQL 统计数据总数 count(*) 、count(1)和count(列名) 哪个性能更优呢?今天我们就来聊一聊这个问题。
我们都知道,MySQL 常见的存储引擎有两种:MyISAM 和 InnoDB。
在这两种存储引擎下,MySQL 对于使用 count(*) 返回结果的流程是不一样的:
但要是在后面加了where查询条件时,统计总数也没有像想象中那么快了。
看到这里,可能你会有这样的疑问:
为什么 InnoDB 引擎不像 MyISAM 引擎一样,把表总记录存储起来呢?
这个问题非常好,在回答这个问题之前,我们先来了解以下 MVCC。
MVCC 简介
所谓MVCC,全称:Multi-Version Concurrency Control,即多版本并发控制。
MVCC 是一种并发控制的方法,一般在数据库管理系统中,实现对数据库的并发访问,在编程语言中实现事务内存。
MVCC 在 MySQL InnoDB 中的实现主要是为了提高数据库并发性能,用更好的方式去处理读-写冲突,做到即使有读写冲突时,也能做到不加锁,非阻塞并发读。
就是因为要实现多版本并发控制,所以才导致 InnoDB 引擎不能直接存储表总记录数。因为每个事务获取到的一致性视图都是不一样的,所以返回的数据总记录也是不一致的。
到这里,相信你已经知道 InnoDB 引擎为什么不像 MyISAM 引擎一样把表总记录存储起来了。
主要是因为 InnoDB 支持事务,MyISAM 不支持事务。
MySQL 对 count(*) 的优化
其实,MySQL 在执行 count(*) 操作的时候还是做了优化的。
InnoDB 是索引组织表,主键索引树的叶子节点是数据,而普通索引树的叶子节点是主键值。因此,普通索引树比主键索引树小很多。对于count(*)这样的操作,遍历哪个索引树得到的结果逻辑上都是一样的。因此,MySQL优化器会找到最小的那棵树来遍历。
如果你使用过 show table status 命令的话,就会发现这个命令的输出结果里面也有一个 rows 值用于显示这个表当前有多少行。
那么是不是这个rows值就能代替count(*)了吗?
其实不能,rows这个是从从采样估算得来的,因此它也是不是准确。
官方文档说是在40%到50%,所以此行数 rows 是不能直接使用的,如下所示:
基于MySQL的Innodb存储引擎,统计表的总记录数下面这4种做法,哪种效率最高?
InnoDB引擎会遍历整张表,把每一行的 id 值都取出来,返回给 server 层。server 层拿到 id 后,判断是不可能为空的,就按行累加。
会统计表中的所有的记录数,包含字段为 null
的记录。
同样遍历整张表,但不取值,server 层对返回的每一行,放一个数字1进去,判断是不可能为空的,按行累加。
分为两种情况,字段定义为 not null 和 null:
1)为 not null 时:逐行从记录里面读出这个字段,判断不为 null,累加;
2)为 null 时:执行时,判断到有可能是 null,还要把值取出来再判断一下,不是 null 才累加。
需要注意的是,并不是带了 * 就把所有值取出来,而是 MySQL 做了专门的优化,count(*) 肯定不是null,按行累加。
当表的数据量大些时,对表作分析之后,使用 count(1)
还要比使用 count(*)
用时多了!
从执行计划来看, count(1)
和 count(*)
的效果是一样的。但是在表做过分析之后, count(1)
会比 count(*)
的用时少些(1w以内数据量),不过差不了多少。
如果 count(1)
是聚索引,那肯定是 count(1)
快,但是差的很小。因为 count(*)
自动会优化指定到那一个字段,所以没必要去 count(1)
,用 count(*)
sql会帮你完成优化的,因此:count(1)
和 count(*)
基本没有差别!
基于 MySQL 的 InnoDB 存储引擎,统计表的总记录数按照效率排序:
count(字段) < count(主键id) < count(1)≈count(*)
效率最高是 count(*),并不是count(1),所以建议尽量使用 count(*)。
执行效果上:
count(*)
包括了所有的列,相当于行数,在统计结果的时候,不会忽略列值为nullcount(1)
包括了忽略所有列,用1代表代码行,在统计结果的时候,不会忽略列值为nullcount(列名)
只包括列名那一列,在统计结果的时候,会忽略列值为空(这里的空不是只空字符串或者0,而是表示null 的计数,即某个字段值为null 时,不统计。
执行效率上:
count(列名)
会比 count(1)
快count(1)
会比 count(列名)
快count(1)
的执行效率优于 count(*)
select count(主键)
的执行效率是最优的select count(*)
最优。