首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Mysql获取数据行数count(*)很慢

日常开发中,获取数据总数是很常见业务场景,但是我们发现随着数据增长count(*)越来越慢,这个是为什么呢, count(*)实现方式 我们要明确不同存储引擎,他实现方式不一样 MyiSAM...count(*),如果加了where条件的话,MyiSAM返回也不能返回很快 由于我们现在如果使用mysql,大多使用存储引擎都是innodb,因此由于他是一行行累计计数,因此随着数据越来越多...(*)请求来说,innoDB只好把数据一行行读出判断,可见行才能后用于累加, 当然mysql也是对count(*)是有进行优化,我们知道我们索引是一棵树,而主键索引叶子节点是数据,而普通索引叶子节点是主键索引...,所以主键索引比普通索引树大些,因此mysql优化器会拿到索引树小,进行遍历计算,在保证逻辑正确前提下,尽量减少扫描数据量,是数据库优化通用手段之一 此时你可能还依稀记得下面命令可以获取数量...比如有个页面要显示近期操作100条记录和总操作数,这页面的逻辑就是到redis获取总数,再到数据库获取100条记录,如下两种会发生数据不一致情况 查询到100结果里面有最新插入数据,而redis

4.9K20
您找到你想要的搜索结果了吗?
是的
没有找到

MySQL count(*) 优化,获取千万级数据表行数

找了很多优化方案,最后另辟蹊径,选择了用explain来获取行数。 二、关于count优化 网上关于count()优化有很多。...MySQL中聚合函数count使用和性能优化 (https://blog.csdn.net/lmy86263/article/details/73681633) mysql count(*) 会选哪个索引...三、使用explain获取行数 1、关于explain 关于explain,使用mysql都知道,这个函数是专门用于查看sql语句执行效率,网上可供参考文章很多。...我们使用explain之后,会看到返回很多参数,其中: rows:显示MySQL认为它执行查询时必须检查行数。就是这个东西了,既然我们要获取是数据表行数,那么可以使用: ?...这样我们就能通过这个数组获取到我们需求rows。 ? 这里直接获取这个值即可。速度极快。原来查询速度是2.33s,换成只用explain之后,速度仅为0008s,提升十分巨大。

3.4K20

update影响行数使用不当造成bug

业务系统中,使用update语句更新数据是再正常不过场景,我们也经常通过update更新行数,来做一些业务判断,类似下面的伪代码:(mybatis + mysql 场景) if (xxxMapper.updateByPrimaryKeySelective...(entity)>0){ //更新成功,做其它业务处理 } 但是这里有一个坑,mysql中update影响行数>0是有条件,假如有一张表: ?...这时候,返回影响行数为0,也就是说,当待更新记录与原始记录旧值相同时,mysql其实并不会做任何更新。...换言之,如果上游传过来数据,与数据库本身旧值相等,没有变化时,update语句影响行数为0。这与另一种场景:"更新一条并不存在记录,影响行数返回0" 无法区分。 ?...结论:不要使用update语句影响行数做重要业务判断!

2K10

浅谈MySQL 统计行数 count

MySQL count() 函数我们并不陌生,用来统计每张表行数。但如果你表越来越大,且是 InnoDB 引擎的话,会发现计算速度会越来越慢。...Count() 实现 InnoDB 和 MyISAM 是 MySQL 常用数据引擎,由于两者实现不同,导致 count() 操作计算效率也不同。...由于 MVCC 控制,使得 MySQL 具有并发能力,也就是说对于同一时刻,InnoDB 返回行数是不一定,事务看到行数与开启后一致性视图有关,换句话说,每个事务能看到数据版本是不一样...但如果我们真的需要实时获取某个表行数,应该怎么办呢? 手动保存表数量 用缓存系统来保存计数 对于进行更新表,可能会想到用缓存系统来支持。比如 Redis 里来保存某个表总行数。...而且还有一点,由于 redo log 支持,在 MySQL 发生异常时,是可以保证 crash-safe。

2.9K30

MySQL自身对性能影响

MySQL体系结构 想要了解MySQL自身对性能影响,就需要先熟悉MySQL体系结构和常用存储引擎。MySQL并不完美,却足够灵活,能够适应高要求环境,例如Web类应用。...(获取存储在文件中数据,并根据我们过滤条件进行过滤,然后把数据显示出来)所以这个select语句功能是可以在MySQL服务层实现,但具体如何从文件中获得我们所要查询数据,则是由下一层存储引擎层来实现...如果使用独立表空间的话这个问题就很好解决了,我们对表数据进行清理之后,可以直接通过optimize table命令来收缩系统文件,并且不需要重启MySQL,也不会影响数据库访问。...2.然后我们再来看看使用系统表空间对I/O会有什么影响:对于系统表空间来说,因为只有一个文件,所以多个表空间进行数据刷新时候,实际上在文件系统上是顺序进行,这样就会产生大量I/O瓶颈。...建议,在Innodb下使用独立表空间进行数据存储。

1.2K20

影响mysql场外因素

Mysql在使用时不仅会受到自己配置参数影响, 服务器硬件设施, 内核参数也会对性能有影响....服务器硬件 先看下服务器硬件对Mysql性能影响, 这里主要介绍下CPU, 内存, 磁盘IO三个方面的影响....CPU 影响CPU性能主要是主频和核数, 根据运行服务不同, CPU选取重点也会有侧重点, CPU密集型 运行需要更快CPU, 主频越高越好 吞吐量优先型 WEB服务使用数据库对并发量, 吞吐量要求较高..., 需要并发处理SQL能力更高, CPU核数越多越好; 在选择mysql时, 需要注意在5.6以后版本, 对多核CPU支持比较好....; noop 这个策略最简单, 只有单个队列, 只有一些简单合并操作; Mysql这种数据库存储系统一般都会选用deadline

38110

Mysql Query Cache负面影响

Query Cache确实是以比较简单实现带来巨大性能收益功能。...但可能很多人都忽略了使用QueryCache之后所带来负面影响 (1)Queryhash运算及hash查找资源消耗 在使用Query Cache,每条SELECT类型Query到达MySQL之后,...都须要进行一个hash运算,然后查找是否存在该QueryCache,虽然这个hash运算算法可能已经非常高效,且hash查找过程也已经足够优化了,对于一条Query来说消耗资源确实是非常之少,...但是当发生高并发Query时,就不能忽视对CPU消耗了 (2)Query Cache失效问题 如果表变更比较频繁,则会造成Query Cache失效率非常高。...这里表变更不仅指表中数据变更,还包括结构或索引等任何变更。

1K80

MYSQL影响性能主要参数

公共参数 max_connections = 151 #同时处理最大连接数,推荐设置最大连接数是上限连接数80%左右 sort_buffer_size = 2M #查询排序时缓冲区大小,只对order...SELECT查询将直接从缓存池返回结果,可适当成倍增加此值 open_files_limit = 1024 #打开文件数限制,如果show global status like 'open_files'查看值等于或者大于...open_files_limit值时,程序会无法连接数据库或卡死 MyISAM参数 key_buffer_size = 16M #索引缓存区大小,一般设置物理内存30-40% read_buffer_size...对数据安全性要求不是很高推荐设置2,性能高,修改后效果明显。 innodb_file_per_table = OFF #默认是共享表空间,共享表空间idbdata文件不断增大,影响一定I/O性能。...推荐开启独立表空间模式,每个表索引和数据都存在自己独立表空间中,可以实现单表在不同数据库中移动。

1K50

是什么影响MySQL 性能?

SQL 脚本 SQL 脚本会影响MySQL 执行效率,这个大家都懂,面试八股文中常见问题之一。...服务器硬件如 CPU、内存、磁盘 IO 等都会影响MySQL 性能,操作系统也会影响MySQL 性能。 3.网卡流量 网卡流量当然也会影响数据库。...5.大表操作 大表操作也会影响到数据库性能,那么什么样表就算大表呢? 大表没有统一标准,还是要结合具体业务场景来定。 我举一个比较常规例子: 数据表中行数超过千万行。...在 MySQL5.5(不含) 之前,建立索引是会锁表,从 MySQL5.5(含) 开始,建立索引虽然不会锁表,但是会引起主从延迟(因为要在主库上操作完成之后,再将操作日志传到从库,然后完成同步)。...移除事务中不必要 SELECT 操作。 具体操作方式,我们将在以后文章中介绍。 7.存储引擎 使用 MySQL 我们可以选择不同存储引擎,不同存储引擎特点不同,最终对数据库影响也不同。

1.3K30

什么影响MySQL性能

若选择多核心CPU的话,最好使用MySQL5.6以上版本,因为低版本对多核心CPU支持得不是很好 注:MySQL目前不支持多CPU对同一SQL进行并发处理。...,也就是说数据在写入一块磁盘同时会在另一块闲置磁盘上生成镜像文件,在不影响性能情况下最大限度保证系统可靠性和可修复性。...MySQL适合操作系统 MySQL在不同操作系统需要注意事项: Windows下对数据库库名表名没有大小写敏感,但是Unix/Linux上却是大小写敏感,所以尽量统一小写 使用FreeBSD的话...,称之为系统交换分区,即swap分区 当操作系统因为没有足够内存时就会将一些虚拟内存写到磁盘交换分区中,这样就会发生内存交换 在MySQL服务器上是否要使用交换分区有一些争议: 有些人认为在MySQL...一般用于桌面级系统,但是用在跑MySQL服务系统就不太合适了,因为在MySQL工作负载下,cfq会在队列中插入一些不必要请求导致响应时间比较差 除了默认cfq策略外还可以选择以下几种策略:

86120

什么影响MySQL 性能?

来源:http://t.cn/RnU0h2o 1 影响性能几个方面 2 MySQL体系结构 3 InnoDB存储引擎 4 InnoDB存储引擎特性 5 什么是锁 6 如何选择正确存储引擎 7 配置参数...8 性能优化顺序 ---- 1 影响性能几个方面 服务器硬件。...(重点优化) 2 MySQL体系结构 分三层:客户端->服务层->存储引擎 ? MySQL是插件式存储引擎,其中存储引擎分很多种。只要实现符合mysql存储引擎接口,可以开发自己存储引擎!...3 InnoDB存储引擎 MySQL5.5及之后版本默认存储引擎:InnoDB。 3.1 InnoDB使用表空间进行数据存储。...1.2 独立表空间可以通过optimeze table 收缩系统文件,不需要重启服务器也不会影响对表正常访问。 2.1 如果对多个表进行刷新时,实际上是顺序进行,会产生IO瓶颈。

74410
领券