首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

mysql千万分页查询SQL优化

按照下文的方式调整SQL后,耗时800 ms; 关于分页的优化 使用limit分页时的MySQL并不是跳过offset行,而是取offset+N行,然后返回放弃前offset行,返回N行,那当offset...而 count 函数又是必不可少的,因为需要查询总数,以供分页显示总条数及最后一页,所以必须从 count 优化入手 2、 如果技术上优化遇到了瓶颈,或者说 mysql 已经优化到极致,那么能否从业务上解决...继续观察 mysql 索引情况,由于现有索引的 key_len 过大,可以通过建立较小的索引 (使用小字段) 来为排序使用,由于我们的业务查询必有时间段条件,固为时间段字段单独建立索引,由此带来了几秒的性能提升...此种优化最终实现:列表数据加载 40 秒 其他优化思路 通过学习研究发现,mysql innodb 引擎在有索引、有 where 条件的情况下,count 速度并不慢,所以问题一样还出在...3.最终优化: 列表数据查询 130ms,分页插件查询 (count 查询)150ms,目前数据单表数据量级在 2000 万左右,以次时间效率推断,多查询条件的复杂分页查询,可以支持单表几亿没有问题。

1.2K20
您找到你想要的搜索结果了吗?
是的
没有找到

MYSQL一次千万连表查询优化

那么这SQL不优化直接第一次执行需要多久(这里强调第一次是因为MYSQL带有缓存功能,执行过一次的同样SQL,第二次会快很多。) ?...8、执行distinct去重复数据 9、执行order by字句 10、执行limit字句 这里得知,Mysql 是先执行内联表然后再进行条件查询的最后再分组,那么想想这SQL的条件查询和分组都只是一个表的...,内联后数据就变得臃肿了,这时候再进行条件查询和分组是否太吃亏了,我们可以尝试一下提前进行分组和条件查询,实现方法就是子查询联合内联查询。...总结: 整个过程中我们得知,其实EXPLAIN有时候并不能指出你的SQL的所有问题,有一些隐藏问题必须要你自己思考,正如我们这个例子,看起来临时表是最大效率低的源头,但是实际上9W的临时表对MYSQL来说不足以挂齿的...总结: 其实这个优化方案跟我上一篇文章MYSQL一次千万连表查询优化(一)解决原理一样,都是解决了内联表后数据就变得臃肿了,这时候再进行条件查询和分组就太吃亏了,于是我们可以先对单表进行条件处理,再进行连表查询

3.5K40

ORACLE:根据id查询所有子孙数据,或者根据子id查询所有数据(start with connect by prior)

INTO REGION VALUES ('11', '绍兴市', '3', '2'); INSERT INTO REGION VALUES ('12', '西湖区', '3', '3'); 三、根据id查询所有的子数据...需求:我输入山东省的id,会把山东省及下面的市区都查询出来 select * from REGION start with id = 2 connect by prior id = pid -- prior...右边是子id,就往子的方向查询 ORDER BY id; 结果展示 四、根据id查询所有的数据 需求:我输入黄岛区的id,会把黄岛区及其所在的市省国查询出来 select * from REGION...start with id = 8 connect by prior pid = id -- prior 右边是id,就往的方向查询 ORDER BY id; 结果展示 五、总结 主要是列举这两种比较常用的写法

2.2K10

mysql 联合查询_MySQL联合查询

MySQL联合查询 联合查询:union,将多次查询(多条select语句)的结果,在字段数相同的情况下,在记录的层次上进行拼接。...执行如下 SQL 语句,进行测试: — 联合查询,默认去重 select * from class union distinct select * from class; — 联合查询,保留所有记录 select...特别地,联合查询只要求字段数相同,而跟类型无关。...意义 联合查询的意义有两种,分别为: 查询同一张表,按时需要不同,例如查询学生信息,要求男生按年龄升序排序,女生按年龄降序排序; 多表查询,多张表的结构是完全一样的,保持的数据结构也是一样的。...根据我们刚刚学到的联合查询,貌似很容易啊!

18.7K30

java递归查询节点_java递归例子

数据库设计:此处将章课节所有信息存放到一张表中,可递归查询。最上一章的parentid是教材的id。故给一个教材id便可以查找到其下所有的章课节信息。...二、解决 已设置的我们这里不讨论,只需要到库中查询对应的章课节即可。...那么对于默认第一章第一课第一节,我们这里使用一个递归函数将查询的结果存放到一个list中 /*** 根据给定的id,查询其下的第一课、第一节(不只适用于章课节三,如果下面还有级别的目录,也可查 * *...= null) { list.add(c); getSubChapter(c.getId(), list);//递归查询 } } }catch(Exception e) { logger.error...(e.getMessage(),e); } } 递归查询的特点:函数方法自己掉用自己,通过某个条件判断跳出最后一个被调用的递归方法。

2.3K10

30个MySQL千万大数据查询优化技巧

本文总结了30个mysql千万大数据SQL查询优化技巧,特别适合大数据技术学习者。 对查询进行优化,应尽量避免全表扫描,首先应考虑在where及orderby涉及的列上建立索引。...子句中对字段进行null值判断,否则将导致引擎放弃使用索引而进行全表扫描,如:selectidfromtwherenumisnull可以在num上设置默认值0,确保表中num列没有null值,然后这样查询...,SQL是根据表中数据来进行查询优化的,当索引列有大量数据重复时,SQL查询可能不会去利用索引,如一表中有字段sex,male、female几乎各一半,那么即使在sex上建了索引也对查询效率起不了作用。...17.尽量使用数字型字段,若只含数值信息的字段尽量不要设计为字符型,这会降低查询和连接的性能,并会增加存储开销。...这是因为引擎在处理查询和连接时会逐个比较字符串中每一个字符,而对于数字型而言只需要比较一次就够了。

1.6K21

Mysql查询_mysql并发查询

查询日志概念 MySQL的慢查询日志是MySQL提供的一种日志记录,它用来记录在MySQL中响应时间超过阀值的语句,具体指运行时间超过long_query_time值的SQL,则会被记录到慢查询日志中...默认情况下,Mysql数据库并不启动慢查询日志,需要我们手动来设置这个参数,当然,如果不是调优需要的话,一般不建议启动该参数,因为开启慢查询日志会或多或少带来一定的性能影响。...log-slow-queries :旧版(5.6以下版本)MySQL数据库慢查询日志存储路径。...开启了慢查询日志只对当前数据库生效,如果MySQL重启后则会失效。.../mysql/mysql06_slow.log 得到按照时间排序的前10条里面含有左连接的查询语句。

17.6K20

Rafy 中的 Linq 查询支持(根据聚合子条件查询聚合

为了提高开发者的易用性,Rafy 领域实体框架在很早开始就已经支持使用 Linq 语法来查询实体了。但是只支持了一些简单的、常用的条件查询,支持的力度很有限。...特别是遇到对聚合对象的查询时,就不能再使用 Linq,而只能通过构造底层查询树的接口来完成了。由于开发者的聚合查询的需求越来越多,所以本周我们将这部分进行了增强。...支持引用查询。即间接使用引用实体的属性来进行查询,在生成 Sql 语句时,将会生成 INNER JOIN 语句,连接上这些被使用的引用实体对应的表。...聚合查询 聚合查询的功能是,开发者可以通过定义聚合子的属性的条件,来查询聚合。这是本次升级的重点。...那么,我们可以通过这个功能,来查询类似以下需求的数据: 查询拥有某个章的名字的所有书籍。

2.7K70

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

    运营活动

    活动名称
    广告关闭
    领券