首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

mysql千万分页查询SQL优化

按照下文的方式调整SQL后,耗时800 ms; 关于分页的优化 使用limit分页时的MySQL并不是跳过offset行,而是取offset+N行,然后返回放弃前offset行,返回N行,那当offset...而 count 函数又是必不可少的,因为需要查询总数,以供分页显示总条数及最后一页,所以必须从 count 优化入手 2、 如果技术上优化遇到了瓶颈,或者说 mysql 已经优化到极致,那么能否从业务上解决...继续观察 mysql 索引情况,由于现有索引的 key_len 过大,可以通过建立较小的索引 (使用小字段) 来为排序使用,由于我们的业务查询必有时间段条件,固为时间段字段单独建立索引,由此带来了几秒的性能提升...此种优化最终实现:列表数据加载 40 秒 其他优化思路 通过学习研究发现,mysql innodb 引擎在有索引、有 where 条件的情况下,count 速度并不慢,所以问题一样还出在...3.最终优化: 列表数据查询 130ms,分页插件查询 (count 查询)150ms,目前数据单表数据量级在 2000 万左右,以次时间效率推断,多查询条件的复杂分页查询,可以支持单表几亿没有问题。

1.2K20
您找到你想要的搜索结果了吗?
是的
没有找到

Java创建ES父子文档及查询

参考链接: java 创建API文档 因为业务需求越来越变态,嵌套文档虽然香,但也架不住塞的东西太多,官方限制是10000,虽然可以改,但是我改了之后,发现还是有文档没录进去,遂寻求他法,最后尝试父子文档解决问题...                            .startObject("prjName").field("type","keyword").endObject()                             //在此处声明父子关系...                bulkResponse = this.restHighLevelClient.bulk(bulkRequest, RequestOptions.DEFAULT);  查询...  //这里的queryBuilder就是子类的各种查询条件,当你想要根据子类查询父类时,只需要将子类的条件放入HasChildQueryBuilder  //同理,要根据父类查询子类,只需用到HasParentQueryBuilder

2.1K20

MYSQL一次千万连表查询优化

那么这SQL不优化直接第一次执行需要多久(这里强调第一次是因为MYSQL带有缓存功能,执行过一次的同样SQL,第二次会快很多。) ?...8、执行distinct去重复数据 9、执行order by字句 10、执行limit字句 这里得知,Mysql 是先执行内联表然后再进行条件查询的最后再分组,那么想想这SQL的条件查询和分组都只是一个表的...,内联后数据就变得臃肿了,这时候再进行条件查询和分组是否太吃亏了,我们可以尝试一下提前进行分组和条件查询,实现方法就是子查询联合内联查询。...总结: 整个过程中我们得知,其实EXPLAIN有时候并不能指出你的SQL的所有问题,有一些隐藏问题必须要你自己思考,正如我们这个例子,看起来临时表是最大效率低的源头,但是实际上9W的临时表对MYSQL来说不足以挂齿的...总结: 其实这个优化方案跟我上一篇文章MYSQL一次千万连表查询优化(一)解决原理一样,都是解决了内联表后数据就变得臃肿了,这时候再进行条件查询和分组就太吃亏了,于是我们可以先对单表进行条件处理,再进行连表查询

3.5K40

mysql 联合查询_MySQL联合查询

MySQL联合查询 联合查询:union,将多次查询(多条select语句)的结果,在字段数相同的情况下,在记录的层次上进行拼接。...执行如下 SQL 语句,进行测试: — 联合查询,默认去重 select * from class union distinct select * from class; — 联合查询,保留所有记录 select...特别地,联合查询只要求字段数相同,而跟类型无关。...意义 联合查询的意义有两种,分别为: 查询同一张表,按时需要不同,例如查询学生信息,要求男生按年龄升序排序,女生按年龄降序排序; 多表查询,多张表的结构是完全一样的,保持的数据结构也是一样的。...根据我们刚刚学到的联合查询,貌似很容易啊!

18.7K30

30个MySQL千万大数据查询优化技巧

本文总结了30个mysql千万大数据SQL查询优化技巧,特别适合大数据技术学习者。 对查询进行优化,应尽量避免全表扫描,首先应考虑在where及orderby涉及的列上建立索引。...子句中对字段进行null值判断,否则将导致引擎放弃使用索引而进行全表扫描,如:selectidfromtwherenumisnull可以在num上设置默认值0,确保表中num列没有null值,然后这样查询...,SQL是根据表中数据来进行查询优化的,当索引列有大量数据重复时,SQL查询可能不会去利用索引,如一表中有字段sex,male、female几乎各一半,那么即使在sex上建了索引也对查询效率起不了作用。...17.尽量使用数字型字段,若只含数值信息的字段尽量不要设计为字符型,这会降低查询和连接的性能,并会增加存储开销。...这是因为引擎在处理查询和连接时会逐个比较字符串中每一个字符,而对于数字型而言只需要比较一次就够了。

1.6K21

Mysql查询_mysql并发查询

查询日志概念 MySQL的慢查询日志是MySQL提供的一种日志记录,它用来记录在MySQL中响应时间超过阀值的语句,具体指运行时间超过long_query_time值的SQL,则会被记录到慢查询日志中...默认情况下,Mysql数据库并不启动慢查询日志,需要我们手动来设置这个参数,当然,如果不是调优需要的话,一般不建议启动该参数,因为开启慢查询日志会或多或少带来一定的性能影响。...log-slow-queries :旧版(5.6以下版本)MySQL数据库慢查询日志存储路径。...开启了慢查询日志只对当前数据库生效,如果MySQL重启后则会失效。.../mysql/mysql06_slow.log 得到按照时间排序的前10条里面含有左连接的查询语句。

17.6K20

30个MySQL千万大数据SQL查询优化技巧详解

本文总结了30个mysql千万大数据SQL查询优化技巧,特别适合大 ? 数据里的MYSQL使用。...1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。...,SQL是根据表中数据来进行查询优化的,当索引列有大量数据重复时,SQL查询可能不会去利用索引,如一表中有字段sex,male、female几乎各一半,那么即使在sex上建了索引也对查询效率起不了作用。...17.尽量使用数字型字段,若只含数值信息的字段尽量不要设计为字符型,这会降低查询和连接的性能,并会增加存储开销。...这是因为引擎在处理查询和连接时会逐个比较字符串中每一个字符,而对于数字型而言只需要比较一次就够了。

5.5K30

mysql查询优化方法_MySQL查询优化

:索引没有设计好、SQL 语句没写好、MySQL 选错了索引 ’mysql查询优化 第一步:开启mysql查询日志,通过慢查询日志定位到执行较慢的SQL语句。...存储过程的信息对查询的影响情况 EXPLAIN 不考虑各种 Cache EXPLAIN 不能显示 MySQL 在执行查询时的动态,因为执行计划在执行查询之前生成 EXPALIN 部分统计信息是估算的,并非精确值...之id相同.png)] id 不同时,id 值越大优先越高,越先被执行 EXPLAIN SELECT * FROM t_role WHERE id = (SELECT role_id FROM user_role...SELECT id FROM t_user WHERE username = 'stu1')) id 有相同也有不同时,id 相同的可以认为是一组,从上往下顺序执行;在所有的组中,id 的值越大的组,优先越高...SUBQUERY 在 SUBQUERY 基础上,子查询中的第一个SELECT,取决于外部的查询 DERIVED 在 FROM 列表中包含的子查询,被标记为 DERIVED(衍生),MYSQL会递归执行这些子查询

14.2K40

MySQL查询 嵌套查询

MySQL查询 嵌套查询 一、带IN关键字的子查询 二、带EXISTS关键字的查询 三、带ANY、SOME 关键字的子查询 四、带ALL 关键字的查询 自言自语 一、带IN关键字的子查询 使用IN...关键字进行子查询的时候,内层查询语句仅仅返回一个数据列。...语法格式: SELECT 查询字段 FROM 表名 WHERE 字段名 [NOT] IN (SELECT 语句); 二、带EXISTS关键字的查询 意思就是内层的select查到了(至少查到了一行)才进行查询...,没有查到就不进行查询。...只要满足内层子查询中的任何一个比较条件,就返回一个结果作为外层查询的条件。 (满足任意一个) 语法格式: SELECT 查询字段 FROM 表名 WHERE 字段名 比较运算符(>,<..)

12K40

MySQL(联合查询、子查询、分页查询

目录 联合查询查询 分页查询 联合查询 联合查询是指将多个查询结果合并成一个结果集(二维表),通常出现在统计分析中。 语法: 查询语句1 UNION 查询语句2 UNION ......查询语句N 注意: 1.所有查询语句的返回结果的列数必须相等 2.每列的数据类型必须一致,【查询语句1中字段列表的类型必须和查询语句2中的字段列表类型对应且一致】 代码实例: SELECT user_id...子查询分类: 按结果及行数分: 1、 标量子查询(单行子查询:结果集只有一行一列) 2、 列子查询(多行子查询:结果集多行一列) 3、 行子查询(结果集有多行多列) 4、 表子查询(结果集有多行多列)...按出现位置分: 1、 SELECT 后面:只能出现标量子查询 2、 FROM 后面:表子查询查询结果必须起别名) 3、 WHERE|HAVING:支持标量子查询,列子查询,行子查询 4、 EXISTS...后面:支持表子查询 代码实例: 查询订单信息,并显示用户姓名 SELECT a.

16.3K20

MySQL(五)|《千万大数据查询优化》第二篇:查询性能优化(1)

MySQL优化一般是需要索引优化、查询优化、库表结构优化三驾马车齐头并进。 本章节开始讲查询优化。...MySQL在执行查询的时候有哪些子任务,这个是有一定的方法进行剖析的,具体方法下回单独拿一个章节来分析。...1.2、MySQL是否在扫描额外的记录,应该让MySQL使用最合适的方式查询数据 对于MySQL,最简单的衡量查询开销有三个指标:响应时间、扫描的行数和返回的行数。...更进一步,这样做相当于在应用中实现了哈希关联,而不是使用MySQL的嵌套循环关联。某些场景哈希关联的效率要高很多。 三、查询执行的基础 当向MySQL发送一个请求之后,MySQL到底做了些什么?...MySQL根据优化器生成的执行计划,调用存储引擎的API来执行查询。 将结果返回给客户端。 上述的每一步都比想象的复杂。我们在下一章节来进行分析。

1.7K91

elasticsearch中join类型数据如何进行父子文档查询

. —— Maya Angelou " ES 中 join 类型数据如何根据父文档查询全部子文档?又如何根据子文档查询其父文档呢?...更多精彩文章请关注公众号『Pythonnote』或者『全栈技术精选』 1.join 简介 在 ES 中有一种特殊的数据类型『join』,被形象地称为父子文档。...在官方文档中这样介绍:join 数据类型的字段是一个特殊字段,它可以在同一个索引的文档中创建 父子关系 。...": { "parent_type": "node_parent", // 填写父文档标示字段名 "query": { // 填写查询条件,注意填写的查询条件是查询父文档..."query": { // 填写查询条件,注意填写的查询条件是查询子文档,该查询条件是为定位到要基于的子文档 "match": { "dept_id":

3.8K40

MySQL(六)|《千万大数据查询优化》第二篇:查询性能优化(2)

在上一篇文章MySQL(五)|《千万大数据查询优化》第二篇:查询性能优化(1)中讲到一条SQL的查询执行路径如下图5-1所示: 图5-1 步骤如下: 客户端发送一条查询给服务器。...MySQL根据优化器生成的执行计划,调用存储引擎的API来执行查询。 将结果返回给客户端。 这一章节详细讲解下这一过程。...所以在前一章节的时候我们强烈在分页时一定要使用LIMIT限制MySQL只返回需要的数据的原因。 2、查询状态 每一个MySQL查询,任何时间都会有一个状态,该状态表示了MySQL当前正在做什么。...在一个查询额生命周期中,状态会变化很多次。MySQL官方手册中对这些状态值的含义有最权威的解释。 Sleep 线程正在等待客户端发送新的请求。...6、返回结果给客户端 查询执行的最后一个阶段是将结果返回给客户端。 关于查询性能优化话题更多的内容,建议读者自己阅读相关的内容,比如《高性能MySQL》书籍的第六章。

946100
领券