首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

mysql千万数据查询分页

基础概念

MySQL 是一个关系型数据库管理系统,广泛应用于各种规模的应用程序中。当数据量达到千万级别时,查询和分页操作可能会变得非常缓慢,因为传统的 LIMITOFFSET 分页方式在大数据量下效率较低。

相关优势

  1. 索引优化:通过合理使用索引,可以显著提高查询速度。
  2. 覆盖索引:查询的所有字段都在索引中,避免了回表操作。
  3. 分页优化:使用更高效的分页方法,如基于游标的分页。

类型

  1. 传统分页:使用 LIMITOFFSET
  2. 基于游标的分页:使用唯一标识符(如主键)进行分页。
  3. 基于索引的分页:利用索引的特性进行高效分页。

应用场景

  • 大数据量的日志查询。
  • 用户信息的分页展示。
  • 商品列表的分页显示。

遇到的问题及原因

问题:传统分页在大数据量下效率低下

原因

  • OFFSET 在大数据量下会导致大量的数据扫描,效率低下。
  • 数据库需要跳过大量的行才能找到目标行,导致性能下降。

问题:查询速度慢

原因

  • 没有合理使用索引。
  • 查询语句复杂,涉及多个表的连接。

解决方法

1. 使用覆盖索引

确保查询的字段都在索引中,避免回表操作。

代码语言:txt
复制
-- 创建索引
CREATE INDEX idx_name_age ON users(name, age);

-- 查询
SELECT name, age FROM users WHERE name = '张三' ORDER BY id LIMIT 10;

2. 基于游标的分页

使用唯一标识符(如主键)进行分页,避免使用 OFFSET

代码语言:txt
复制
-- 查询第10页,每页10条记录
SELECT * FROM users WHERE id > 90 ORDER BY id LIMIT 10;

3. 使用子查询优化分页

通过子查询优化分页逻辑,减少数据扫描量。

代码语言:txt
复制
-- 查询第10页,每页10条记录
SELECT * FROM (
    SELECT * FROM users ORDER BY id LIMIT 90, 10
) AS subquery;

示例代码

代码语言:txt
复制
-- 创建示例表
CREATE TABLE users (
    id INT PRIMARY KEY AUTO_INCREMENT,
    name VARCHAR(50),
    age INT
);

-- 插入示例数据
INSERT INTO users (name, age) VALUES ('张三', 25), ('李四', 30), ('王五', 35);

-- 使用覆盖索引查询
SELECT name, age FROM users WHERE name = '张三' ORDER BY id LIMIT 10;

-- 使用基于游标的分页查询
SELECT * FROM users WHERE id > 90 ORDER BY id LIMIT 10;

-- 使用子查询优化分页
SELECT * FROM (
    SELECT * FROM users ORDER BY id LIMIT 90, 10
) AS subquery;

参考链接

通过以上方法,可以有效解决 MySQL 千万数据查询分页的性能问题。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

mysql千万级分页查询SQL优化

(优化前页面需要转 1 分钟才可显示出数据,页面转圈圈~) 这个功能对应的是后台的一个千万级别的大表,未分库分表,目前的数据量为13755695,分页查询使用到了limit,优化之前的查询耗时30 s,...按照下文的方式调整SQL后,耗时800 ms; 关于分页的优化 使用limit分页时的MySQL并不是跳过offset行,而是取offset+N行,然后返回放弃前offset行,返回N行,那当offset...而 count 函数又是必不可少的,因为需要查询总数,以供分页显示总条数及最后一页,所以必须从 count 优化入手 2、 如果技术上优化遇到了瓶颈,或者说 mysql 已经优化到极致,那么能否从业务上解决...此种优化最终实现:列表数据加载 分页组件加载 >40 秒 其他优化思路 通过学习研究发现,mysql innodb 引擎在有索引、有 where 条件的情况下,count 速度并不慢,所以问题一样还出在...3.最终优化: 列表数据查询 130ms,分页插件查询 (count 查询)150ms,目前数据单表数据量级在 2000 万左右,以次时间效率推断,多查询条件的复杂分页查询,可以支持单表几亿没有问题。

1.3K20

MySQL-字节千万级数据分页查询优化方案

一、MySQL分页查询优化(基于limit offset,size) 1、表结构: create table `test`( `id` int(11), `className` varchar...NOT NULL comment `学生姓名`, primary KEY (`id`), KEY idx_className(`className`) USING BTREE ) 插入一千万条数据到表中...2、直接查询 直接分页查询耗时70s: select * from test where class_name = "班级一" limit 900000,10; 看mysql执行计划,的确用到了索引,但是查询耗时长达...一般分页查询有两种做法: 1、先查询出90万+10条记录的id,回表查询数据,再将90万+10条完整记录发给MySQL以便筛选最后10条; 2、先查询出90万+10条记录的id,筛选出最后10条记录的id...再回表查询,最后返回10条完整记录给MySQL。

33910
  • MySQL 百万级分页优化(Mysql千万级快速分页)

    ,如,存储网址的字段 查询的时候,不要直接查询字符串,效率低下,应该查诡该字串的crc32或md5 如何优化Mysql千万级快速分页 Limit 1,111 数据大了确实有些性能上的问题,而通过各种方法给用上...By:jack Mysql limit分页慢的解决办法(Mysql limit 优化,百万至千万条记录实现快速分页) MySql 性能到底能有多高?...我猜想是因为collect 数据太多,所以分页要跑很长的路。limit 完全和数据表的大小有关的。其实这样做还是全表扫描,只是因为数据量小,只有10万才快。...如果用复合查询,我的轻量级框架就没的用了。分页字符串还得自己写,那多麻烦?...2)第2次查询找出结果。 小小的索引+一点点的改动就使mysql 可以支持百万甚至千万级的高效分页!

    2.5K10

    千万级数据深分页查询SQL性能优化实践

    Tech 导读 分页查询在数据库中是一种很常见的应用场景,一般都可以使用limit语句快速实现。但是随着表数据的增长,limit查询性能也会越来越慢。...如何在Mysql中实现上亿数据的遍历查询?...2.2 标签记录法 Limit深分页问题的本质原因就是:偏移量(offset)越大,mysql就会扫描越多的行,然后再抛弃掉,这样就导致查询性能的下降。...方案优点:避免了数据量变大时,页码查询深入的性能下降问题;经过接口压测,千万级数据量时,从第一页到最后一页都控制在几十毫秒内。...,一步步从最简单的limit分页实现,到最后满足千万级表数据的分页查询探索实现,并介绍每种技术方案的优缺点,希望可以帮助读者去选择适合自己的技术方案。

    65530

    MySQL 百万级分页优化(Mysql千万级快速分页)

    ,如,存储网址的字段 查询的时候,不要直接查询字符串,效率低下,应该查诡该字串的crc32或md5 如何优化Mysql千万级快速分页 Limit 1,111 数据大了确实有些性能上的问题,而通过各种方法给用上...By:jack Mysql limit分页慢的解决办法(Mysql limit 优化,百万至千万条记录实现快速分页) MySql 性能到底能有多高?...我猜想是因为collect 数据太多,所以分页要跑很长的路。limit 完全和数据表的大小有关的。其实这样做还是全表扫描,只是因为数据量小,只有10万才快。...如果用复合查询,我的轻量级框架就没的用了。分页字符串还得自己写,那多麻烦?...2)第2次查询找出结果。 小小的索引+一点点的改动就使mysql 可以支持百万甚至千万级的高效分页!

    3.7K30

    mysql分页查询倒序_【Mysql笔记】MySQL实现分页查询

    limit 基本实现方式 一般情况下,客户端通过传递 pageNo(页码)、pageSize(每页条数)两个参数去分页查询数据库中的数据,在数据量较小(元组百/千级)时使用 MySQL自带的 limit...limit 进行数据分页在性能上面不会有明显的缓慢,但是数据量达到了 万级到百万级 sql语句的性能将会影响数据的返回。...这时需要利用主键或者唯一索引进行数据分页; 假设主键或者唯一索引为 good_id 收到客户端{pageNo:5,pagesize:10} select * from table where good_id...> (pageNo-1)*pageSize limit pageSize; –返回good_id为40到50之间的数据 基于数据再排序 当需要返回的信息为顺序或者倒序时,对上面的语句基于数据再排序。...,数据依据good_id顺序排列 发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/129455.html原文链接:https://javaforall.cn

    11.7K30

    java mysql 分页_mysql分页查询总结

    mysql分页查询总结 mysql提供分页的功能: SELECT * FROM table LIMIT [offset,] rows | rows OFFSET offset LIMIT子句可以被用于强制...下面,我们针对特例对mysql分页查询进行总结。 最简单的用法就是: select * from table limit ?,? 这种是最简单的limit分页查询。...以上两种情况,对于小数据量分页查询时,这样的sql就足够用了。但是对于百万级以上的数据表,如果使用上边的sql 的话,越往后limit语句的偏移量越来越大,查询就会变得越来越慢。...,子查询是在索引上进行的,而普通的查询是在数据文件上进行的。...(但是,子查询需要在内存中建立临时表,查询完毕后,MySQL需要撤销这些临时表。

    3.7K20

    mysql分页查询实例_mysql分页查询实例讲解「建议收藏」

    下面,我们针对特例对mysql分页查询进行总结。...mysql提供分页的功能:SELECT * FROM table LIMIT [offset,] rows | rows OFFSET offset 最简单的用法就是:select * from table...以上两种情况,对于小数据量分页查询时,这样的sql就足够用了。但是对于百万级以上的数据表,如果使用上边的sql 的话,越往后limit语句的偏移量越来越大,查询就会变得越来越慢。...(但是,子查询需要在内存中建立临时表,查询完毕后,MySQL需要撤销这些临时表。...通过join可以避免这种情况)在分页查询前,可以进行判断,如果是在限定页数内,就使用基本分页查询,大于则使用子查询分页处理。

    3.1K60

    MySQL 百万级数据分页查询优化

    有朋友提出: 因为数据查询出来并不是按照pk_id排序的,所以会有漏掉数据的情况,只能方法3 方法3: 基于索引再排序 语句样式: MySQL中,可用如下方法: SELECT * FROM 表名称 WHERE...大数据量使用limit分页,随着页码的增大,查询效率越低下。...对limit分页问题的性能优化方法 利用表的覆盖索引来加速分页查询 我们都知道,利用了索引查询的语句中如果只包含了那个索引列(覆盖索引),那么这种情况会查询很快。...因为利用索引查找有优化算法,且数据就在查询索引上面,不用再去找相关的数据地址了,这样节省了很多时间。另外Mysql中也有相关的索引缓存,在并发高的时候利用缓存就效果更好了。...可是数据量到了10万,百万至千万,他的性能还能那么高吗?一点小小的失误,可能造成整个系统的改写,甚至更本系统无法正常运行!好了,不那么多废话了。

    2K20

    浅谈MySQL分页查询

    MySQL系列文章到目前已经更新十几篇,从数据类型谈到了备份恢复再到主从同步分库分表,从本篇开始,会花几篇重点谈谈MySQL基础部分,而本篇我们重点来讲讲我们日常开发中最常见的一种查询:分页查询。...我们都知道使用limit关键字来进行分页,比如我们需要查询id为900000到900100的数据,我们可能会很熟练的这么进行分页: ?...,可以减少回表次数并且减少Mysql扫描那些无效的行数: ?...,所以显而易见使用子查询进行分页效率比直接使用limit分页效率高很多。...id为50--60的数据,但是实际上数据库第50--60条的数据应该id为60--70.所以说id限制分页查询效率很高但是有局限性,局限性就在于不能删除数据以保证id的连续性,而子查询不能使用where

    3.7K20

    MySQL(联合查询、子查询、分页查询)

    目录 联合查询 子查询 分页查询 联合查询 联合查询是指将多个查询结果合并成一个结果集(二维表),通常出现在统计分析中。 语法: 查询语句1 UNION 查询语句2 UNION ......查询语句N 注意: 1.所有查询语句的返回结果的列数必须相等 2.每列的数据类型必须一致,【查询语句1中字段列表的类型必须和查询语句2中的字段列表类型对应且一致】 代码实例: SELECT user_id...如果数据量过大(100亿),如果一次性显示10亿条数据,(100亿条数据本身从数据库中读取时慢【分库 分表】,将100亿条新闻展示在网页的过程也是很慢的) 手工分页 百度新闻、微商城、淘宝这些根据滚动条的位置来刷新数据...滚动条分页 基础语法: SELECT 查询字段列表 FROM 表名 WHERE 筛选条件 GROUP BY 分组列表 HAVING 筛选条件 ORDER BY 排序列表 LIMIT offset...; 如果offset为0 SELECT * FROM b_user LIMIT 2; 注意: 在SQL Server中使用top关键字进行分页;所谓top 7,代表查询前7条记录。

    16.4K20

    Mysql数据库~~条件查询、分页查询、修改操作

    ,两个都是null的时候可以返回这个1,这个解决了这个=的问题; like这个表示的是模糊匹配,就是我们不知道筛选什么,但是我们已经有了明确的标准; 2.3条件查询展示 查询语文成绩好于英语成绩的情况...: 2.4条件查询的先后问题 下面的这个我们本来是想要先进行这个数据的重命名,就是把这个相加之后的结果命名为total,然后在这个where进行条件查询的时候,使用这个total进行这个条件判断,但是这个时候会报错...; 2.8两个方式的区别说明 下面的就是我们的两个方式都可以实现相同的效果,但是我们的这个可以针对于两个列进行操作,但是这个is进行判断的话就是只能判断一个列,这个就是两个方式的一个差别; 3.分页查询...3的位置,就是我们的第四个数据位置开始计数,打印三个,因此这个显示的结果就是第4,5,6个数据; 4.对于数据的修改update 4.1一次修改一列 首先这个update需要跟上我们的操作的这个表的名字...,set表示的就是设置的意思,表示的是我们要对于这个什么内容进行设置,这个设置的对象就是根据我们的这个where进行查询得到的,对于这个符合where条件的进行设置; 4.2一次修改多列 下面的这个就是对于这个数据库里面的这个表的多列内容进行修改

    11410

    mysql大量数据分页查询优化-延迟关联

    所有的php初学者都应该知道,mysql的分页语句写法如下: select * from a limit (page-1)*page_size,page_size 而当这语句分页到一定程度时,例如1000...页,每页20条 select * from a limit 19980,20 会发现分页之后查询的会越来越慢 原因是因为limit a,b 的取数据方式是,先取出a+b条数据,再把a条筛选掉,剩b条...,相当于一次性要取a+b条的数据,而a条其实是无用的 解决方案如下 一:php代码解决 例如我们先查询出第一页的数据: select * from a limit 20 保留最后一个的id,当需要取第2...,不做优化,当到101页时采用该优化方案,并且不让用户从101页进行页面跳转到1xx页 二:mysql解决 SELECT *         FROM a         inner join(          ...普通方法查询,0.123秒 上一页最后一个的id为20000,则 ?  php方法查询,0.070秒 ? mysql索引覆盖查询,0.089秒

    2.6K20

    mysql慢查询优化-千万级数据量

    mysql 表数据达到百万甚至千万时,如何优化?...最近在忙其他项目,偶然发现之前的项目中,有个定时刷新告警信息的模块查询比较慢,简单的一个关联查询,尽然耗了20多秒才能出来, 才发现表的数据量已经达到了700万,我擦,我这暴脾气,不知道我强迫症吗,于是下定决心...1个小时解决了丫的 (—_— 后来,用时之久啊,人都消瘦了许多) 首先思路是,这么大数据,查询当然必须添加索引了,看以下介绍: 1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order...,SQL是根据表中数据来进行查询优化的,当索引列有大量数据重复时,SQL查询可能不会去利用索引, 如一表中有字段sex,male、female几乎各一半,那么即使在sex上建了索引也对查询效率起不了作用...= 6.对字段加函数或者运算的 在order by操作中,mysql只有在排序条件不是查询条件表达式时才使用索引。

    1.8K30

    使用MySQL实现分页查询

    使用MySQL实现分页查询 本文关键字:MySQL、分页查询、真分页、假分页、LIMIT 在项目开发当中,经常要实现分页功能,在面试时也会经常被问到,什么是分页。...真分页 真分页指的是每次在进行翻页时都只查询出当前页面的数据,特点就是与数据库的交互次数较多,但是每次查询的数据量较少,数据也不需要一直保存在内存中。...缓存层 真分页和假分页都要和数据库进行交互,对于真分页来说不需要担心数据同步的问题,因为每次都是查询出最新的,但是数据库的负担会很重,尤其是用户量大的情况下。...在对数据库中的数据进行修改后,要将变更后的数据及时同步到缓存层,在进行数据查询时从缓存层获取。 ? 二、MySQL实现分页 本文将介绍如何通过真分页的方式,每次取出所需数据。...对于不同的数据,实现分页有不同的方式,在MySQL中可以使用LIMIT来限制查询出的数据。 1. LIMIT用法 LIMIT出现在查询语句的最后,可以使用一个参数或两个参数来限制取出的数据。

    17.3K52

    mysql分表+分页查询

    背景 我们都知道,数据量大了,都要对数据库进行分库分表。奈何一直对分表及分表查询没什么概念,这里先不讲那么多概念,先直接演示一个demo。我们直接上车,请坐稳扶好。...where id%2=0; insert into tb_member2(id,name,age) select id,name,age from tb_member where id%2=1; 分页查询...接下来,我们需要考虑的是一张tb_member表被拆分成2张表,那分页如何实现呢?...其实tb_member_all表里面是没有存储数据,它就是一个外壳,里面的数据是tb_member1,tb_member2的并集,数据的存储是放在分表中;做数据查询的时候,就直接用tb_member_all...查询数据 SELECT * FROM tb_member_all order by id LIMIT 10 OFFSET 10; 删除数据 delete from tb_member_all where

    48130

    oracle、mysql 分页查询比较

    1、 Oracle的分页查询语句 分页查询格式: SELECT * FROM ( SELECT A.*, ROWNUM RN FROM (SELECT * FROM TABLE_NAME) A WHERE...ROWNUM = 21控制分页查询的每页的范围。 上面给出的这个分页查询语句,在大多数情况拥有较高的效率。分页的目的就是控制输出结果集大小,将结果尽快的返回。...因此,对于第二个查询语句,Oracle最内层返回给中间层的是所有满足条件的数据,而中间层返回给最外层的也是所有数据。数据的过滤在最外层完成,显然这个效率要比第一个查询低得多。...那么在大部分的情况下,对于分页查询选择NESTED LOOP作为查询的连接方法具有较高的效率(分页查询的时候绝大部分的情况是查询前几页的数据,越靠后面的页数访问几率越小)。...* FROM TABLE_NAME) A WHERE ROWNUM <= 40 ) WHERE RN >= 21 2、 MySQL的分页查询语句 在PhpMyAdmin里执行如下SQL: SELECT

    2.8K90
    领券