首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

MYSQL 查询优化之路-之DISTINCT扫描

背景:今天对一个20w的做关联查询,创建各种索引,没有提高执行的效率,使用EXPLAIN检查,总是提示“Using temporary”扫描,这不是我想的。...通过度娘,各种百度,是因为DISTINCT使用了扫描,现在特别记录下来。以背查验。...1.使用explain语法,对SQL进行解释,根据其结果进行调优: MySQL 关联的算法是 Nest Loop Join,是通过驱动的结果集作为循环基础数据,然后一条一条地通过该结果集中的数据作为过滤条件到下一个查询数据...[驱动] 的定义为:1)指定了联接条件时,满足查询条件的记录行数少的为[驱动];2)未指定联接条件时,行数少的为[驱动](Important!)。...如果还有第三个参与Join,则再通过前两个的Join结果集作为循环基础数据,再一次通过循环查询条件到第三个查询数据,如此往复 2.两JOIN优化: a.当无order by条件时

4.2K42

MySQL如何优化查询效率?

MySQL如何优化查询效率? 背景 XX 实例(一主一从)xxx 告警中每天凌晨在报 SLA 报警,该报警的意思是存在一定的主从延迟。...现在已经知道了在慢查询中记录的 select arrival_record where 语句传入的参数字段有 product_id,receive_time,receive_spend_ms,还想知道对该的访问有没有通过其他字段来过滤了...filtered: 33.33 Extra: Using where 1 row in set, 1 warning (0.00 sec) 该 delete 语句没有使用索引(没有合适的索引可用),走的扫描...XX 实例 arrival_record 信息: du -sh /datas/mysql/data/3316/cq_new_cimiss/arrival_record* 12K /datas/mysql...30G /datas/mysql/data/3308/test/arrival_record.ibd 没有碎片,和mysql的该的大小一致 cp -rp /datas/mysql/data/3308

10310

如何避免查询?什么是索引覆盖? | 1分钟MySQL优化系列

如何避免查询?什么是索引覆盖?...今天说一说如何避免查询?什么是索引覆盖? | 1分钟MySQL优化系列,希望能够帮助大家进步!!! 《迅猛定位低效SQL?》...什么是回查询? 什么是索引覆盖? 如何实现索引覆盖? 哪些场景,可以利用索引覆盖来优化SQL? 这些,这是今天要分享的内容。 画外音:本文试验基于MySQL5.6-InnoDB。...不管是SQL-Server官网,还是MySQL官网,都表达了:只需要在一棵索引树上就能获取SQL所需的所有列数据,无需回,速度更快。 三、如何实现索引覆盖?...场景1:count查询优化 原为: user(PK id, name, sex); 直接: select count(name) from user; 不能利用索引覆盖。

1.7K30

MySQL -- 扫描

-- db1.t有200GB mysql -h$host -P$port -u$user -p$pwd -e "select * from db1.t" > $target_file 查询数据 InnoDB...的数据是保存在主键索引上,扫描实际上是直接扫描t的主键索引 获取一行,写到 net_buffer 中,默认为 16K ,控制参数为 net_buffer_length 重复获取行,直到 写满 net_buffer...mysql_store_result net_buffer_length Sending data State切换 MySQL查询语句 在进入 执行阶段 后,首先把State设置为 Sending...State2,有一个读请求访问P3,P3被移动到链表的最前面 State3,要访问的数据页不在链表中,所以需要在 Buffer Pool 中新申请一个数据页Px,加到链表头部 Buffer Pool 冷数据扫描...每次被访问的时候都需要做以下判断 如果这个数据页在LRU链表中 存在的时间 超过了1S,就把它移动到链表头部,否则,位置不变 存在时间的值由参数 innodb_old_blocks_time 控制 该策略是为了处理类似 扫描

2.8K40

MySQL查询

是一种数据库分割技术,用于将大拆分成多个小,以提高数据库的性能和可管理性。在MySQL中,可以使用多种方法进行分,例如基于范围、哈希或列表等。...下面将详细介绍MySQL如何以及分如何进行数据查询。 基于哈希的分 基于哈希的分是一种将数据分散到多个子表中的数据库分策略。这种方法通过计算数据的哈希值来决定数据应该存储在哪个子表中。...基于哈希的分可以帮助平均分布数据,提高查询性能,并减轻单个的负载。下面是详细介绍如何基于哈希的分的步骤: 步骤1:创建子表 首先,你需要创建多个子表,每个子表将存储一部分数据。...然后,在对应的子表中执行查询操作。 性能优化和注意事项 •哈希函数选择: 选择合适的哈希函数以确保数据均匀分布。通常,哈希函数应该尽可能均匀地分布数据,以避免某些子表过载。...这种方法适用于按照特定条件或分类进行查询的场景。以下是详细介绍如何基于列表进行分的步骤: 步骤1:创建子表 首先,你需要创建多个子表,每个子表将存储一部分数据。

58920

MySQL查询

查询的语法及关键字执行的优先级 单查询语法 SELECT DISTINCT 字段1,字段2......1.找到:from 2.拿着where指定的约束条件,去文件/中取出一条条记录 3.将取出的一条条记录进行分组group by,如果没有group by,则整体作为一组 4.执行select(去重)...; SELECT * FROM employee; SELECT emp_name,salary FROM employee; #避免重复DISTINCT SELECT DISTINCT...查询岗位名以及岗位包含的所有员工名字 2. 查询岗位名以及各岗位内包含的员工个数 3. 查询公司内男员工和女员工的个数 4. 查询岗位名以及各岗位的平均薪资 5....查询岗位名以及各岗位的最高薪资 6. 查询岗位名以及各岗位的最低薪资 7. 查询男员工与男员工的平均薪资,女员工与女员工的平均薪资 ? ? ?

17.8K10

MySQL如何实现分库分如何提高查询效率

在大型电商网站中,随着业务的增多,数据库中的数据量也是与日俱增,这时候就要将数据库进行分库分了。 1、如何分库分?...两种解决方案:垂直拆分、水平拆分 垂直拆分:根据业务进行拆分,比如可以将一张中的多个字段拆成两张,一张是不经常更改的,一张是经常改的。...水平拆分:即根据来进行分割:比如user可以拆分为user0,、user1、user2、user3、user4等 2、分库分之后如何实现联合查询?...可以使用第三方中间件来实现,比如:mycat、shading-jdbc 原理解析: 当客户端发送一条sql查询:select * from user;此时中间件会根据有几个子表,拆分成多个语句:select...* from user1;select * from user2;select * from user3等多条语句查询,然后将查询的结果返回给中间件,然后汇总给客户端。

4.4K20

MySQL之单查询、多表查询

一、单查询: 单个查询方法及语法顺序需要通过实际例子来熟悉 先将数据创建下: ? ?...查询数据的条件依据 找到数据形成虚拟 ②、where约束条件的使用 # 1.查询id大于等于3小于等于6的数据 mysql> select * from emp where id >=...多个之间的查询一般都是在 之间存在某种逻辑关联的情况下进行的查询,这种逻辑上的关联其实就是中某个字段名和另外一个中的字段名存在一个一一对应的关系或者关联。...: # 就是将一个查询语句的结果用括号括起来当做另一个查询语句的条件去用 # 接着上面的mysql> select * from emp; +----+-------+--------+-----...,也可以通过其别名的方式把它作为一张虚拟去跟其他做关联查询 额外题: 部门中薪资超过部门平均薪资的员工姓名及薪资 mysql> select t1.name,t1.salary,t1.post,t2

22K30

临时tmp table如何避免

使用临时的情况: UNION查询; ORDER BY 或者GROUP BY查询; ORDER BY 或 GROUP BY中包含的列不是join中第一个的列; 同时使用DISTINCT...6、如何避免使用临时的设计原则 使用临时一般都意味着性能比较低,特别是使用磁盘临时,性能更慢,因此我们在实际应用中应该尽量避免临时的使用。...如果实在无法避免,也应该尽量避免使用磁盘临时。...常见的方法有: 1)创建索引:在ORDER BY或者GROUP BY的列上创建索引,这样可以避免使用临时; 2)分拆很长的列,可以避免使用磁盘临时:一般情况下,TEXT、BLOB,大于512字节的字符串...,基本上都是为了显示信息,而不会用于查询条件,因此设计的时候,应该将这些列独立到另外一张

3.4K80

mysql+分页查询

背景 我们都知道,数据量大了,都要对数据库进行分库分。奈何一直对分及分查询没什么概念,这里先不讲那么多概念,先直接演示一个demo。我们直接上车,请坐稳扶好。...where id%2=0; insert into tb_member2(id,name,age) select id,name,age from tb_member where id%2=1; 分页查询...接下来,我们需要考虑的是一张tb_member被拆分成2张,那分页如何实现呢?...其实tb_member_all表里面是没有存储数据,它就是一个外壳,里面的数据是tb_member1,tb_member2的并集,数据的存储是放在分中;做数据查询的时候,就直接用tb_member_all...查询数据 SELECT * FROM tb_member_all order by id LIMIT 10 OFFSET 10; 删除数据 delete from tb_member_all where

35330

MySQL的基本查询

查询 语法:SELECT * FROM 名; 通常情况下不建议使用 * 进行查询,因为: 查询的列越多,意味着需要传输的数据量越大; 可能会影响到索引的使用。...[order by ...] limit n offset s; 建议:对未知进行查询时,最好加一条 limit 1,避免因为中数据过大,查询数据导致数据库卡死。...我们查看当前库的: 可以看到有一张 employee ,我们查看这张的数据如下: 再查看表的结构: 然后我们把整数据删除: delete from employee; 再查看就发现数据没了...(2)截断 语法: truncate [table] table_name 注意:这个操作慎用 只能对整操作,不能像 delete 一样针对部分数据操作; 实际上 MySQL 不对数据操作,所以比...实例:创建一个新,插入一个旧表中查询到的去重后的数据 先创建一个旧表,并插入数据: mysql> create table duplicate_table (id int, name varchar

6810
领券