什么是 SQL语言? 答:SQL指结构化查询语言,全称是 Structured Query Language,是一种 ANSI(American National Standards Institute 美国国家标准化组织)标准的计算机语言。它是用于访问和处理数据库的标准的计算机语言。
所有 MySQL 命令的列表:注意,所有文本命令必须在一行的开头,并且以分号“;”结束
MySQL 5.6版本开始增加了提高表join性能的算法:Batched Key Access (BKA)的新特性。
作者:李锡超,一个爱笑的江苏苏宁银行 数据库工程师,主要负责数据库日常运维、自动化建设、DMP 平台运维。擅长 MySQL、Python、Oracle,爱好骑行、研究技术。
EXPLAIN: 为 SELECT语句中使用到的每个表返回一条信息。它按照MySQL在处理语句时读取它们的顺序列出这些表。MySQL使用循环嵌套算法解析所有连接。意味着MySQL从第一个表中读取一行,然后在第二个表,第三个表中找到匹配的行,等等。
源自:https://dev.mysql.com/doc/internals/en
我们知道对于Oracle的表连接,根据SQL连接条件主要支持如下三种连接方法(算法):
在应用的的开发过程中,由于初期数据量小,开发人员写 SQL 语句时更重视功能上的实现,但是当应用系统正式上线后,随着生产数据量的急剧增长,很多 SQL 语句开始逐渐显露出性能问题,对生产的影响也越来越大,此时这些有问题的 SQL 语句就成为整个系统性能的瓶颈,因此我们必须要对它们进行优化,本章将详细介绍在 MySQL 中优化 SQL 语句的方法。
MySQL 官方文档地址: 8.8 Understanding the Query Execution Plan
在Access数据库类型注入的时候,我们获取不到列名(前提是有表名),一般会选择使用偏移注入,但是这种注入方式往往借助的是个人的人品,且步骤繁琐。本文中我们研究了一种新的注入技术让“偏移注入不再需要人品”。 在这里定义这种注入技术为:“移位溢注技术”。它适用于ACCESS和MYSQL(任何版本)。 我们先来看看普通的偏移注入步骤: 1.判断注入点 2.order by 判断长度 3.判断表名 4.联合查询 5.获取表中列数:union select 1,2,3,4,..,* from TABLE 6.开始偏
前一段时间修改数据表时,给一个表添加一个datetime字段,当时遇到了一个问题:我是否需要给该datetime字段上加索引呢?如果不给该字段加索引,当where语句中使用该字段时,会不会扫全表呢?如果给其加了索引,那么势必会带来一些开销,假如这个索引用不到的话,给其加了索引岂不是画蛇添足了呢?
EXPLAIN作为MySQL的性能分析神器,读懂其结果是很有必要的,然而我在各种搜索引擎上竟然找不到特别完整的解读。都是只有重点,没有细节(例如type的取值不全、Extra缺乏完整的介绍等)。
使用 EXPLAIN 查看执行计划, 5.6后可以加参数 EXPLAIN FORMAT=JSON xxx输出json格式的信息。
MySql Explain是对SQL进行性能优化不可或缺的工具,通过他我们可以对SQL进行一定的分析和性能优化,降低线上业务因慢查询造成的性能损失。
我们知道,所谓表连接就是把各个表中的记录都取出来进行依次匹配,最后把匹配组合的记录一起发送给客户端。比如下面把t1表和t2表连接起来的过程如下图
MySQL EXPLAIN命令是查询性能优化不可缺少的一部分,该文主要讲解explain命令的使用及相关参数说明。
SQL(Structured Query Language,结构化查询语言)是一种专门用来与数据库通信的语言,其并非是编程语言。 SQL 的优点:
MySQL EXPLAIN详解:http://www.jianshu.com/p/ea3fc71fdc45
LIKE 操作符用于在 WHERE 子句中搜索列中的指定模式。其中 % 替代 0 个或多个字符。_替代一个字符。
为了让读者对join优化 有更深的了解,章节里的sql例子,留了一些思考和动手的问题。可能大家得到的答案会不同,但探索未知的过程,方式应该是一样的。
数据库性能依赖于数据库层面的一些诸如表、查询及配置等因素。而软件功能的构成最终反映到硬件上面,即CPU使用及I/O操作。减少CPU消耗,增加I/O效率则是提高软件性能的根本驱动。着眼于数据库性能的优化,首先我们需要从较高层次软件层面规则作指导,使用wall-clock 时间测算性能。当专业知识进一步提升,了解了更多的内部机制,则可以从CPU时钟及I/O操作方面进行改进。
应该尽量避免在 where 子句中使用 != 或 not in 或 <> 操作符,因为这几个操作符都会导致索引失效而进行全表扫描。
在阿里巴巴的java开发手册有这么一条强制规定:超过三个表禁止join,需要join的字段,数据类型保持绝对一致,多表关联查询时,要保证被关联的字段需要有索引。
前段时间笔者开发某个项目遇到了MySQL性能问题,每张表的数据量都在五千万以上,个别表数据量甚至在一个亿以上,在开发的过程中遇到了非常多的数据库性能优化难点,笔者在开发过程中查询了很多资料,很多查询语句也在优化过程中取得了比较好的效果。笔者也将开发过程中遇到的sql优化问题总结为文章,以便日后回顾。这篇文章主要讲解mysql执行联结运算的原理。为了避免泄露公司业务及数据,在文章中涉及的sql语句都和公司业务无关。
通常EXPLAIN用于获取QEP,而DESCRIBE、DESC用于获取表结构信息。
Facebook为了解决海量日志数据的分析而开发了Hive,后来开源给了Apache软件基金会。
执行计划是SQL语句经过查询分析器后得到的 抽象语法树 和 相关表的统计信息 作出的一个查询方案,这个方案是由查询优化器自动分析产生的。由于是动态数据采样统计分析出来的结果,所以可能会存在分析错误的情况,也就是存在执行计划并不是最优的情况。
如果你在面试中,听到MySQL5.6”、“索引优化” 之类的词语,你就要立马get到,这个问的是“索引下推”。
其实对于上面的观点一定程度上是正确的,但不是完全正确。但之所以流传这么广,主要还是没有搞清楚实际状态,而根据实际使用中总结出来的一些模糊规律。只有了解的MySQL的Join实际执行方式,就会知道上面2种观点是一种模糊的规律,这种规律并不能指导我们实际开发。下面就说说MySQL的实际join执行方式。
MySQL执行计划分析 Ⅰ、认识执行计划的每个字段 (root@localhost) [(none)]> desc select 1; +----+-------------+-------+------------+------+---------------+------+---------+------+------+----------+----------------+ | id | select_type | table | partitions | type | possible_keys |
一 介绍 MySQL 5.6版本提供了很多性能优化的特性,其中之一是关于提高表join性能的算法:Batched Key Access (BKA) ,本文将结合之前写过MRR,BNL优化特性一起来详细介绍该算法。 二 原理 对于多表join语句,当MySQL使用索引访问第二个join表的时候,使用一个join buffer来收集第一个操作对象生成的相关列值。BKA构建好key后,批量传给引擎层做索引查找。key是通过MRR接口 提交给引擎的. 这样,MRR使得查询更有效率。 大致的过程如下:
以Excel文件举例: 数据库:可以看作是整个excel文件。 数据表:可以看作是一个excel文件中的工作表。
说明:上面我们已经创建好了表结构,但是还没有插入数据,那么前面基础部分已经写过插入数据的SQL语句,所有这部分我们换种方法来实现插入数据,其实是拷贝其他表的数据
在数据库处理中,Join操作是最基本且最重要的操作之一,它能将不同的表连接起来,实现对数据集的更深层次分析。
CRUD:增查改删,即,create/read/update/delate 主要被用在描述软件系统中数据库或者持久层的基本操作功能
1、什么是数据库 数据库是一个以某种有组织的方式存储的数据集合 (人们通常用数据库这个术语来代表他们使用的数据库软件,这是不正确的。数据库软件应称为DBMS(数据库管理系统),数据库是通过DBMS创建和操纵的容器) 表(table)是某种特定类型数据的结构化清单 (数据库中的每个表都有一个名字,用来标识自己,此名字是唯一的) 模式(schema)关于数据库和表的布局及特性的信息 列(column)表中的一个字段。正确的将数据分解成多个列很重要。每个列都有相应的数据类型,用来定义列可以存储的数据种类 行 表中的数据是按行存储的,所保存的每个记录存储在自己的行内 主键(primary key)一列(或一组列),其值能够唯一区分表中的每一行 注意:1、任意两行都不具有相同的主键值 2、每个行都必须具有一个主键值(主键列不允许NULL值) SQL是结构化查询语言(Structured Query Language)的缩写,是一种专门用来与数据库通信的语言 优点:1、不是某个特定数据库供应商专有的语言,几乎所有重要的DBMS都支持2、简单易学3、可以进行非常复杂和高级的数据库操作 2、MySQL (1)、开放源代码,可以免费使用 (2)、性能非常好 (3)、可信赖并且简单易用 DBMS可分为两类:(1)、基于共享文件系统的DBMS(例如:Microsoft Access和FileMaker)(2)、基于客户机-服务器的DBMS(例如:MySQL,Oracle,Microsoft SQL Server) 基于客户机-服务器的DBMS与数据文件打交道的只有服务器软件,关于数据、数据添加、删除和数据更新的所有请求都由服务器软件完成 2.1 mysql命令行实用程序 2.2 MySQL Administrator是一个图形交互客户机,用来简化MySQL服务器的管理(需要安装) 2.3 MySQL Query Browser为一个图形交互客户机,用来编写和执行MySQL命令 3、使用MySQL 常用命令: use database 选择数据库 show databases 显示数据库 show tables 显示数据库里的表 show clumns from table 显示表中的列 (同 describe table) show status 用于显示广泛的服务器状态信息 show create database 和 show create table 用来显示创建特定的数据库和表的MySQL语句 show grants 用来显示授予用户(所有用户和特定用户)的安全权限 show errors和show warnings 用来显示服务器错误或警告消息 4、检索数据 SELECT id,name FROM table; 使用DISTINCT 来告诉MySQL来返回不同的行 5、排序检索数据 ORDER BY ASC DESC 6、过滤数据 WHERE = 等于 <> 不等于 != 不等于 < 小于 <= 小于等于 > 大于 >= 大于等于 between 在指定的两个值之间 检查单个值 不匹配检查 范围值检查 空值检查 AND 操作符 OR 操作符 IN 操作符 IN 操作符优点:1、在使用长的合法选项清单时,IN操作符的语法更清楚更直观2、计算的次序更容易管理3、一般比OR操作符清单执行更快4、可以包含其他SELECT 语句 NOT 操作符 用通配符进行过滤 LIKE 操作符 百分号(%)通配符 下划线(_)通配符 注意:下划线只匹配单个字符而不是多个字符 用正则表达式来进行搜索REGEXP???? 在LIKE与REGEXP之间有一个重要的差别 进行OR匹配(|) 匹配几个字符之一可通过指定一组用[和]括起来的字符来完成(eg:WHERE prod_name REGEXP '[123] Ton' 输出:1 ton vil 2 ton vil) 匹配范围(eg:[1-9],[a-z]) 匹配特殊字符 匹配多个实例 匹配定位符 7、创建计算字段 拼接(concatenate)将值联结到一起构成单个值 多数DBMS使用+或|| 来实现拼接,MySQL则使用Concat()函数来实现(eg: SELECT Concat(vend_name,'(',vend_country,')')) 执行算术计算 SELECT id,num*price as total_price FROM t_order;(操作符有 + - * /) 8、使用数据处理函数 文本处理函数:RTrim()、Upper()、Left()、Length()、Locate()、Lower()、LTrim()、Right()、Soundex
线上,遇到一些sql性能问题,需要手术刀级别的调优。optimizer_trace是一个极好的工具,已经有很多资料介绍optimizer_trace怎么使用与阅读。有必要再介绍一下我们平时不太能注意到,但是又对sql性能起着绝对作用的优化器。
MySQL的EXPALIN是优化查询语句必不可少的工具,用户通过它可以获得查询计划的相关信息,查看优化器的选择。
本文主要是总结了工作中一些常用的操作,以及不合理的操作,在对慢查询进行优化时收集的一些有用的资料和信息,本文适合有mysql基础的开发人员
本文主要总结了工作中一些常用的操作及不合理的操作,在对慢查询进行优化时收集的一些有用的资料和信息,本文适合有MySQL基础的开发人员。
◆ 概述 RazorSQL是适用于 Windows、macOS、Mac OS X、Linux 和 Solaris 的 SQL 查询、数据库浏览器、SQL 编辑的数据库管理工具。 RazorSQL 支持40 多个数据库,可以通过 JDBC或ODBC连接到数据库: ◆ 增强功能 增强了暗模式。可以通过 View -> Dark Mode 菜单选项选择暗模式。现在可以通过 View -> Legacy Dark Mode 菜单选项选择以前的暗模式。 添加了可以通过 View -> Light Mode 菜单选项
第一个 “位置偏移量” 参数指示 MySQL 从哪一行开始显示,是一个可选参数,如果不指定 “位置偏移量”,将会从表中的第一条记录开始(第一条记录的位置偏移量是 0,第二条记录的位置偏移量是 1,以此类推);第二个参数 “行数” 指示返回的记录条数。
在create table的时候可以指定引擎类型(engine=InnoDB|MyISAM|Memory),不同存储引擎的表数据存储方式也不一致。
对于 MySQL 的 JOIN,不知道大家有没有去想过他的执行流程,亦或有没有怀疑过自己的理解(自信满满的自我认为!);如果大家不知道怎么检验,可以试着回答如下的问题
在上一篇《InnoDB 层系统字典表|全方位认识 information_schema》中,我们详细介绍了InnoDB层的系统字典表,本期我们将为大家带来系列第六篇《InnoDB 层锁、事务、统计信息字典表|全方位认识 information_schema》
从4到1,成本是逐渐增大的,因此数据库的优化上,SQL语句优化是很重要的一个方面。
基数是数据列所包含的不同值的数量,例如,某个数据列包含值 1、3、7、4、7、3,那么它的基数就是 4。
领取专属 10元无门槛券
手把手带您无忧上云