在 MySQL 中,最常见的去重方法有两个:使用 distinct 或使用 group by,那它们有什么区别呢?接下来我们一起来看。
提升SELECT 的最好方式是使用索引。索引条目作为表数据行的指针,使得查询能够很快的定位到所要查找的数据。所有的MySQL数据类型都可以创建索引。
本文的内容是总结MySQL在没有DBA的团队中的一些常见使用技巧。以下内容以mysql5.5为准。除非另有说明,否则存储引擎以InnoDB为准。
数据库使用索引以找到特定值,然后顺指针找到包含该值的行。在表中建立索引,然后在索引中找到符合查询条件的索引值,最后通过保存在索引中的ROWID(相当于页码)快速找到表中对应的记录。索引的建立是表中比较有指向性的字段,相当于目录,比如说行政区域代码,同一个地域的行政区域代码都是相同的,那么给这一列加上索引,避免让它重复扫描,从而达到优化的目的!
本文的内容是总结一些MySQL的常见使用技巧,以供没有DBA的团队参考。以下内容以MySQL5.5为准,如无特殊说明,存储引擎以InnoDB为准。
在MySQL中,索引是在存储引擎层而不是服务器层实现的。所以没用统一的索引标准,不同存储引擎的索引工作方式并不相同。
分区就是将表的数据按照特定规则存放在不同的区域,也就是将表的数据文件分割成多个小块,在查询数据的时候,只要知道数据数据存储在哪些区域,然后直接在对应的区域进行查询,不需要对表数据进行全部的查询,提高查询的性能。同时,如果表数据特别大,一个磁盘磁盘放不下时,我们也可以将数据分配到不同的磁盘去,解决存储瓶颈的问题,利用多个磁盘,也能够提高磁盘的IO效率,提高数据库的性能。常见的分区类型有:Range分区、List分区、Hash分区、Key分区:
第一个 “位置偏移量” 参数指示MySQL从哪一行开始显示,是一个可选参数,如果不指定“位置偏移量”,将会从表中的第一条记录开始(第一条记录的位置偏移量是0,第二条记录的位置偏移量是1,以此类推);
本文用的是Oracle 10g数据库,利用PL/SQL Developer的集成开发环境。
我曾经在公司处理过很多次Mysql性能上的问题,利用一些Linux常用的命令来查看Mysql对服务器的CUP和I/O使用情况,通过慢查询日志找出有待优化的sql,通过show processlist查看正在执行的sql的情况以及及时kill死锁的sql,通过EXPLAIN分析需要优化的sql语句。当然也对Mysql内部配置做了一些调整。 最近也在看《高性能MySQL》这本Mysql的经典书籍,很早的时候我就想写一个系列来介绍我在使用Mysql遇到的一些问题。无意中发现一篇博客写的内容和我想写的基本差不
mysql 中 SELECT 命令类似于其他编程语言的 print 或 write,可用来显示字符串、数字、数学表达式的结果等
慢查询 // 慢查询 缓慢的查询,低效的性能导致影响正常业务 MySQL默认10秒内没有响应SQL结果,为慢查询 // 检查慢查日志是否开启: show variables like 'slow_query_log'; // 检查慢日志路径 show variables like '%slow_query_log%'; // 开启慢日志 set global slow_query_log=on; // 慢日志判断标准(默认查询时间大于10s的sql语句) show variables like 'long
1、隔离级别有四种: READ UNCOMMITTED(未提交读),同事务中某个语句的修改,即使没有提交,对其他事务也是可见的。这个也叫脏读。 READ COMMITTED(提交读),另一个事务只能读到该事务已经提交的修改,是大多数据库默认的隔离级别。但是有下列问题,一个事务中两次读取同一个数据,由于这个数据可能被另一个事务提交了两次,所以会出现两次不同的结果,所以这个级别又叫做不可重复读。这里的不一样的数据包括虚读(两次结果不同)和幻读(出现新的或者缺少了某数据)。 REPEATABLE READ(可重复读),这个级别不允许脏读和不可重复读,比如MYSQL中通过MVCC来实现解决幻读问题。 SERIALIABLE(可串行化),这儿实现了读锁,级别最高。
第一个 “位置偏移量” 参数指示 MySQL 从哪一行开始显示,是一个可选参数,如果不指定 “位置偏移量”,将会从表中的第一条记录开始(第一条记录的位置偏移量是 0,第二条记录的位置偏移量是 1,以此类推);第二个参数 “行数” 指示返回的记录条数。
之前的一篇《MySQL索引底层数据结构及原理深入分析》很受读者欢迎,成功地帮大家揭开了索引的神秘面纱,有读者留言说分不清各种索引的概念,希望能讲一下。确实,数据库中索引种类很多,如聚集索引、复合索引、二级索引、唯一索引...你是不是也搞得不是太清楚,那么今天就带大家一起看下索引的分类及相关概念。
索引分类 从数据结构角度可分为B+树索引、哈希索引、以及全文(FULLTEXT)索引(现在MyISAM和InnoDB引擎都支持)和R-Tree索引(用于对GIS数据类型创建SPATIAL索引);
MySQL 可以在 Server 级、Database 级、Table 级、Column 级进行字符集的设置。
问题1:mysql索引类型normal,unique,full text的区别是什么?
mysql 是日常的开发中常用的关系型数据库,除了 CRUD 之外的操作,mysql 也有很多有趣而且巧妙的操作,掌握这些技巧,可以在工作中得心应手、游刃有余。 在本文中会涉及以下内容: mysql 字符串的操作,例如如何使用 concat 拼接更新语句以及 group_concat 的神奇用法。 mysql 中 select 的神奇用法, select 不仅可以用来执行 DQL,还可以用来查询变量和数学运算。 mysql 多列查询配合联合索引的正确用法, 比如 in 的多列查询操作。 涉及时间操作的一些函
索引用来快速地寻找那些具有特定值的记录,所有MySQL索引都以B-树的形式保存。如果没有索引,执行查询时MySQL必须从第一个记录开始扫描整个表的所有记录,直至找到符合要求的记录。表里面的记录数量越多,这个操作的代价就越高。如果作为搜索条件的列上已经创建了索引,MySQL无需扫描任何记录即可迅速得到目标记录所在的位置。
在 mysql 中,含有空值的列很难进行查询优化,因为它们使得索引、索引的统计信息以及比较运算更加复杂。
本文整理自美团技术沙龙第75期的主题分享《美团数据库攻防演练建设实践》,系超大规模数据库集群保稳系列(内含4个议题的PPT及视频)的第4篇文章。
• mysql-filtering-by-multiple-columns[1] • selecting-where-two-columns-are-in-a-set[2]
数据索引就好比新华字典的音序表。它是对数据表中一列或者多列的值进行排序后的一种结构,其作用就是提高表中数据的查询速度。
上一篇文章:mysql数据库索引优化 比较简单的是单列索引(b+tree)。遇到多条件查询时,不可避免会使用到多列索引。联合索引又叫复合索引。 b+tree结构如下: 每一个磁盘块在mysql中是一个页,页大小是固定的,mysql innodb的默认的页大小是16k,每个索引会分配在页上的数量是由字段的大小决定。当字段值的长度越长,每一页上的数量就会越少,因此在一定数据量的情况下,索引的深度会越深,影响索引的查找效率。 📷 对于复合索引(多列b+tree,使用多列值组合而成的b+tree索引)。遵循最左侧原
之前的篇章我们讨论的都是基于单列的分区表,那有无必要建立基于多列的分区表?这种分区表数据分布是否均匀?有无特殊的应用场景?有无特殊的优化策略?本篇基于这些问题来进行重点解读。
另:SELECT * FROM information_schema.STATISTICS WHERE TABLE_NAME = "t1" 与 show index from t1 作用相似,且会返回更多的字段信息
scott 数据库是 oracle 9i 的经典测试数据库,用于为初学者提供一些简单的应用示例,便于初学者进行练习,其中的表和表间的关系演示了关系型数据库的一些基本原理。本文所有的查询工作都是基于 scott 数据库进行的,scott 数据库的 .sql 文件代码如下:
第一章:数据类型和操作数据表 MySQL语句的规范 (1):关键字与函数名称全部大写 (2):数据库名称,表名称,字段名称全部小写 (3):SQL语句必须以分号结尾 1:命令行模式启动mysql服务
比较简单的是单列索引(b+tree)。遇到多条件查询时,不可避免会使用到多列索引。联合索引又叫复合索引。
命名规则:表名_字段名 1、需要加索引的字段,要在where条件中 2、数据量少的字段不需要加索引 3、如果where条件中是OR关系,加索引不起作用 4、符合最左原则
序 本文主要展示如何使用mysql的多列组合查询 何为多列组合查询呢,就是查询的值不再是单个列的值,而是组合列的值。比如where (column1,column2) in ((a1,b1),(a2,b2),(a3,b3)) 实例 建表 create table t_demo( id int NOT NULL AUTO_INCREMENT PRIMARY KEY, name varchar(10), score int ); insert into t_demo(name,score)
Oracle数据库是数据的物理存储。这就包括(数据文件ORA或者DBF、控制文件、联机日志、参数文件)。其实 Oracle数据库的概念和其它数据库不一样,这里的数据库是一个操作系统只有一个库。可以看作是 Oracle就只有一个大数据库。
由此可见,null和''的查询方式不同。而且比较字符 ‘=’’>’ ‘<’ ‘<>’不能用于查询null, 如果需要查询空值(null),需使用is null 和is not null。
使用索引时,应尽量避免全表扫描,首先应考虑在 where 及 order by ,group by 涉及的列上建立索引。
MySQL索引的建立对于MySQL的高效运行是很重要的,索引可以大大提高MySQL的检索速度。
1. MySQL的语法: 2. MySQL语法的定义顺序: (1) 指定查询的字段(2) 指定是否去重(3) 指定表名(4) 指定联表方式(5) 指定联表条件(6) 指定判断条件(7) 指定分组字段(8) 指定分组后的过滤条件(9) 指定排序方式(10) 指定分页显示方式 3. MySQL语法的执行数序: (1) 先找到查询的左表(2) 指定左表和右表联表的条件(3) 找到联表的右表生成笛卡尔积临时表(4) 根据判断条件找出符合条件的数据(5) 把结果按照指定的字段进行分组(6) 通过分组再次过滤出符合
在涉及order by操作的sql时,b-tree索引返回的结果是有序的,可以直接返回,而其他索引类型,需要对索引返回结果再进行一次排序。b-tree索引的默认排序为升序,空值放在最后,创建索引时可以指定排序方式,如按倒序排序时,空值默认是放在最前的,但往往我们的查询并不想展示空值的结果,此时可以在创建索引时指定排序desc nulls last以达到和查询sql切合的目的。
OpenTSDB(Open time series data base),开发时间序列数据库。DB这个词很有误导性,其实并不是一个db,单独一个OpenTSDB无法存储任何数据,它只是一层数据读写的服务,更准确的说它只是建立在Hbase上的一层数据读写服务。行业内各种db都很多了,为什么还会出现它?它到底有什么好?它做了什么?别着急,我们来一一分析下。 其实OpenTSDB不是一个通用的数据存储服务,看名字就知道,它主要针对于时序数据。什么是时序数据,股票的变化趋势、温度的变化趋势、系统某个指标的变化趋势……其实都是时序数据,就是每个时间点上纪录一条数据。 关于数据的存储,我们最熟悉的就是mysql了,但是想想看,每5分钟存储一个点,一天288个点,一年就10万+,这还是单个维度,往往在实际应用中维度会非常多,比如股票交易所,成千上万支股票,每天所有股票数据就可能超过百万条,如果还得支持历史数据查询,mysql是远远扛不住的,必然要考虑分布式存储,最好的选择就是Hbase了,事实上业内基本上也是这么做的。(我对其他分布式存储不了解,就不对比了)。 了解Hbase的人都知道,它可以通过加机器的水平扩展迅速增加读写能力,非常适合存储海量的数据,但是它并不是关系数据库,无法进行类似mysql那种select、join等操作。 取而代之的只有非常简单的Get和Scan两种数据查询方式。这里不讨论Hbase的相关细节,总之,你可以通过Get获取到hbase里的一行数据,通过Scan来查询其中RowKey在某个范围里的一批数据。如此简单的查询方式虽然让hbase变得简单易用, 但也限制了它的使用场景。针对时序数据,只有get和scan远远满足不了你的需求。 这个时候OpenTSDB就应运而生。 首先它做了数据存储的优化,可以大幅度提升数据查询的效率和减少存储空间的使用。其次它基于hbase做了常用时序数据查询的API,比如数据的聚合、过滤等。另外它也针对数据热度倾斜做了优化。接下来挨个说下它分别是怎么做的。
本文是MySQL(三)|《千万级大数据查询优化》第一篇:创建高性能的索引的一个补充。 主要包括如下几点:
1. 之前我们所学的都是DDL语句,接下来所学的才是真正的DML语句。 插入数据的sql语句就是insert into table_name (column1, column2, ……) values (data1, data2, ……),values左边的括号不加时,默认代表对表的所有列进行插入,不忽略任何一列,加上括号时,可以自己指定某些列进行插入,但值得注意的是如果某些列没有default约束,你还将其忽略进行数据插入的话,则插入数据的操作一定会失败。values右边的括号个数表示向表中插入几行的数据,括号中用逗号分隔开来的数据分别一 一对应表中的列字段。
使用select对列进行查询时,不仅可以直接以列的原始值作为结果,而且还可以将列值进行计算后所得值作为查询结果,即select子句可以查询表达式的值,表达式可由列名、常量及算术运算符组成。 查询结果计算列显示“无列名”,一般要给计算列加列标题。 其中:表达式中可以使用的运算符有:加+、减-、乘*、除/、取余%
这个系列属于个人学习网易云课堂MySQL数据库工程师微专业的相关课程过程中的笔记,本篇为其“MySQL业务优化与设计”中的MySQL数据类型相关笔记。
MySQL会在某些情况下选择错误索引导致查询性能下降。例如不断地删除历史数据和新增数据的场景。
原文链接:http://www.toutiao.com/a6730869910135636494/
发现没有用到索引,type全是ALL,那么首先想到的就是建立一个索引,建立索引的字段当然是在where条件的字段。
应尽量避免全表扫描,首先应考虑在 where 及 order by ,group by 涉及的列上建立索引
领取专属 10元无门槛券
手把手带您无忧上云