MySQL数据库的优化技术(一)

一、优化的主要体现在如下的几个方面:

1.表结构设计的合理化(符合三范式3NF)

2.添加适当的索引(index)。

普通索引

主键索引

唯一索引unique

全文索引

3.分表技术

水平分割

垂直分割

4.读写分离

5储存过程(模块化编程,可以提高速度)

6.对mysql配置优化【my.ini】

7、定时的清除不需要的数据,定时进行碎片整理。

二、表结构方面的优化

1.数据库表的设计:

三个范式:

1.第一范式:1NF是对属性的原子性约束,要求属性具有原子性,不可再分解;(一般是关系型数据库都满足1NF)

2.第二范式:2NF是对记录的唯一性约束,要求记录有唯一标识,即实体的唯一性;(一般可以通过设置一个主键,即可满足该要求,而且要注意,一般主键的设计和后期业务逻辑的开发不要有啥关联)

3.第三范式:3NF是对字段冗余性的约束,它要求字段值没有冗余。没有冗余的数据库设计可以做到;

但是没有冗余的数据库未必就是最好的数据库,有时为了提高运行效率,就必须降低范式标准,适当的保留冗余数据。具体的做法是:在概念数据模型设计时遵守第三范式,降低范式标准的工作放到物理数据模型设计时考虑。降低范式就是增加冗余字段,允许冗余。

冗余数据:就是表中的信息能够呗推导出来,这样的数据就是冗余数据。

什么样的表才符合三个范式。

1.首先,表的范式是,首先符合1NF,才能满足2NF,进一步满足3NF。

数据库分类:

关系型数据库:

mysql/oracle/db2/sysbase/sqlserver

非关系型数据库:(面向对象或者集合)

NoSQL数据库:MongoDB(特点是面向文档)

2.特殊情况

1.在某些情况下,系统可能会出现反三范式,特别是在一对多的关系中。就很有可能不满足第三范式。

三、SQL语句本身的优化

如何从一个大项目中,迅速的定位执行速度慢的语句???(定位慢查询)

1、SQL优化的一般步骤:

通过show status命令了解各种SQL的执行频率

定位执行效率较低的SQL语句

通过explain分析低速率的SQL语句的执行情况

确定问题并采取相应的优化措施

2.mysql数据库的一些运行状态的查询

例如:当前mysql的执行时间、一共执行了多少次、当前连接量是多少

使用show status;

在show [session/global] status like ...

如果不写的话,默认是session,表示当前会话。如果想看所有的,需要加上一个global

在这三百个语句中,常用的语句有:

show status like 'uptime'; 查询MySQL已经启动了多长时间。

show status like 'com_selelct'; 一共执行了多少次查询

show status like 'connections'; 连接数

显示慢查询次数:show status like 'slow_queries';

如何定位慢查询:在默认情况下,mysql认为10s才是一个慢查询。

构建一个大表(400万条数据)-->储存过程来构建。

1.修改mysql的慢查询:

show variables like 'long_query_time'; 查询系统设置的慢查询时间。

set long_query_time=1; 设置慢查询的时间为1秒。

2.构建一个大表:400万条数据

#创建表DEPT

CREATE TABLE dept( /*部门表*/

deptno MEDIUMINT UNSIGNED NOT NULL DEFAULT 0,

dname VARCHAR(20) NOT NULL DEFAULT "",

loc VARCHAR(13) NOT NULL DEFAULT ""

) ENGINE=MyISAM DEFAULT CHARSET=utf8 ;

#创建表EMP雇员

CREATE TABLE emp(

empno MEDIUMINT UNSIGNED NOT NULL DEFAULT 0, /*编号*/

ename VARCHAR(20) NOT NULL DEFAULT "", /*名字*/

job VARCHAR(9) NOT NULL DEFAULT "",/*工作*/

mgr MEDIUMINT UNSIGNED NOT NULL DEFAULT 0,/*上级编号*/

hiredate DATE NOT NULL,/*入职时间*/

sal DECIMAL(7,2) NOT NULL,/*薪水*/

comm DECIMAL(7,2) NOT NULL,/*红利*/

deptno MEDIUMINT UNSIGNED NOT NULL DEFAULT 0 /*部门编号*/

)ENGINE=MyISAM DEFAULT CHARSET=utf8 ;

#工资级别表

CREATE TABLE salgrade(

grade MEDIUMINT UNSIGNED NOT NULL DEFAULT 0,

losal DECIMAL(17,2) NOT NULL,

hisal DECIMAL(17,2) NOT NULL

)ENGINE=MyISAM DEFAULT CHARSET=utf8;

INSERT INTO salgrade VALUES (1,700,1200);

INSERT INTO salgrade VALUES (2,1201,1400);

INSERT INTO salgrade VALUES (3,1401,2000);

INSERT INTO salgrade VALUES (4,2001,3000);

INSERT INTO salgrade VALUES (5,3001,9999);

# 随机产生字符串

#定义一个新的命令结束符合

delimiter $$

#删除自定的函数

drop function rand_string $$

#这里我创建了一个函数.

#rand_string(n INT) rand_string 是函数名 (n INT) //该函数接收一个整数

create function rand_string(n INT)

returns varchar(255) #该函数会返回一个字符串

begin

#chars_str定义一个变量 chars_str,类型是 varchar(100),默认值'abcdefghijklmnopqrstuvwxyzABCDEFJHIJKLMNOPQRSTUVWXYZ';

declare chars_str varchar(100) default

'abcdefghijklmnopqrstuvwxyzABCDEFJHIJKLMNOPQRSTUVWXYZ';

declare return_str varchar(255) default '';

declare i int default 0;

while i

set return_str =concat(return_str,substring(chars_str,floor(1+rand()*52),1));

set i = i + 1;

end while;

return return_str;

end $$

delimiter ;

select rand_string(6);

# 随机产生部门编号

delimiter $$

drop function rand_num $$

#这里我们又自定了一个函数

create function rand_num( )

returns int(5)

begin

declare i int default 0;

set i = floor(10+rand()*500);

return i;

end $$

delimiter ;

select rand_num();

#******************************************

#向emp表中插入记录(海量的数据)

delimiter $$

drop procedure insert_emp $$

#随即添加雇员[光标] 400w

create procedure insert_emp(in start int(10),in max_num int(10))

begin

declare i int default 0;

#set autocommit =0 把autocommit设置成0

set autocommit = 0;

repeat

set i = i + 1;

insert into emp values ((start+i) ,rand_string(6),'SALESMAN',0001,curdate(),2000,400,rand_num());

until i = max_num

end repeat;

commit;

end $$

delimiter ;

#调用刚刚写好的函数, 1800000条记录,从100001号开始

call insert_emp(100001,4000000);

#**************************************************************

# 向dept表中插入记录

delimiter $$

drop procedure insert_dept $$

create procedure insert_dept(in start int(10),in max_num int(10))

begin

declare i int default 0;

set autocommit = 0;

repeat

set i = i + 1;

insert into dept values ((start+i) ,rand_string(10),rand_string(8));

until i = max_num

end repeat;

commit;

end $$

delimiter ;

call insert_dept(100,10);

#------------------------------------------------

#向salgrade 表插入数据

delimiter $$

drop procedure insert_salgrade $$

create procedure insert_salgrade(in start int(10),in max_num int(10))

begin

declare i int default 0;

set autocommit = 0;

ALTER TABLE emp DISABLE KEYS;

repeat

set i = i + 1;

insert into salgrade values ((start+i) ,(start+i),(start+i));

until i = max_num

end repeat;

commit;

end $$

delimiter ;

#测试不需要了

#call insert_salgrade(10000,1000000);

#----------------------------------------------

delimiter $$ 为什么要将封号变成$$,为了能让储存过程能够正常的执行。

在该数据库中创建一个rand_string函数:

创建一个储存过程:

插入400万条数据:

1. 这时我们如果出现一条语句执行时间超过1s钟,就会统计到。

2. 如果把慢查询的sql语句记录到我们的日志中去,在默认的情况下,我们的mysql不会记录慢查询,需要在启动mysql时候,指定记录慢查询才可以

bin\mysqld.exe--safe-mode --slow-query-log [mysql5.5]

bin\mysqld.exe -log-slow-queries=d:/abc.log[mysql5.0]

一般使用第一条就可以,目前一般是5.5以上的版本。

这样执行之后,会在MySQL的data目录中产生日志文件,以.log结尾。

这样,只要是,系统在使用该数据库中产生了慢查询,则会将详细的信息记录到该日志文件中,这样就很方便的知道是哪一条语句导致了系统变慢。

四、优化问题

通过explain语句可以分析,mysql如何执行你的sql语句。这个工具的使用问题先放在这里。

五、索引优化

小细节:MySQL在做操作的时候,在执行某条语句的时候,它的结果会进行缓存,一旦再次进行查询,速度将变得非常得快。

1.添加索引

主键索引、唯一索引、全文索引、普通索引

为什么创建一个索引之后,它的速度会变快????

因为这是并不是顺序查找某条记录,而是使用二叉树查找!!!这样将查找速极大的提高,但是同样会占用一定的系统资源,一般400万条数据大约是20M大小的索引文件。

2.添加索引

2.1.主键索引的添加

当一张表中,把某个列设为主键的时候,则该列就是主键索引

如果在创建表时,没有指定主键索引,也可以在创建表后,再添加。指令如下:

alter table 表名 add primary key (列名);

2.2.普通索引

一般来说,普通索引的创建,是先创建表,然后再创建普通索引。

当创建一个表后,然后

create index 索引名 on 表(列);

2.3全文索引

全文索引主要是针对文字的,文件的检索。全文索引针对MyISAM有用。对于INNODB引擎没有作用。

如何使用全文索引:

错误用法:

select * from articles where body like '%mysql%';

#这个不会使用全文索引,只是一个字符匹配而已。

正确的用法:

slect * from articles where match(titile, body) against('database');

说明:

1.在mysql中的fulltext索引只针对MYISAM生效

2.只针对英文字母生效,那么如果要进行中文的全文索引,我们需要使用sphinx(coreseek)技术

3.使用的方法match(字段名...) against('关键字');

4.全文索引有一个叫停止词的概念。因为在一个文本中,创建索引是一个无穷大的数,因此,对一些常用的词和字符,就不会创建,这些词,成为停止词。

2.4 唯一索引

当表的某列被指定为UNIQUE时,这一列就是一个唯一索引。

unique字段中可以有NULL值,并且可以有多个。

分享该文章到你的朋友圈或是QQ空间,截图给小编,小编还会送上一些更加好的资料给大家。

如果还有什么需要的资料的话,可以加小编的官方微信私聊。

小编的官方微信二维码在文章最下面。

一个彩蛋:

微信公众号:Java架构师资源分享

关注我啊,求求你了

简单的生活

减法的世界

极简|有感|干货

—llf—

小编的官方微信reed

newlinfeng

简单的生活|减法的世界

  • 发表于:
  • 原文链接:https://kuaibao.qq.com/s/20180827G1QW0300?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券