用来加快查询的技术很多，其中最重要的是索引。通常索引能够快速提高查询速度。如果不适用索引，MYSQL必须从第一条记录开始读完整个表，直到找出相关的行。表越大，花费的时间越多。但也不全是这样。本文讨论索引是什么，如何使用索引来改善性能，以及索引可能降低性能的情况。
突然听到运维说磁盘预发布环境磁盘空间不够，细查之下发现是由于某个表的数据太大导致的，但是查看了下数据库表发现，实际的表数据量只有60w条，很明显表哪里出问题了，一开始以为是犹豫表的设计不合理索引导致的数据量大，细看之下发现挺正常的。正在焦虑蹉跎的时候，有幸得到朋友圈大佬的指点，是死亡元组太多导致的只需要执行vacuum full清理死亡元组就好，查看了相关的博客稳定发现postgresql居然会保存mvcc多版本修改记录，简单理解就是，postgresql对你所做的修改和删除都会保存记录，不会清理释放空间。这让我顿时想到[Mysql的MVCC]，但是mysql的undo log也只记录执行操作的相反记录保留最新的记录，而redo log记录数据页的变更，但是大小是固定的，都可以通过配置参数配置固定大小。
用来加快查询的技术很多，其中最重要的是索引。通常索引能够快速提高查询速度。如果不适用索引，MYSQL必须从第一条记录开始然后读完整个表直到找出相关的行。表越大，花费的时间越多。但也不全是这样。本文讨论索引是什么以及如何使用索引来改善性能，以及索引可能降低性能的情况。
索引是一种特殊的文件(InnoDB数据表上的索引是表空间的一个组成部分)，它们包含着对数据表里所有记录的引用指针。更通俗的说，索引就相当于目录。当你在用新华字典时，帮你把目录撕掉了，你查询某个字开头的成语只能从第一页翻到第一千页。累！把目录还给你，则能快速定位！
索引的数据结构和具体存储引擎的实现有关，在MySQL中使用较多的索引有Hash索引，B+树索引等，而我们经常使用的InnoDB存储引擎的默认索引实现为：B+树索引。对于哈希索引来说，底层的数据结构就是哈希表，因此在绝大多数需求为单条记录查询的时候，可以选择哈希索引，查询性能最快；其余大部分场景，建议选择BTree索引。
普通索引：(index) 对关键字没有要求，如果一个索引在多个字段提取关键字，称为复合索引
在MySQL 5.1之前的版本中，默认的搜索引擎是MyISAM，从MySQL 5.5之后的版本中，默认的搜索引擎变更为InnoDB。
MySQL 大表数据添加新字段 有时候我们在测试环境给一个表添加字段,但是在线上环境添加一个字段,却极其的慢。原因是线上的数据库一般会存有大量的数据(百万级,千万级),基本的添加字段方式在线上数据库已经不太合适了。 > alter table user add column flag tinyint(1) default 0; 基本添加方式,大量数据的表不推荐。执行加字段操作就会锁表，这个过程可能需要很长时间甚至导致服务崩溃。 解决方案 扩展新表方案 创建一个新表user_ext(id,user_id,f
双写一致性：只要用缓存，就可能会涉及到缓存与数据库双存储双写，你只要是双写，就一定会有数据一致性的问题。我们需要保证redis跟数据库的中的数据保持一致，返回正确的数据。
存储引擎主要负责的是对数据的存取进行相应的操作,通过MySQL官方文档可知MySQL8.0支持10种类型存储引擎,具体如下:
MySQL中给一张千万甚至更大量级的表添加字段一直是比较头疼的问题，遇到此情况通常该如果处理？本文通过常见的三种场景进行案例说明。
一个顾客可以使用顾客编号列，而订单可以使用订单ID，雇员可以使用雇员ID 或 雇员社会保险号。
选择B+树：非叶子节点不存储data，数据全在叶子节点，这样一个节点就可以存储更多的key。可以使得树更矮，所以IO操作次数更少。 叶子节点相连，更便于进行范围查找 B树
在日常的应用开发中，我们经常会遇到需要使用多种不同类型的数据库管理系统来满足各种业务需求。其中最典型的就是Redis和MySQL的组合使用。
索引的作用类似于字典前面的拼音，笔画。拼音的顺序是固定的，在不知道一个字怎么写时，可以快速根据拼音来找到对应的字。看到一个字不知道怎么读时，通过前面的笔画，也可以快速找到对应的字。通过拼音或笔画找到一个字，与在一整本字典中找到一个字，这两种方式的速度差距是非常明显的。
预处理是 MySQL 为了防止客户端频繁请求的一种技术，是对相同处理语句进行预先加载在 MySQL 中，将操作变量数据用占位符来代替，减少对 MySQL 的频繁请求，使得服务器高效运行。
今天访问网站出现数据库链接错误，然后想重启 lnmp 环境，发现无法正常关闭 mysql 服务，回想一下，服务器已经平稳运行 4 个多月了，配置方面应该没有什么问题，所以想到，可能是数据盘空间用完了，果然如此。就想到应该是日志文件导致的，最后检查到 mysql 的日志文件超过，而且居然好几个日志文件几个G。好吧，看来问题就是出在这里。百度到军哥的博客，删除了所有 mysql-bin.0000*日志文件，重启就OK了，顺手把 mysql 日志功能关闭了。
提到MySQL优化，索引优化是必不可少的。其中一种优化方式 ——索引优化，添加合适的索引能够让项目的并发能力和抗压能力得到明显的提升。
数据库的索引是经在项目中常常使用到的，但索引是吧双刃剑，提高了查询但是也拖慢了修改的速度。
MySQL是一种关系型数据库管理系统，用于存储数据。在高并发的场景下，MySQL的读写性能往往成为瓶颈。为了提高应用程序的性能和响应速度，可以使用缓存技术，将经常访问的数据缓存到内存中，避免频繁地读取数据库。
结构化查询语言(Structured Query Language)简称SQL，是一种数据库查询语言。
索引是一种特殊的文件(InnoDB数据表上的索引是表空间的一个组成部分)，它们包含着对数据表里所有记录的引用指针。
MySQL是目前最受欢迎和广泛使用的关系型数据库之一。在企业中，经常会遇到MySQL实例磁盘告警的情况，这对于保持数据库的稳定性和可用性非常重要。本文将详细介绍一次MySQL DB实例磁盘告警的处理过程，以及相关的操作和注意事项。
通用查询日志（general query log）用来记录用户的所有操作，包括启动和关闭MySQL服务、所有用户的连接开始时间和截止时间、发送给MySQL数据库服务器的所有SQL指令等。当我们的数据发生异常时，查看通用查询日志，还原操作时的具体场景，准确定位问题。
数据库存储引擎：是数据库底层软件组织，数据库管理系统（DBMS）使用数据引擎进行创建、查询、更新和删除数据。不同的存储引擎提供不同的存储机制、索引技巧、锁定水平等功能，使用不同的存储引擎，还可以获得特定的功能。现在许多不同的数据库管理系统都支持多种不同的数据引擎。MySQL 的核心就是插件式存储引擎。测试面试宝典
表级锁：一次性插入和更新较多数据时，当很多操作都是读表时可以选择。但当select语句时间过长或者update和delete语句短而且次数多时，不适用，会各种锁冲突。 行级锁：在很多线程请求不同记录时减少冲突锁。事务回滚时减少改变数据。使长时间对单独的一行记录加锁成为可能。比页级锁和表级锁消耗更多的内存。当需要频繁对大部分数据做 GROUP BY 操作或者需要频繁扫描整个表时不适合。
一、mysql默认安装的4个库： 1.information_schema：保存关于mysql服务器所维护的所有的其他数据库的信息，例如：数据库名、数据库中的表名； 2.mysql：记录数据库用户，权限，关键字等。mysql自己需要使用的控制和管理信息； 3.performance_schema：5.5版本新增一个库，用于手机服务器性能参数，且该库中所有的表的存储引擎均为performance_schema； 4.test：测试库，所有用户再test库里都有root权限（一般不会存储有用的信息再test库里） 二.1.创建数据库:create database databasename; databasename是指数据库名称 2.移动到指定的数据库里:use databasename; 3.删除数据库:drop database databasename; 其它用法 1、使用SHOW语句找出在服务器上当前存在什么数据库： mysql> SHOW DATABASES; 2、创建一个数据库MYSQLDATA mysql> CREATE DATABASE MYSQLDATA; 3、选择你所创建的数据库 mysql> USE MYSQLDATA; (按回车键出现Database changed 时说明操作成功！) 4、查看现在的数据库中存在什么表 mysql> SHOW TABLES; 5、创建一个数据库表 mysql> CREATE TABLE MYTABLE (name VARCHAR(20), sex CHAR(1)); 6、显示表的结构： mysql> DESCRIBE MYTABLE; 7、往表中加入记录 mysql> insert into MYTABLE values (”hyq”,”M”); 8、用文本方式将数据装入数据库表中（例如D:/mysql.txt） mysql> LOAD DATA LOCAL INFILE “D:/mysql.txt” INTO TABLE MYTABLE; 9、导入.sql文件命令（例如D:/mysql.sql） mysql>use database; mysql>source d:/mysql.sql; 三，数据库的存储引擎: 1.什么是存储引擎:数据库的存储引擎是数据库的底层软件组件，数据库管理系统(Dbms)就是依赖存储引擎来对数据表进行创建，查询，更新和删除操作的。不同的存储引擎提供了不同的存储机制，索引技巧和锁定水平等功能。还可以获得某些特定的功能。现在不同的数据库的管理系统都支持多种不同的存储引擎。mysql的核心就是存储引擎。 2.MySQL的存储引擎，包括处理事务安全表的引擎和处理非事务安全表的引擎。在MySQL中不需要所有的表都使用同一种引擎，针对具体的需求每一张表都可以选择不同的存储引擎。 MySQL5.5支持的存储引擎有:InnoDB，MyiSAM，Memory，CVS等。 查看mysql中所有的存储引擎的命令:show engines\G Engine: PERFORMANCE_SCHEMA #引擎名称 Support: YES #mysql是否支持这种引擎 Comment: Performance Schema #mysql对它的评价 Transactions: NO #是否支持事务 XA: NO #是否支持事务的分布式 Savepoints: NO #事务的保存点 1.myisam存储引擎的特点: (1)myisam引擎读取速度快，占用资源少，不支持事务，不支持外键约束，但支持全文索引 （2）读写相互阻塞，也就是说读数据的时候就不能写数据，写数据的时候就不能读数据; (3)myisam引擎只能缓存索引，而不能缓存数据; (4)mysql5.5之前的默认引擎。 使用场景： （1）不需要事务支持的业务，例如银行转账就不适合用myisam引擎； （2）适用于读数据比较多的业务，不适用于读写频繁的业务； （3）并发相对较低的业务(纯读或者纯写的高并发也可以)，数据修改相对较少的业务； （4）硬件资源比较差的机器可以考虑多使用myisam引擎。 2.InnoDB存储引擎的特点： （1）事物类数据表的首选引擎，支持事物安全表，支持行级别锁定和外键，mysql5.5之后的默认引擎； （2）具有提交，回滚和崩溃恢复能力的事物安全存储引擎，能处理巨大的数据量，性能及效率高，完全支持外键完整约束条件； （3）具有非常高的效的缓存特性，能缓存索引也能缓存数据，对硬件要求高， （4）使用InnoDB时，将在mysql数据目录创建一个名为ibdata的10M带大小的自动扩展文件，以及两个名为ib_logfile0和ib_logfile1的5M带大小的日志文件。 使用场景:
注意：MySQL 中的分区表在定义分区键时，必须确保分区键列包含在表的主键（Primary Key）或唯一键（Unique Key）中，为了确保分区表的数据唯一性和正确性。如果不将分区键列包含在主键或唯一键中，可能会导致数据分布不正确，从而产生错误或数据冗余。
MySQL索引的建立对于MySQL的高效运行是很重要的，索引可以大大提高MySQL的检索速度。
静态表：表中的字段都是非变长字段，这样每个记录都是固定长度的，优点存储非常迅速，容易缓存，出现故障容易恢复；缺点是占用的空间通常比动态表多（因为存储时会按照列的宽度定义补足空格）ps：在取数据的时候，默认会把字段后面的空格去掉，如果不注意会把数据本身带的空格也会忽略。
mysql数据库一主多从的架构，主写从读进行读写分离，专用从库做数据备份，每天0点全备一次，12点增量备份一次，初始阶段数据量很小的情况按此方案，后续数据量大，读写频繁时，再进行相关调整，增加增量备份频次
2021年7月22日，腾讯云数据库正式发布数据库代理（又名proxy）服务，支持MySQL 5.7 版本和8.0 版本，可为用户提供透明且安全的网络代理服务，实现自动读写分离，降低业务使用数据库的复杂度，完美解决了数据库故障切换的网络瞬断问题，网络中断时间降低至0，MySQL数据库的故障转移时间最多可减少 60%，使得应用程序抵抗数据库故障风险的能力大幅提升。这标志着腾讯云数据库MySQL完成了企业级中间件的孵化，在可用性、稳定性和扩展性方面均有了突破性提升，能够更好地为用户提供企业级服务。 数据库代理是
经常面试都会问到MYSQL有哪些存储引擎，以及各自的优缺点。今天主要分享常见的存储引擎：MyISAM、InnoDB、MERGE、MEMORY(HEAP)、BDB(BerkeleyDB)等，以及最常用的MyISAM与InnoDB两个引擎 ，文章尾部有两者的详细比较。
在迁移服务器时，频繁的操作数据库，导致了mysql锁死的情况 图一 图一删除表的时候，发现删不掉 于是查看了下mysql，很多进程锁死了。 解决办法： 重启服务器。
LNMP一键安装包安装的MySQL默认是开启了日志文件的，如果数据操作比较频繁就会产生大量的日志，在/usr/local/mysql /var/下面产生mysql-bin.0000* 类似的文件，而且一般都在几十MB到几个GB，更甚会吃掉整个硬盘空间，从来导致mysql无法启动或报错，如vps论坛用户的反馈。
本文主要用来记述pg数据库的相关操作和异常排查指南，继上一篇博客之后，异常的频繁更新，导致死亡元组指数级增长之后，空间占用也成倍增长，逻辑问题导致了数据库问题，但细想之下也发现,当pg在面对海量数据的更新删除之后，频繁的autovacuum会导致数据库大量的I/O，完了又会影响其他进程，就参数配置来看，还是有蛮多优化的空间的，毕竟空间和时间是两个相生相克的关系。就目前的默认的配置来看，手动标记60w数据执行vacuum标记清理花了6分钟，直接清空死亡元组也差不多这个时间，当空间膨胀到300g的时候数据量达到140w，vacuum已经有点吃不消了执行了半个小时也没有看到执行结束，至少在频繁更新的情况下，可见vacuum还是有他的局限性，就像官网提示的:Plain VACUUM may not be satisfactory when a table contains large numbers of dead row versions as a result of massive update or delete activity. 而且默认配置的的自动间隔是1分钟，我觉得这里面有很大的优化空间，尤其是海量数据频繁更新和删除的时候，当autovacuum的执行时间超过1分钟之后，就需要注意系统的死亡元组数量了，类似于当我打扫垃圾的速度低于产生垃圾的速度此时垃圾只会越来越多，当然这是在大数据量特定频繁更新和删除场景的情况下，结合相关的配置产生的一种思考。 需要注意的配置主要有autovacuum_max_workers可以根据cpu核心数配置，autovacuum_work_mem工作内存和vacuum_scale_factor规模因子，
1. InnoDB支持事务，MyISAM不支持，对于InnoDB每一条SQL语言都默认封装成事务，自动提交，这样会影响速度，所以最好把多条SQL语言放在begin和commit之间，组成一个事务；
一，SQL语句性能优化 1， 对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。
ERROR 2003 (HY000): Can't connect to MySQL server on 'localhost' (10061)；
具体报错如下： Table '.\tablename' is marked as crashed and should be repaired 提示说论坛的帖子表posts被标记有问题，需要修复。我记得以前也出现过类似的问题,但是只要点击Phpmyadmin上的repair按纽就自动修复了,但是这次很绝,什么都没有.于是赶快上网查找原因。最终将问题解决。解决方法如下： 找到mysql的安装目录的bin/myisamchk工具，在命令行中输入： myisamchk -c -r ../data/tablename/table.MYI 然后myisamchk 工具会帮助你恢复数据表的索引。好象也不用重新启动mysql，问题就解决了。 问题分析： 1、 错误产生原因，有网友说是频繁查询和更新dede_archives表造成的索引错误，因为我的页面没有静态生成，而是动态页面，因此比较同意这种说法。 还有说法为是MYSQL数据库因为某种原因而受到了损坏，如：数据库服务器突发性的断电、在提在数据库表提供服务时对表的原文件进行某种操作都有可能导致 MYSQL数据库表被损坏而无法读取数据。总之就是因为某些不可测的问题造成表的损坏。 2、问题解决办法。 当你试图修复一个被破坏的表的问题时，有三种修复类型。如果你得到一个错误信息指出一个临时文件不能建立，删除信息所指出的文件并再试一次--这通常是上一次修复操作遗留下来的。 这三种修复方法如下所示： % myisamchk --recover --quick /path/to/tblName % myisamchk --recover /path/to/tblName % myisamchk --safe-recover /path/to/tblName 第一种是最快的，用来修复最普通的问题；而最后一种是最慢的，用来修复一些其它方法所不能修复的问题。 检查和修复MySQL数据文件 如果上面的方法无法修复一个被损坏的表，在你放弃之前，你还可以试试下面这两个技巧： 如 果你怀疑表的索引文件(*.MYI)发生了不可修复的错误，甚至是丢失了这个文件，你可以使用数据文件(*.MYD)和数据格式文件(*.frm)重新生 成它。首先制作一个数据文件(tblName.MYD)的拷贝。重启你的MySQL服务并连接到这个服务上，使用下面的命令删除表的内容： mysql> DELETE FROM tblName; 在 删除表的内容的同时，会建立一个新的索引文件。退出登录并重新关闭服务，然后用你刚才保存的数据文件(tblName.MYD)覆盖新的(空)数据文件。 最后，使用myisamchk执行标准的修复(上面的第二种方法)，根据表的数据的内容和表的格式文件重新生成索引数据。 如果你的表的 格式文件(tblName.frm)丢失了或者是发生了不可修复的错误，但是你清楚如何使用相应的CREATE TABLE语句来重新生成这张表，你可以重新生成一个新的.frm文件并和你的数据文件和索引文件(如果索引文件有问题，使用上面的方法重建一个新的)一 起使用。首先制作一个数据和索引文件的拷贝，然后删除原来的文件(删除数据目录下有关这个表的所有记录)。 启动MySQL服务并使用当初的CREATE TABLE文件建立一个新的表。新的.frm文件应该可以正常工作了，但是最好你还是执行一下标准的修复(上面的第二种方法)。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
