相信很多小伙伴们，在日常对接开发时，有很多大表在业务上并没有采取任何形式的切分，数据不停地往一张表里灌入，迟早有一天，磁盘空间报警。作为一个DBA，侧重点是对数据库的操作性能（大表增加字段/索引，QPS等）和存储容量加以考虑，我们会建议开发对数据库里的大表进行数据归档处理，例如将3个月内的订单表保留在当前表，历史数据切分后保存在归档表中，之后归档表从主库上移走以便腾出磁盘空间，并将其迁移至备份机中（有条件的可以将其转换为TokuDB引擎），以便提供大数据部门抽取至HDFS上。
表数据单独存放成一个文件更容易管理，在我们执行drop table命令的时候，系统会直接删除这个文件，但如果是放在共享表空间中，即使表删掉空间也不会回收。
哈喽，我是狗哥。小伙伴都知道我最近换工作了，薪资、工作内容什么的都是我比较满意的。五月底也面试了有 6、7 家公司，应该拿了有 5 个 offer。这段时间也被问了很多面试题，我打算写一个专题分享出来，希望对你们有所帮助～
表数据既可以存在共享表空间里，也可以是单独的文件。这个行为是由参数 innodb_file_per_table 控制的：
临时表在我们需要保存一些临时数据时非常有用。 临时表只在当前连接可见，当关闭连接时，MySQL会自动删除表并释放所有空间。
作为一个后端工程师，想必没有人没用过数据库，跟我一起复习一下MySQL吧，本文是我学习《MySQL实战45讲》的总结笔记的第六篇，总结了MySQL的InnoDB引擎相关的实践使用问题。
经常会有同学来问我，我的数据库占用空间太大，我把一个最大的表删掉了一半的数据，怎么表文件的大小还是没变？
其他的DDL操作相对比较少，所以本文就不讨论了。 此外，本文也不讨论非InnoDB引擎以及非普通索引（如全文索引、空间索引）的场景。
表空间(Tablespace)：一个mysql实例，及一个数据库实例，可以对应多个表空间(ibd文件)，用于存储记录，索引等数据。
昨天内容中说了MySQL5.6引入了online DDL，但是没有详细的展开说，这块儿内容比较多，只能一点一点的写了，今天再来看这里的内容。
首先明确一个概念，innodb表包含两部分,表结构定义和数据，Mysql8.0以前表结构定义存放在.frm为后缀的文件里，而Mysql8.0版本以后允许表结构定义放到系统数据表中，因为表结构定义占用的空间很小，因此我今天主要说是表数据，
最近有个上位机获取下位机上报数据的项目，由于上报频率比较频繁且数据量大，导致数据增长过快，磁盘占用多。
Online DDL是从mysql5.6版本后引入的新功能，可以实现在线DDL操作不锁表。但是MySQL5.6的Online DDL不是真正的Online DDL，针对部分操作还是有局限性。 5.6之前的DDL处理方式： 1、创建临时表 2、将原表加S锁（只能读，不能DML） 3、将原表数据导入临时表 3、删除原表 4、把临时表重命名成新表 这种情况会对表加一个S锁，其他用户只能访问，不能执行DML操作，如果数据量越大，锁时间越长，对业务影响也越长。 5.6之后的DDL处理方式： innodb_online
两个group by 语句都用了order by null，为什么使用内存临时表得到的语句结果里，0这个值在最后一行；而使用磁盘临时表得到的结果里，0这个值在第一行？
MySQL 临时表在我们需要保存一些临时数据时是非常有用的。临时表只在当前连接可见，当关闭连接时，Mysql会自动删除表并释放所有空间。
对于千万级的表数据存储，删除大量记录后，表文件大小并没有随之变小。好奇怪，是什么原因导致的？不要着急，接下来，我们来深入剖析其中原因
redo是引擎层的日志，而且是InnoDB特有的。InnoDB的redo log是有固定大小的，比如可以配置为 一组4个文件（logfile-1，logfile-2，logfile-3，logfile-4），每个文件的大小是1GB，那么它总共可以记录4GB的操作。一个环状循环结构，从头开始写，写到末尾又回到开始循环写。
InnoDB包含两部分，即表结构定义和数据。 表数据既可以存储在共享表空间里，也可以存储在单独的文件中，innodb_file_per_table=OFF时，表数据在系统共享表空间，也就是跟数据字典放在一起。innodb_file_per_table=ON表示数据存储在单独的文件中。
前段时间，客户反馈 Zabbix 实例的 history_str 表数据量很大，导致磁盘空间使用率较高，想要清理该表，咨询是否有好的建议。想着正好最近学习了相关的知识点，正好可以检验一下学习成果，经过实践的检验，最终考试合格，客户也比较满意，于是便有了此文。
随着业务的发展，用户对系统需求变得越来越多，这就要求系统能够快速更新迭代以满足业务需求，通常系统版本发布时，都要先执行数据库的DDL变更，包括创建表、添加字段、添加索引、修改字段属性等。
向刚才做的这两个操作(插入一个没有部门的员工和删除一个带有员工的部门)，这种情况都是不应该发生的。
MySQL 大表数据添加新字段 有时候我们在测试环境给一个表添加字段,但是在线上环境添加一个字段,却极其的慢。原因是线上的数据库一般会存有大量的数据(百万级,千万级),基本的添加字段方式在线上数据库已经不太合适了。 > alter table user add column flag tinyint(1) default 0; 基本添加方式,大量数据的表不推荐。执行加字段操作就会锁表，这个过程可能需要很长时间甚至导致服务崩溃。 解决方案 扩展新表方案 创建一个新表user_ext(id,user_id,f
问题描述： 自循环删除,大概意思就是删除一个表里的部分数据，这些数据所满足的条件也在自己表里 ，我有点儿晕，直接上代码，这是select出来的，正常流程，如果要删除直接改成delete from …就行了
1093 - You can't specify target table 't' for update in FROM clause, Time: 0
MySQL Online DDL 功能从 5.6 版本开始正式引入，发展到现在的 8.0 版本，经历了多次的调整和完善。本文主要就 Online DDL 的发展过程，以及各版本的区别进行总结。其实早在 MySQL 5.5 版本中就加入了 INPLACE DDL 方式，但是因为实现的问题，依然会阻塞 INSERT、UPDATE、DELETE 操作，这也是 MySQL 早期版本长期被吐槽的原因之一。
早上刚来，有个业务需求，是要变更一张表的表结构，我登陆到服务器上看了看之前的变结构，大概信息如下：
MySQL中DDL语句，即数据定义语言，用于创建、删除、修改、库或表结构，对数据库或表的结构操作。常见的有create，alter，drop等。这类语句通常会耗费很大代价，特别是对于大表做表结构变更。本篇文章会揭露各类DDL语句执行的详细情况。
根据查询结果返回一个正的 MySQL 结果资源号，出错时返回 FALSE。本函数会对 INSERT/UPDATE/DELETE 查询返回 TRUE/FALSE 来指示成功或失败。
这两天事情稍微有点多，公众号也停止更新了几天，结果有读者催更了，也是，说明还是有人关注，利己及人，挺好。
使用--hive-import就可以将数据导入到hive中，但是下面这个命令执行后会报错，报错信息如下：
TXSQL Parallel DDL 功能建设 DDL（Data Definition Language）是用来修改数据库和表结构的一类操作，是数据库所有操作中最高危也是最重要的一类操作，常见的DDL操作包括：加减列、修改列类型、加减索引等。由于DDL操作涉及到数据库表结构、表数据的重构，尤其是在云数据库场景下，表的数据量急速上涨，DDL操作的效率受到了极大的挑战，一条慢速的DDL操作甚至需要花费几天的时间来完成，在这期间DDL操作持续持有锁，意味着业务可能会面临长时间等待锁的情况，几天的等待对于业务来说是
松哥原创的四套视频教程已经全部杀青，感兴趣的小伙伴戳这里-->Spring Boot+Vue+微人事视频教程
在 MySQL 中，DATABASE 和 SCHEMA 在语法上是等效的，它们都用于创建数据库。在其他 RDBMS（如 Oracle 和 SQL Server）
3、所有表必须使用Innodb存储引擎 没有特殊要求（即Innodb无法满足的功能如：列存储，存储空间数据等）的情况下，所有表必须使用Innodb存储引擎（mysql5.5之前默认使用Myisam，5.6以后默认的为Innodb）。 Innodb 支持事务，支持行级锁，更好的恢复性，高并发下性能更好。 4、每个Innodb表必须有个主键 Innodb是一种索引组织表：数据的存储的逻辑顺序和索引的顺序是相同的。每个表都可以有多个索引，但是表的存储顺序只能有一种。 Innodb是按照主键索引的顺序来组织表的
比如，存储字符串“101”，对于char(10)，表示你存储的字符将占10个字节（包括7个空字符），在数据库中它是以空格占位的，而同样的varchar2(10)则只占用3个字节的长度，10只是最大值，当你存储的字符小于10时，按实际长度存储。
有备份的话很简单，只需要生成一个最近备份的数据 然后用mysqlbinlog找回备份时间点之后的数据 再恢复到现网即可。
有备份的话很简单，只需要生成一个最近备份的数据 然后用mysqlbinlog找回备份时间点之后的数据 再恢复到现网即可。 要是没有备份 可能就会比较麻烦，找回数据的成本也是非常之高的. 下面介绍下 mysqlbinlog找回备份时间点之后的数据的办法： 做个简单的实验，将mysql的表数据删除之后，然后用mysqlbinlog 找回刚才删除的表的数据。 app表的创建时间和数据的插入： 2013-02-04 10:00:00 原理： mysqlbinlog 前提： m
上一节咱们了解了元数据锁，但在 Online DDL 操作中具体是怎样加锁的呢？加几次锁呢？带着这些疑问，我们一起来学习 DDL 三阶段。
一、mysql默认安装的4个库： 1.information_schema：保存关于mysql服务器所维护的所有的其他数据库的信息，例如：数据库名、数据库中的表名； 2.mysql：记录数据库用户，权限，关键字等。mysql自己需要使用的控制和管理信息； 3.performance_schema：5.5版本新增一个库，用于手机服务器性能参数，且该库中所有的表的存储引擎均为performance_schema； 4.test：测试库，所有用户再test库里都有root权限（一般不会存储有用的信息再test库里） 二.1.创建数据库:create database databasename; databasename是指数据库名称 2.移动到指定的数据库里:use databasename; 3.删除数据库:drop database databasename; 其它用法 1、使用SHOW语句找出在服务器上当前存在什么数据库： mysql> SHOW DATABASES; 2、创建一个数据库MYSQLDATA mysql> CREATE DATABASE MYSQLDATA; 3、选择你所创建的数据库 mysql> USE MYSQLDATA; (按回车键出现Database changed 时说明操作成功！) 4、查看现在的数据库中存在什么表 mysql> SHOW TABLES; 5、创建一个数据库表 mysql> CREATE TABLE MYTABLE (name VARCHAR(20), sex CHAR(1)); 6、显示表的结构： mysql> DESCRIBE MYTABLE; 7、往表中加入记录 mysql> insert into MYTABLE values (”hyq”,”M”); 8、用文本方式将数据装入数据库表中（例如D:/mysql.txt） mysql> LOAD DATA LOCAL INFILE “D:/mysql.txt” INTO TABLE MYTABLE; 9、导入.sql文件命令（例如D:/mysql.sql） mysql>use database; mysql>source d:/mysql.sql; 三，数据库的存储引擎: 1.什么是存储引擎:数据库的存储引擎是数据库的底层软件组件，数据库管理系统(Dbms)就是依赖存储引擎来对数据表进行创建，查询，更新和删除操作的。不同的存储引擎提供了不同的存储机制，索引技巧和锁定水平等功能。还可以获得某些特定的功能。现在不同的数据库的管理系统都支持多种不同的存储引擎。mysql的核心就是存储引擎。 2.MySQL的存储引擎，包括处理事务安全表的引擎和处理非事务安全表的引擎。在MySQL中不需要所有的表都使用同一种引擎，针对具体的需求每一张表都可以选择不同的存储引擎。 MySQL5.5支持的存储引擎有:InnoDB，MyiSAM，Memory，CVS等。 查看mysql中所有的存储引擎的命令:show engines\G Engine: PERFORMANCE_SCHEMA #引擎名称 Support: YES #mysql是否支持这种引擎 Comment: Performance Schema #mysql对它的评价 Transactions: NO #是否支持事务 XA: NO #是否支持事务的分布式 Savepoints: NO #事务的保存点 1.myisam存储引擎的特点: (1)myisam引擎读取速度快，占用资源少，不支持事务，不支持外键约束，但支持全文索引 （2）读写相互阻塞，也就是说读数据的时候就不能写数据，写数据的时候就不能读数据; (3)myisam引擎只能缓存索引，而不能缓存数据; (4)mysql5.5之前的默认引擎。 使用场景： （1）不需要事务支持的业务，例如银行转账就不适合用myisam引擎； （2）适用于读数据比较多的业务，不适用于读写频繁的业务； （3）并发相对较低的业务(纯读或者纯写的高并发也可以)，数据修改相对较少的业务； （4）硬件资源比较差的机器可以考虑多使用myisam引擎。 2.InnoDB存储引擎的特点： （1）事物类数据表的首选引擎，支持事物安全表，支持行级别锁定和外键，mysql5.5之后的默认引擎； （2）具有提交，回滚和崩溃恢复能力的事物安全存储引擎，能处理巨大的数据量，性能及效率高，完全支持外键完整约束条件； （3）具有非常高的效的缓存特性，能缓存索引也能缓存数据，对硬件要求高， （4）使用InnoDB时，将在mysql数据目录创建一个名为ibdata的10M带大小的自动扩展文件，以及两个名为ib_logfile0和ib_logfile1的5M带大小的日志文件。 使用场景:
Hive可以管理HDFS中的数据，可以通过SQL语句可以实现与MapReduce类似的同能，因为Hive底层的实现就是通过调度MapReduce来实现的，只是进行了包装，对用户不可见。 Hive对HDFS的支持只是在HDFS中创建了几层目录，正真的数据存在在MySql中，MYSQL中保存了Hive的表定义，用户不必关系MySQL中的定义，该层对用户不可见。Hive中的库在HDFS中对应一层目录，表在HDFS中亦对应一层目录，如果在对应的表目录下放置与表定义相匹配的数据，即可通过Hive实现对数据的可视化及查询等功能 综上所述，Hive实现了对HDFS的管理，通过MySQL实现了对HDFS数据的维度管理 Hive基本功能及概念 database table 外部表，内部表，分区表 Hive安装 1. MySql的安装（密码修改，远程用户登陆权限修改） 2. Hive安装获取，修改配置文件(HADOOP_HOME的修改，MySQL的修改) 3. 启动HDFS和YARN(MapReduce)，启动Hive Hive基本语法： 1. 创建库：create database dbname 2. 创建表：create table tbname Hive操作： 1. Hive 命令行交互式 2. 运行HiveServer2服务，客户端 beeline 访问交互式运行 3. Beeline 脚本化运行 3.1 直接在 命令行模式下 输入脚本命令执行(比较繁琐，容易出错，不好归档) 3.2 单独保存SQL 命令到 文件，如etl.sql ，然后通过Beeline命令执行脚本 数据导入： 1. 本地数据导入到 Hive表 load data local inpath "" into table .. 2. HDFS导入数据到 Hive表 load data inpath "" into table .. 3. 直接在Hive表目录创建数据 Hive表类型： 1. 内部表: create table 表数据在表目录下，对表的删除会导致表目录下的数据丢失，需要定义表数据的分隔符。 2. 外部表: create external table 表目录下挂载表数据，表数据存储在其他HDFS目录上，需要定义表数据的分隔符。 3. 分区表：与创建内部表相同，需要定义分区字段及表数据的分隔符。在导入数据时需要分区字段，然后会在表目录下会按照分区字段自动生成分区表，同样也是按照目录来管理，每个分区都是单独目录，目录下挂载数据文件。 4. CTAS建表 HQL 1. 单行操作：array，contain等 2. 聚合操作：(max,count,sum)等 3. 内连接，外连接（左外，右外，全外） 4. 分组聚合 groupby 5. 查询 : 基本查询，条件查询，关联查询 6. 子查询： 当前数据源来源于 另个数据执行的结果，即当前 table 为临时数据结果 7. 内置函数: 转换, 字符串, 函数 转换：字符与整形，字符与时间， 字符串：切割，合并， 函数：contain，max/min，sum， 8. 复合类型 map（key，value）指定字符分隔符与KV分隔符 array（value）指定字符分隔符 struct(name,value) 指定字符分割与nv分隔符 9. 窗口分析函数 10. Hive对Json的支持
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
