表数据单独存放成一个文件更容易管理，在我们执行drop table命令的时候，系统会直接删除这个文件，但如果是放在共享表空间中，即使表删掉空间也不会回收。
InnoDB包含两部分，即表结构定义和数据。 表数据既可以存储在共享表空间里，也可以存储在单独的文件中，innodb_file_per_table=OFF时，表数据在系统共享表空间，也就是跟数据字典放在一起。innodb_file_per_table=ON表示数据存储在单独的文件中。
作为一个后端工程师，想必没有人没用过数据库，跟我一起复习一下MySQL吧，本文是我学习《MySQL实战45讲》的总结笔记的第六篇，总结了MySQL的InnoDB引擎相关的实践使用问题。
INSERT INTO targetTableName SELECT COLUMNS FROM sourceTableName;
mysqldump 客户端工具用来备份数据库或在不同数据库之间进行数据迁移。备份内容包含创建表，及插入表的SQL语句。
MySQL中DDL语句，即数据定义语言，用于创建、删除、修改、库或表结构，对数据库或表的结构操作。常见的有create，alter，drop等。这类语句通常会耗费很大代价，特别是对于大表做表结构变更。本篇文章会揭露各类DDL语句执行的详细情况。
哈喽，我是狗哥。小伙伴都知道我最近换工作了，薪资、工作内容什么的都是我比较满意的。五月底也面试了有 6、7 家公司，应该拿了有 5 个 offer。这段时间也被问了很多面试题，我打算写一个专题分享出来，希望对你们有所帮助～
经常会有同学来问我，我的数据库占用空间太大，我把一个最大的表删掉了一半的数据，怎么表文件的大小还是没变？
表数据既可以存在共享表空间里，也可以是单独的文件。这个行为是由参数 innodb_file_per_table 控制的：
“导入工具”导入单个表从RDBMS到HDFS。表中的每一行被视为HDFS的记录。所有记录都存储为文本文件的文本数据（或者Avro、sequence文件等二进制数据）
Hive可以管理HDFS中的数据，可以通过SQL语句可以实现与MapReduce类似的同能，因为Hive底层的实现就是通过调度MapReduce来实现的，只是进行了包装，对用户不可见。 Hive对HDFS的支持只是在HDFS中创建了几层目录，正真的数据存在在MySql中，MYSQL中保存了Hive的表定义，用户不必关系MySQL中的定义，该层对用户不可见。Hive中的库在HDFS中对应一层目录，表在HDFS中亦对应一层目录，如果在对应的表目录下放置与表定义相匹配的数据，即可通过Hive实现对数据的可视化及查询等功能 综上所述，Hive实现了对HDFS的管理，通过MySQL实现了对HDFS数据的维度管理 Hive基本功能及概念 database table 外部表，内部表，分区表 Hive安装 1. MySql的安装（密码修改，远程用户登陆权限修改） 2. Hive安装获取，修改配置文件(HADOOP_HOME的修改，MySQL的修改) 3. 启动HDFS和YARN(MapReduce)，启动Hive Hive基本语法： 1. 创建库：create database dbname 2. 创建表：create table tbname Hive操作： 1. Hive 命令行交互式 2. 运行HiveServer2服务，客户端 beeline 访问交互式运行 3. Beeline 脚本化运行 3.1 直接在 命令行模式下 输入脚本命令执行(比较繁琐，容易出错，不好归档) 3.2 单独保存SQL 命令到 文件，如etl.sql ，然后通过Beeline命令执行脚本 数据导入： 1. 本地数据导入到 Hive表 load data local inpath "" into table .. 2. HDFS导入数据到 Hive表 load data inpath "" into table .. 3. 直接在Hive表目录创建数据 Hive表类型： 1. 内部表: create table 表数据在表目录下，对表的删除会导致表目录下的数据丢失，需要定义表数据的分隔符。 2. 外部表: create external table 表目录下挂载表数据，表数据存储在其他HDFS目录上，需要定义表数据的分隔符。 3. 分区表：与创建内部表相同，需要定义分区字段及表数据的分隔符。在导入数据时需要分区字段，然后会在表目录下会按照分区字段自动生成分区表，同样也是按照目录来管理，每个分区都是单独目录，目录下挂载数据文件。 4. CTAS建表 HQL 1. 单行操作：array，contain等 2. 聚合操作：(max,count,sum)等 3. 内连接，外连接（左外，右外，全外） 4. 分组聚合 groupby 5. 查询 : 基本查询，条件查询，关联查询 6. 子查询： 当前数据源来源于 另个数据执行的结果，即当前 table 为临时数据结果 7. 内置函数: 转换, 字符串, 函数 转换：字符与整形，字符与时间， 字符串：切割，合并， 函数：contain，max/min，sum， 8. 复合类型 map（key，value）指定字符分隔符与KV分隔符 array（value）指定字符分隔符 struct(name,value) 指定字符分割与nv分隔符 9. 窗口分析函数 10. Hive对Json的支持
约束其实就是一种限制,用于修饰表中的列. 通过这种限制来保证表中数据的正确性、有效性和完整性。
备份数据库时，采用了全库备份，但是因为某些原因需要回滚一个表的数据到备份数据库上，如果回滚整个库就比较费时间，因为可能这个表只有几十M，但是其它表可能有十几上百G，这时候就需要将需要恢复的表提取出来了
改造总是要付出很多代价的，肯定会跌很多坑，这是必然的... 性能问题也总会呈现先下降后再上升的一个历程（调试、磨合、找到针对性、适应性解决方案）。
开始和数据库玩耍以后，我们将一直与SQL和数据打交道。在日常的操作中，我们只需要对指定的数据库进行操作，执行增删改查，权限管理等。但有些时候由于项目的升级，或者服务器的更换，我们要将数据从一个地方转移到另一个地方，准确的说是从一个数据库服务转移到另一个数据库服务中，因为我们还要继续使用这些数据。
SQL（Structured Query Language）是一种用于访问和操作关系型数据库的标准编程语言，是用于数据库查询和程序设计的语言。其主要功能包括数据查询、数据操作、事务控制、数据定义和数据控制等。
首先明确一个概念，innodb表包含两部分,表结构定义和数据，Mysql8.0以前表结构定义存放在.frm为后缀的文件里，而Mysql8.0版本以后允许表结构定义放到系统数据表中，因为表结构定义占用的空间很小，因此我今天主要说是表数据，
查看变量 show variables like 'auto%'; 信息输出： echo "select user,host,password from mysql.user" |mysql -uroot -plingxiangxiang 查看库 show databases; 查看都有哪些库 show databases; 查看某个库的表 use db; show tables \G; 查看表的字段 desc tb; 查看建表语句 show create table tb; 当前是哪个用户 select user(); 当前库 select database(); 查看数据库版本 select version(); 查看mysql状态 show status; 查看mysql队列 show processlist; 查询 select count() from mysql.user; select from mysql.db; select * from mysql.db where host like '10.0.%'; 查看权限 show grants for root@'localhost';
随着业务的发展，用户对系统需求变得越来越多，这就要求系统能够快速更新迭代以满足业务需求，通常系统版本发布时，都要先执行数据库的DDL变更，包括创建表、添加字段、添加索引、修改字段属性等。
最近线上突然发现一张表每天会产生500w条的数据，一个月下来发现已经接近8000w条的数据，达到90G之大的数据，之前在系统没有升级之前一年才产生100w左右的记录，估计开发的程序或者逻辑出现问题了，不管怎么样，作为运维发生问题，第一时间先以解决问题为第一位，所以这里总结一下删除大表数据的经验。
2020-12-29：mysql中，innodb表里，某一条数据删除了之后，这条数据会被真实的擦掉吗，还是删除了关系？
一个表单独存储为一个文件更容易管理，而且在你不需要这个表的时候，通过 drop table 命令，系统就会直接删除这个文件。而如果是放在共享表空间中，即使表删掉了，空间也是不会回收的。所以参数推荐为ON。
最近有个上位机获取下位机上报数据的项目，由于上报频率比较频繁且数据量大，导致数据增长过快，磁盘占用多。
写这篇文章我是非常不情愿的，我现在是在写这篇文章，但是同时我也在恢复我服务器数据库的数据，出这篇文章也是在我的意料之外，由于我正在这件事类，我就出一版这样的mysql.frm.ibd文件数据恢复教程，希望这次教程可以帮助到更多需要恢复的人，我现在是情绪暴涨。
1. 简介 mysqldump 是备份 MySQL 数据库的常用工具，其中会包含 创建表、删除表、插入数据 这些数据库操作的语句 而黑客可能会利用 mysqldump 来黑掉你的系统，在 dump 文件被导入时就会执行黑客设置好的 SQL 语句或者 shell 命令 2. 实验 场景假设 1）黑客已经获得了应用的访问权，可以执行任意的 SQL，例如你使用了 Wordpress 等开源系统，就很有可能被黑客搞定 2）黑客具有 CREATE TABLE 权限，这也不难，很多开源系统的安装教程中都不会注意这点，可
通过sqoop抽取Mysql表数据到hive表，发现hive表所有列显示为null
部署在后台服务器或者云端的MySQL大部分做了一些限制，在本地无法直连后台服务的数据库3306端口上，一般有防火墙之类的网络中间件
今天，探讨一个有趣的话题：MySQL 单表数据达到多少时才需要考虑分库分表？有人说 2000 万行，也有人说 500 万行。那么，你觉得这个数值多少才合适呢？
昨天内容中说了MySQL5.6引入了online DDL，但是没有详细的展开说，这块儿内容比较多，只能一点一点的写了，今天再来看这里的内容。
Hive中的Null在底层是以“\N”来存储，而MySQL中的Null在底层就是Null，为了保证数据两端的一致性。在导出数据时采用–input-null-string和–input-null-non-string两个参数。导入数据时采用–null-string和–null-non-string。
主键约束要求主键列的数据唯一，并且不能为空。主键分为两种类型：单字段主键和多字段联合主键。
我们来备份test数据库中的innodb_table表和isam_table表中id为10的数据
在ClickHouse基础课程中我们知道可以使用两种方式通过ClickHouse可以操作MySQL数据库，分别使用使用 MySQL数据库引擎和MySQL表引擎。
《高性能MySQL》读书笔记（二）——MySQL存储引擎概述 （原创内容，转载请注明来源，谢谢） 一、基础信息 mysql将数据库保存在数据目录下的一个子目录，创建表时，会在此目录下，创
mysqldump 是 Mysql 自带的逻辑备份工具。其备份原理是通过协议连接到 Mysql 数据库，将需要备份的数据查询出来转换成对应的 insert 语句。当需要还原这些数据时，只要执行这些 insert 语句，即可将对应的数据还原。
[MySQL学习笔记] 3.mysqldump命令详解 Part 2 -备份全库
orm英文全称object relational mapping,就是对象映射关系程序，简单来说我们类似python这种面向对象的程序来说一切皆对象，但是我们使用的数据库却都是关系型的，为了保证一致的使用习惯，通过orm将编程语言的对象模型和数据库的关系模型建立映射关系，这样我们在使用编程语言对数据库进行操作的时候可以直接使用编程语言的对象模型进行操作就可以了，而不用直接使用sql语言。
2.1 数据库结构优化的目的 减少数据冗余 尽量避免数据维护中出现更新,插入和删除异常 插入异常 如果表中的某个实体随着另一个实体而存在 先看一个表结构 为学号,课程名
使用delete删除的时候，MySQL并没有把数据文件删除，只会将已经删除的数据标记为删除，因此并不会彻底的释放空间。
image.png MySQL默认操作模式就是autocommit自动提交模式。这就表示除非显式地开始一个事务，否则每个查询都被当做一个单独的事务自动执行。我们可以通过设置autocommit的值改变是否是自动提交autocommit模式。 通过以下命令可以查看当前autocommit模式 mysql> show variables like 'autocommit'; +---------------+-------+ | Variable_name | Value | +--------------
本文章内容是基于上次课程Python教程：操作数据库，MySql的安装详解和python基础知识之上进行的。如想学习python基础请移步：Python开发实战系列教程-链接汇总，持续更新。
关系行数据库与非关系型数据库之间的数据同步 一、在不使用sqoop的情况下 Mysql–>hive 1.利用naivacat（工具）将数据库中的表导出（导出的时候要主要制表符/t） 2.利用WinSCP（工具）上传到linux指定的文件夹下 3.先在hive建表 create table 表名(idfa string) row format delimited fields terminated by ‘\t'” 4.hive -e “load data local inpath ‘t1.txt’ into table t1” (假设表里面有数据，须要truncate table hive表名。在运行4） truncate table t1;( 仅仅删除表数据) 或者hive -e “load data local inpath ‘t1.txt’ overwrite into table t1”; hive–>Mysql 1.hive -e “sql语句;>>name.txt” 导出在home/dev 2.然后在利用WinSCP（工具）下载到本地 二、在使用sqoop的情况下 1.解压sqoop，配置环境变量： 在/etc/profile中加入：(没有root权限是不能改动的，所以仅仅能在sqoop/bin路径下启动) export SQOOP_HOME/bin:PATH 配置完毕后要运行 source etc/profile 2. 解压mysql，将mysql-connector-java-5.1.24-bin.jar放到
创建数据库表： 创建一个表名为：employee，该表中含有id、name、sex、birthday、job字段
最近买了一个服务器，放着也没有什么作用，于是搭建了MySQL 提供大家学习数据使用吧，想知道数据的用户信息请在后台回复MySQL 如果大家有其他想搭建的数据库环境也可后台留言哟 ！！!只提供给小伙伴学习数据库使用，不提供数据的保存哟 MySQL 表中使用 INSERT INTO SQL语句来插入数据。 你可以通过 mysql> 命令提示窗口中向数据表中插入数据，或者通过 Python 来插入数据。 语法 以下为向MySQL数据表插入数据通用的 INSERT INTO SQL语法： INSERT INTO t
向刚才做的这两个操作(插入一个没有部门的员工和删除一个带有员工的部门)，这种情况都是不应该发生的。
然后使MySQL停止更新非唯一索引(ALTER TABLE DISABLE KEYS)，这样能加快插入速度
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
