核心军规 尽量不在数据库做运算 控制单表数据量 纯INT不超过10M条，含Char不超过5M条 保持表身段苗条 平衡范式和冗余 拒绝大SQL，复杂事务，大批量任务 字段类军规 用好数值字段，尽量简化字段位数...把字符转化为数字 优先使用Enum或Set 避免使用Null字段 少用并拆封Text/Blob 不在数据库中存图片 索引类军规 谨慎合理添加索引 字符字段必须建立前缀索引?...UTF8MB4 for by 可能还有人不知道，MySQL 数据库的字符集，要用 utf8mb4，而不是utf8。...因为MySQL的utf8不是真正的UTF-8，只支持最多三个字节的字符。真正的UTF-8可能会出现四个字节的字符。...MySQL 从来没有修复这个 Bug，而是使用另外的解决方法：真正的UTF-8字符集用 utf8mb4的名字提供。
MySQL数据库开发的 36 条军规 标签:数据库 核心军规（5个） 尽量不在数据库做运算。 控制单表数量：行不超过500W条，超出分表；列不超过50个，超过拆表。...NULL(NULL字段很难查询优化、NULL字段的索引需要额外空间、NULL字段的复合索引无效) 尽量少用text/blob类型（尽量使用varchar代替text字段），需要的时候请拆表 不在数据库存图片...pinyin`(8)), 不在列上做运算 Innodb主键推荐使用自增列（主键建立聚簇索引，主键不应该被修改，字符串不应该做主键） 不用外键（由程序保证约束） SQL类军规（16个） SQL语句尽可能简单（一条SQL...只能在一个cpu运算，大语句拆小语句，减少锁时间，一条大SQL可以堵死整个库） 简单的事务（事务时间尽可能短，坏的代码案例：上传图片事务） 避免使用trigger/func（触发器、函数不用，由客户端程序取而代之...limit高效分页（limit越大，效率越低） limit 10000,10 改为 where id >xxx limit 11 使用union all替代union（union有去重开销） 发生高并发时，数据库少用两个表以上的
来自：www.slideshare.net/mysqlops/mysql-9838563 来自一线的实战经验，主要针对DBA和后端开发人员，总是在灾难发生后，才想起容灾的重要性；总是在吃过亏后，才记得曾经有人提醒过...核心军规 尽量不在数据库做运算 控制单表数据量 纯INT不超过10M条，含Char不超过5M条 保持表身段苗条 平衡范式和冗余 拒绝大SQL，复杂事务，大批量任务 字段类军规 用好数值字段，尽量简化字段位数...把字符转化为数字 优先使用Enum或Set 避免使用Null字段 少用并拆封Text/Blob 不在数据库中存图片 索引类军规 谨慎合理添加索引 字符字段必须建立前缀索引?...Load Data导入数据，比Insert快20倍 打散大批量更新，尽量凌晨操作 约定类军规 隔离线上线下 禁止未经DBA认证的子查询 永远不在程序段显式加锁 表字符集统一使用UTF8MB4 往期干货推荐...Spring Boot 集成 Mybatis 实现双数据源 5. Java 中的伪共享详解及解决方案
场景：mysql统计一个数据库里所有表的数据量，最近在做统计想查找一个数据库里基本所有的表数据量，数据量少的通过select count再加起来也是可以的，不过表的数据有点多，不可能一个一个地查 记得在...WHERE TABLE_SCHEMA = '数据库名称' and table_name not in ('不查询的表名称') ORDER BY table_rows DESC; 要统计的...，加上sum函数就可以 SELECT sum(table_rows) FROM information_schema.tables WHERE TABLE_SCHEMA = '数据库名称' and...大概意思是对于MyISAM才是正确的统计数据，但是对于InnoDB引擎的，可能与实际值相差 40% 到 50%，所以只是一个大概的统计 所以针对这种情况，要更改存储引擎，肯定是不太合适，因为InnoDB...是默认的存储引擎，能支持事务外健，并发情况性能也比较好 所以，根据网上的做法，重新analyze 对应表，在mysql8.0版本是不管用的，发现查询数据还是不对，估计是mysql版本太高，mysql5版本没验证过
核心军规 1、不在数据库做运算 cpu计算务必移至业务层 2、控制单表数据量 int型不超过1000w，含char则不超过500w； 合理分表； 限制单库表数量在300以内； 3、控制列数量...good case： 'age' int not null default 0 10、少用text/blob varchar的性能会比text高很多； 实在避免不了blob，请拆表； 11、不在数据库里存图片...主键建立聚簇索引； 主键不应该被修改； 字符串不应该做主键； 如果不指定主键，innodb会使用唯一且非空值索引代替； 16、不用外键 请由程序保证约束； sql类军规 17、sql语句尽可能简单 一条sql...只能在一个cpu运算； 大语句拆小语句，减少锁时间； 一条大sql可以堵死整个库； 18、简单的事务 事务时间尽可能短； 19、避免使用trig/func 触发器、函数不用； 客户端程序取而代之；...where phone=’159′ or phone=’136′; => select id from t where phone in (’159′, ’136′); 22、OR改写为UNION mysql
前几天在看 2018 云栖大会，来自中科院计算所的陈世敏研究员在“数据库内核专场”做了一场《NVM在数据库领域的研究和探索 》的报告演讲。...从数据库的基本原理，我们就知道，页I/O（从磁盘输入到主存及从主存输出到磁盘）的代价代表了典型的数据库操作代价，因此需要十分小心地优化数据库系统来减少这个代价。而B-树正好满足了这个要求。...7.B+树 与 InnoDB 在MySQL InnoDB中，表数据文件本身就是按B+Tree组织的一个索引结构，这棵树的叶节点data域保存了完整的数据记录。...因为InnoDB的数据文件本身要按主键聚集，所以InnoDB要求表必须有主键（MyISAM可以没有），如果没有显式指定，则MySQL系统会自动选择一个可以唯一标识数据记录的列作为主键，如果不存在这种列，...则MySQL自动为InnoDB表生成一个隐含字段作为主键，这个字段长度为6个字节，类型为长整形。
前几天在看 2018 云栖大会，来自中科院计算所的陈世敏研究员在“数据库内核专场”做了一场《NVM在数据库领域的研究和探索 》的报告演讲。...从数据库的基本原理，我们就知道，页I/O（从磁盘输入到主存及从主存输出到磁盘）的代价代表了典型的数据库操作代价，因此需要十分小心地优化数据库系统来减少这个代价。而B-树正好瞒住了这个要求。...7.B+树 与 InnoDB 在MySQL InnoDB中，表数据文件本身就是按B+Tree组织的一个索引结构，这棵树的叶节点data域保存了完整的数据记录。...因为InnoDB的数据文件本身要按主键聚集，所以InnoDB要求表必须有主键（MyISAM可以没有），如果没有显式指定，则MySQL系统会自动选择一个可以唯一标识数据记录的列作为主键，如果不存在这种列，...则MySQL自动为InnoDB表生成一个隐含字段作为主键，这个字段长度为6个字节，类型为长整形。
很多小伙伴会问：做数据分析，需要懂多少统计学知识？今天简单跟大家分享一下。 一、统计学是个啥 统计学是个历史悠久的学科，有着300年以上历史。...这是统计学最早，也是最普遍的应用。我们经常说的平均数、中位数、众数等等概念，都是描述性统计的概念。 另一方面，人们发现：获得数据太难了！尤其在300年前，遍地文盲，口述手抄的时代，想获取数据难如登天。...一般四大部分 第一部分：描述性统计。 第二部分：概率与抽样。 第三部分：假设检验。 第四部分：统计模型。（如下图） 那么，到底需要掌握多少呢？...很多基础的数据分析方法，比如分层分析、矩阵分析等，其实就是描述性统计+数据交叉表。...四、中级数据分析师，要掌握哪些 第三部分知识，是中级以后数据分析师要掌握的。因为这一部分，讲的是用抽样方法做统计推断。实际工作中，大部分场景不需要做抽样。
MySQL作为关系型数据库的典型代表，在国内环境里经历风雨磨砺，不断地精进，已经在开发和运维方面，成型了一套的规范。...这些规范让了解和使用MySQL更加得心应手，并对后期的一些问题起到了很好的预防作用。 结合个人经验，下面具体讲解十个“合规检查”： 1. 数据库大表信息查看 统计某库下各表大小，不要存在过大的表信息。...统计视图 统计视图确实影响MySQL处理能力，后期也不好维护。特别是ddl变更要注意。...擅长MySQL、Redis、MongoDB数据库高可用设计和运维故障处理、备份恢复、升级迁移、性能优化。自学通过了MySQL OCP 5.6和MySQL OCP 5.7认证。...2年多开发经验，10年数据库运维工作经验，其中专职做MySQL工作8年；曾经担任过项目经理、数据库经理、数据仓库架构师、MySQL技术专家、DBA等职务；涉及行业：金融（银行、理财）、物流、游戏、医疗、
安装环境： 操作系统版本：RHEL 6.5 安装版本：MYSQL 5.1 升级版本：MYSQL 5.6 一、简述MYSQL 1.什么是数据库？...DB DataBase ：数据库 依照某种数据模型进行组织并存放到存储器的数据集合 DBMS DataBase Manager System ：数据库管理系统 用来操作和管理数据库的大型服务软件...DBS DataBase System ：数据库系统 即DB+DBMS指带有数据库并整合了数据库管理软件的计算机系统 2.E-R数据模型 3.常见数据库软件服务商 甲骨文：MYSQL...[确定] 6.登陆mysql并查询当前数据库 [root@svr5 mysql]# mysql ERROR 1045 (28000): Access denied for user 'root'@'localhost...需要注意的是这里的root用户不是Linux系统的root用户，而是mysql数据库的管理员root。
目录 数据库介绍 数据库概述 数据表 MySql数据库 MySql安装 登录MySQL数据库 SQLyog（MySQL图形化开发工具） 数据库介绍 数据库概述 什么是数据库(DB:DataBase...数据库的保护、维护 通信 数据库与数据库管理系统的关系 常见的数据库管理系统 MYSQL ：开源免费的数据库，小型的数据库.已经被Oracle收购了.MySQL6.x版本也开始收费。...提供了一个非常专业数据建模的工具PowerDesigner。 SQLite : 嵌入式的小型数据库，应用在手机端。 上课会学：MYSQL 这里使用MySQL数据库。...MySQL中可以有多个数据库，数据库是真正存储数据的地方。 数据表 数据表是一种结构化的文件，类似于我们日常看到的表格。我们可以把数据的信息按照表的格式依次存储构成一条表记录。...表记录与java类对象的对应关系 数据库跟数据表的关系：一个数据库中可以有若干张表 MySql数据库 MySql安装 安装 参考MySQL安装图解.doc 安装后，MySQL会以windows
目前支持CTE的数据库有Teradata, DB2, Firebird, Microsoft SQL Server, Oracle (with recursion since 11g release 2...PostgreSQL (since 8.4), MariaDB (since 10.2), SQLite (since 3.8.3), HyperSQL and H2 (experimental), MySQL8.0...MySQL MySQL从8.0开始支持完整的CTE。MySQL8.0还在development 阶段，RC都没有，GA还需时日。...以下是MySQL8.0 只扫描一次的执行计划 ? 以下是PostgreSQL9.4 只扫描一次的执行计划 ? AliSQL还有待改进。
当mysql left join 或者 right join 时,有时候会发现count(*)是无法统计正确数据的 主要原因是因为,left 与right join的特性问题 例如我需要查询所有有提现记录的会员总数...会员总数为49条,如果要增加分页的话,就必须先统计出条数 SELECT count(*) FROM chenrui_users u LEFT JOIN chenrui_money_log as...,将会统计出left join的数据 ?...那该怎么统计这个数据呢?...mysql子查询则可以统计出该结果 select count(*) FROM ( SELECT u.id FROM chenrui_users u LEFT JOIN chenrui_money_log
我用到的数据库为，mysql数据库5.7版本的 首先自己准备好数据库表 其实我在插入1000万条数据的时候遇到了一些问题，现在先来解决他们，一开始我插入100万条数据时候报错，控制台的信息如下： com.mysql.jdbc.PacketTooBigException...出现上面的错误是因为数据库表的 max_allowed_packet 这个配置没配置足够大，因为默认的为4M的，后来我调为100M就没报错了 set global max_allowed_packet...= 100*1024*1024* 记住，设置好后重新登录数据库才能看的设置后的值 show VARIABLES like '%max_allowed_packet%' 代码如下： package insert...://127.0.0.1/teacher" ; final String name = "com.mysql.jdbc.Driver" ; final String...// 结束时间 Long end = new Date().getTime(); // 耗时 System.out.println( "1000万条数据插入花费时间
体验很重要 ---- 首先打造一个世界上最简单的迷你版数据库，一起来围观体验。 #!.../bin/bash # 迷你版数据库对外提供的函数 method=$1 # 向迷你版数据库中存放的key key=$2 # 向迷你版数据库中存储的value value=$3 # key-value...例如，向迷你数据库插入数据。 ....迷你数据库到这就算体验完了，原理超级简单，就是往 database 文件尾部追加数据就好了，其实许多数据库内部实现都和 db_set 类似，它们都使用日志文件，因为它只支持追加式的方式更新。...参见官方答案： https://dev.mysql.com/doc/refman/8.0/en/index-btree-hash.html 索引能提升查询效率，是不是越多越好呢？
本文将给大家讲述数据库管理的主要作用以及在数据库管理中可以作哪些操作及其说明相关事宜。 1 数据库管理作用 亿信BI数据库管理功能的主要作用有以下几点： 1....可查看不同数据库的数据，了解数据库表的数据结构和数据类型，帮助我们更好的理解和制作报表。 2. 解决了查看不同类型数据库使用工具的麻烦。...我们知道，链接不同类型数据库可能需要不同类型的工具，比如Oracle常用的PLSQL Developer，MySQL常用的Navicat等；而数据库管理模块通过Web 方式的展现形式融合多种数据库类型的使用...提供了从多个不同的数据源复制数据的功能。此项功能解决了不同数据库平台上数据迁移的问题，比如从MySQL中复制数据到Oracle 数据库。 4. 仅需配置一次数据库链接地址，即可达到多个客户端的访问。...2 数据库管理功能 功能入口 操作入口：系统管理-》数据库连接池-》数据库管理。 主界面介绍 数据库管理的主页面分为菜单栏、左侧导航树和数据库表显示区。
MySQL数据库介绍 一、MySQL介绍 MySQL是一个关系型数据库管理系统，在 WEB 应用方面，MySQL是最好的 RDBMS (Relational Database Management System...，关系数据库管理系统) 应用软件，它是由瑞典MySQL AB 公司开发，目前属于 Oracle 旗下产品，MySQL 是最流行的关系型数据库管理系统中的一个。...二、MySQL的特点 MySQL是开源的，所以你不需要支付额外的费用。 MySQL支持大型的数据库。可以处理拥有上千万条记录的大型数据库。 MySQL使用标准的SQL数据语言形式。...MySQL Workbench（GUITOOL）：一款专为MySQL设计的ER/数据库建模工具。它是著名的数据库设计工具DBDesigner4的继任者。...直至出现Account and Roles输入数据库密码，此处输入密码务必记住，用于之后登陆数据库。 继续点击Next，出现finish后点击，完成安装。
MySQL数据库介绍一、MySQL介绍MySQL是一个关系型数据库管理系统，在 WEB 应用方面，MySQL是最好的 RDBMS (Relational Database Management System...，关系数据库管理系统) 应用软件，它是由瑞典MySQL AB 公司开发，目前属于 Oracle 旗下产品，MySQL 是最流行的关系型数据库管理系统中的一个。...二、MySQL的特点MySQL是开源的，所以你不需要支付额外的费用。MySQL支持大型的数据库。可以处理拥有上千万条记录的大型数据库。MySQL使用标准的SQL数据语言形式。...MySQL Workbench（GUITOOL）：一款专为MySQL设计的ER/数据库建模工具。它是著名的数据库设计工具DBDesigner4的继任者。...直至出现Account and Roles输入数据库密码，此处输入密码务必记住，用于之后登陆数据库。继续点击Next，出现finish后点击，完成安装。
MySQL数据库基础练习系列目标 很多学生或者说是初学者在学习完成数据库的基础增删改查后就自认为在数据库这里就很熟悉了，但是不接触项目根本部知道需求，我这里准备了50个项目的基本需求来让大家来熟练各类项目的列信息...数据库环境 MySQL版本：5.7.31-log 数据库字符集，所有数据库通用字符集与排序规则，支持中文数据。...主要功能包括记录用户的访问信息（如访问时间、访问页面、来源地址等），统计访问量数据（如总访问量、日访问量、页面访问量等），以及为用户提供访问数据的查询和可视化展示。...数据库建表的三范式（3NF，Third Normal Form）是关系型数据库设计的基本原则，用于确保数据库结构的逻辑性和减少数据冗余。...下面我将详细解释这三个范式： 第一范式（1NF, First Normal Form） 定义： 列不可分割，即数据库表的每一列都是不可分割的原子数据项。
MySQL 是一个关系型数据库管理系统，由瑞典 MySQL AB 公司开发，目前属于 Oracle 公司。...MySQL 是一种关联数据库管理系统，关联数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。 MySQL 是开源的，目前隶属于 Oracle 旗下产品。...MySQL 支持大型的数据库。可以处理拥有上千万条记录的大型数据库。 MySQL 使用标准的 SQL 数据语言形式。 MySQL 可以运行于多个系统上，并且支持多种语言。...MySQL 支持大型数据库，支持 5000 万条记录的数据仓库，32 位系统表文件最大可支持 4GB，64 位系统支持最大的表文件为8TB。...MySQL 是可以定制的，采用了 GPL 协议，你可以修改源码来开发自己的 MySQL 系统。
领取专属 10元无门槛券
手把手带您无忧上云
