首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    MySQL 基线与容量管理

    容量管理: 1、数据库大小估计 一种可靠的方式是 使用解压后的备份文件(必须是Xtrabackup的物理备份)来估算当前数据库的体积。...3、其它文件大小估计 3.1 MySQL的查询过程中,可能会产生巨量临时表。...【size of largest table * 2 (for tmp/sort files)】 3.2 在做表DDL的时候,操作过程中,需要产生的一个的临时表,需要占据较大的体积。...容量预测 根据数据库的历史监控数据(zabbix 或 prometheus) ,我们可以大致预测数据文件的周增长量、binlog的周增长量 以及系统负载波动的趋势。...容量解决之道 1、历史数据归档 根据业务场景,按照时间归档,迁移历史数据到容量廉价低速的磁盘。降低生产环境数据库体积和负载,较小的表体积,便于数据库备份和DDL操作。

    1.4K10

    MySQL测试数据的构造

    往期专题请查看www.zhaibibei.cn 这是一个坚持Oracle,Python,MySQL原创内容的公众号 前面说了MySQL Linux平台和Windows平台的安装 下面开始是MySQL的一些学习笔记...首先学习其中的一些命令和特性我们需要有数据 今天的内容即为如何构造一些数据 环境为MySQL 5.7.25 1....enabled (you *might* want to use the less safe log_bin_trust_function_creators variable) 则需要设定一个变量 mysql...参考资料 http://www.kkh86.com/it/mysql-adv/guide-index-mock-data.html 可点击阅读原文获得更好的阅读体验,推荐在PC端阅读 也可在公众号内回复...MySQL测试数据的构造 搜索相关内容 或直接打开个人网页搜索 http://www.zhaibibei.cn 往期专题包括: Python 自动化运维 打造属于自己的监控系统 Python爬虫基础

    83420

    网易MySQL微专业学习笔记(十二)-MySQL容量评估

    前言 这个系列属于个人学习网易云课堂MySQL数据库工程师微专业的相关课程过程中的笔记,本篇为其“MySQL业务优化与设计”中的MySQL数据类型相关笔记。...正文 性能容量评估      分析线上业务场景      评估数据库服务器所需性能指标      预估可能成为瓶颈的服务器资源      帮助数据库性能调优 数据库服务器硬件性能指标 磁盘IO性能 内存容量...CPU 网络吞吐量 磁盘容量 数据库业务特点关键词 OLTP/OLAP类型 并发请求 读写比例 数据量 冷热数据比 数据分级存储 OLTP与OLAP T = Transaction 面向广大用户,高并发...多写场景相关资源:磁盘IO 数据量-总量 数据库服务器存储设备可扩容能力上限 根据估算的业务量,写入模式,分析数据增长量 预估一个硬件升级周期内数据库可存放数据的总量,上线时要留好余量 数据总量相关资源:磁盘容量...=127.0.0.1 --mysql-port=3306 --mysql-user=sys --mysql-password=netease --mysql-db=sbtest --max-requests

    1.5K10

    高并发容量NoSQL解决方案探索

    Replication能解决读的扩展性问题和HA(高可用),但是无法解决读和容量的扩展性。而Sharding可以解决读写和容量的扩展性。一般NoSQL解决方案都是将二者组合起来。...个推以面向APP开发者提供消息推送服务起家,在2012年之前,个推的业务量相对较小,当时我们用Redis做缓存,用MySQL做持久化。...在MySQL无法解决高QPS、TPS的情况下,我们自研了Redis分片方案。...但是它有两个缺陷:一是它使用MySQL作为后端存储,TPS有上限;二是不够灵活。比如:一个集群放在一百台机器上,要做聚合指标,就很困难。...Redis3主从重置的概率比Redis2减少,Redis4支持节点重启以后也能增量同步,这是Redis本身进行了很多改进。 ? 我们现在主要使用的是2.8.20,属于比较容易能产生主从重置。

    85230

    MySQL使用存储过程插入批量测试数据

    应用场景之一:有时,我们需要创建表并填充大量测试数据。 方法如下: 我们先来新建一个表,创建两个普通索引。...NULL,   PRIMARY KEY (`id`),   KEY `a` (`a`),   KEY `b` (`b`) ) ENGINE=InnoDB;  这里我们使用存储过程往表里插入 10w 测试数据...,如果对 MySQL 的存储过程不熟悉,请看我在代码中的注释,应该能看得懂得。...#定义分割符号,mysql 默认分割符为分号;,这里定义为 // #分隔符的作用主要是告诉mysql遇到下一个 // 符号即执行上面这一整段sql语句 delimiter // #创建一个存储过程,并命名为...into t values(i, i, i);     set i=i+1;   end while; end //  #这里遇到//符号,即执行上面一整段sql语句 delimiter ; #恢复mysql

    1.8K10

    高并发容量NoSQL解决方案探索

    Replication能解决读的扩展性问题和HA(高可用),但是无法解决读和容量的扩展性。而Sharding可以解决读写和容量的扩展性。一般NoSQL解决方案都是将二者组合起来。...个推以面向APP开发者提供消息推送服务起家,在2012年之前,个推的业务量相对较小,当时我们用Redis做缓存,用MySQL做持久化。...在MySQL无法解决高QPS、TPS的情况下,我们自研了Redis分片方案。...但是它有两个缺陷:一是它使用MySQL作为后端存储,TPS有上限;二是不够灵活。比如:一个集群放在一百台机器上,要做聚合指标,就很困难。...Redis3主从重置的概率比Redis2减少,Redis4支持节点重启以后也能增量同步,这是Redis本身进行了很多改进。 ? 我们现在主要使用的是2.8.20,属于比较容易能产生主从重置。

    98780

    MySQL批量插入测试数据的几种方式

    前言 在开发过程中我们不管是用来测试性能还是在生产环境中页面展示好看一点, 又或者学习验证某一知识点经常需要一些测试数据, 这个时候如果手敲的话, 十行二十行还好, 多了就很死亡了, 接下来介绍两种常用的...MySQL测试数据批量生成方式 存储方式+函数 Navicat的数据生成 一、表 准备了两张表 角色表: id: 自增长 role_name: 随机字符串, 不允许重复 orders: 1-1000...PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=latin1; 二、使用函数生成 通过存储过程快速插入, 通过函数保证数据不重复 设置允许创建函数 查看 MySQL...例如角色名称, 选择了 职位名称 还可以进行是否包含 null 的选择等 但是如果是 姓名 那么就会让你选择是否唯一 数字的话会让你选择范围, 默认值等 等确定好了, 我们就可以点击右下角进行生成随机测试数据...通过结果可以看到生成十一万测试数据一共用时十一秒, 比第一种方法速度快很多, 推荐使用

    54410
    领券