专栏首页johnnyxsu技术交流分享云上MySQL你应该知道的几点
原创

云上MySQL你应该知道的几点

使用云上的MySQL时,会遇到很多人询问CDB的 为了更好的了解云上的MySQL,本文将介绍一些重要的知识点。

1.实例类型

目前云数据库 MySQL 支持三种架构:基础版、高可用版、单节点高 IO 版

1、基础版是单个节点部署,价格低,性价比非常高,由于是单节点,数据安全性以及可用性不能保证,不建议生产环境使用

2、高可用版采用一主 N 从的高可用模式,实时热备,提供宕机自动检测和故障自动转移。主从复制方式有三种:异步、半同步、强同步。高可用版默认一主一从异步复制方式,可以通过购买和升级迁移到一主二从强同步模式。

3、单节点高 IO 版采用单个物理节点部署,性价比高;底层存储使用本地 NVMe SSD 硬盘,提供强大的 IO 性能。目前应用于只读实例,帮助业务分摊读压力,适用于有读写分离需求的各个行业应用。

2.数据库实例复制方式

异步复制

应用发起数据更新(含 insert、update、delete 等操作)请求,Master 在执行完更新操作后立即向应用程序返回响应,然后 Master 再向 Slave 复制数据。

数据更新过程中 Master 不需要等待 Slave 的响应,因此异步复制的数据库实例通常具有较高的性能,且 Slave 不可用并不影响 Master 对外提供服务。但因数据并非实时同步到 Slave,而 Master 在 Slave 有延迟的情况下发生故障则有较小概率会引起数据不一致。

腾讯云数据库 MySQL 异步复制采用一主一从的架构。

半同步复制

应用发起数据更新(含 insert、update、delete 操作)请求,Master 在执行完更新操作后立即向 Slave 复制数据,Slave 接收到数据并写到 relay log 中(无需执行) 后才向 Master 返回成功信息,Master 必须在接受到 Slave 的成功信息后再向应用程序返回响应。

仅在数据复制发生异常(Slave 节点不可用或者数据复制所用网络发生异常)的情况下,Master 会暂停(MySQL 默认10秒左右)对应用的响应,将复制方式降为异步复制。当数据复制恢复正常,将恢复为半同步复制。

腾讯云数据库 MySQL 半同步复制采用一主一从的架构。

强同步复制

应用发起数据更新(含 insert、update、delete 操作)请求,Master 在执行完更新操作后立即向 Slave 复制数据,Slave 接收到数据并执行完 后才向 Master 返回成功信息,Master 必须在接受到 Slave 的成功信息后再向应用程序返回响应。

因 Master 向 Slave 复制数据是同步进行的,Master 每次更新操作都需要同时保证 Slave 也成功执行,因此强同步复制能最大限度的保障主从数据的一致性。但因每次 Master 更新请求都强依赖于 Slave 的返回,因此 Slave 如果仅有单台,它不可用将会极大影响 Master 上的操作。

腾讯云数据库 MySQL 强同步复制采用一主两从的架构,仅需其中一台 Slave 成功执行即可返回,避免了单台 Slave 不可用影响 Master 上操作的问题,提高了强同步复制集群的可用性。

3.高可用实现原理

目前使用最多的就是高可用版本的一主一从架构,正常情况下,客户通过VIP:Port的方式链接到主库上,从库通过binlog和主进行同步。云上MySQL在数据库所在的物理机发生硬件故障时是如何保证高可用呢?

1、主所在物理机发生故障:

(1)正常情况下,客户端通过VIP:Port的方式链接到主库上,从库通过binlog和主进行同步。如下图中的步骤1

(2)当主库所在的宿主机发生异常宕机,此时客户端的链接就会被切换到从库(客户端具有断线重连几乎不受影响),此时从库进行读写。主库故障后,云平台会自动生成一个新的主从高可用实例,将最近一天的冷备导入到新实例对,在和当前的旧的从库进行binlog的同步。如下图中的步骤2

(3)binlog增量同步完成后,旧的从库会和新的实例对一直进行同步状态,直至维护时间再次进行主动切换,切换时存在秒级闪断,业务有重连可以忽略闪断。此时客户端直接通过VIP+Port的方式连接到新建的实例对。旧实例就会被删除。详细的步骤如下图步骤3

MySQL主库故障切换示意图

2、从所在的物理机发生故障

从库所在的物理机发生故障是,对客户端来说业务是完全不受影响,在从库所在物理机异常后,云平台会自动发起重建从库的流程,在健康的物理机上新建一个从库,导入冷备数据后和主库进行同步,同步完毕后,此时数据库又恢复了主从高可用状态。

4.实例升级

数据库的升级不仅包含数据库版本升级,还包括硬件升配,当然硬件的降配具体的原理也是一样的。

(1)在控制台发起实例升级的任务后,云平台会自动创建一个新的实例对,该新实例对的配置是需要调整到的配置。先将最近一次的备份导出到新建实例对内,在和主实例进行binlog同步。如下图步骤1

(2)主实例和新建实例对同步完成后,用户可以自行选择立即切换或在维护期内切换。整个切换过程秒级即可完成,完成后吗,客户端连接数据库请求都会到目标实例对,源实例对则会被自动回收。如下图步骤2

从上面的步骤我们可以看到升级实例时,完全不影响数据库的正常使用。升级主要花费的时间是导入冷备和追binlog这两个步骤,而这两个环节的所需的时间取决于客户的数据量大小和产生的binlog的大小。一般导入冷备的速度是50G/h(理论值仅供参考)。

数据库实例升级示意图

5.binlog介绍

binlog日志用于记录所有更改数据的语句, 俗称二进制日志,主要用于复制和即时点恢复。主从复制也是依赖于binlog的。类似于Oracle的archivelog,Mongodb的oplog,所有和写有关或者可能有关的语句,都会记录在binlog文件中。云上的MySQL数据库的binlog文件都是每1G自动生成一个(新购实例也可能256M做一次切割),除非做了flush logs的操作。

MySQL的binlog默认保留5天,所以如果需要回档的话,只能恢复到5天内的任意时间点。

另外控制台下载的 binlog 日志,需要在本地解析的话,须确保客户端的 MySQL 版本与 CDB for MySQL 的版本一致,否则会出现解析出乱码的情况,建议使用 3.4 或以上版本的mysqlbinlog

6.回档介绍

回档是将数据库通过冷备和binlog恢复到之前的某个时间点的一种操作。 CDB的回档分为普通回档、快速回档以及极速回档

普通回档:导入该实例的全量备份,再在对选中的库、表进行回档。该回档模式无限制,但回档速度较慢

快速回档:仅导入所选中库级别的备份和binlog,如有跨库操作,且关联库未被同时选中,将会导致回档失败

极速回档:仅导入所选中表级别的备份和binlog,如有跨表操作,且关联表未被同时选中,将会导致回档失败。极速模式下,请手动选择需要回档的表。如果表已经被删除,需要客户自行创建表在进行回档操作。

7.慢查询

慢查询就是执行数据库查询时消耗时间比较大的SQL语句。MySQL CPU 利用率过高,大部分原因与低效 SQL 有关系,通过优化低效 SQL 基本可以解决大部分问题。MySQL 慢查询时间的默认值是10s,在遇到性能问题时,若发现没有慢查询,建议将其参数调成1s ,再观察业务周期内的慢查询,进而对其慢查询进行优化。

如果出现全表扫描较高的情况,可以打开log_queries_not_using_indexes参数,此时未使用索引的全表扫描也可以记录到慢查询里面。这个参数并不建议一直打开,会对数据库的磁盘造成较大影响。

8.MySQL空间

用户使用查询语句得到的MySQL空间和控制台看到的已使用空间相比有很大出入,为什么?

MySQL的空洞效应导致,使用过程中的一些碎片没有得到合理释放因此查询语句查出来的空间和控制台统计的实际已使用空间相比少了许多,这部分是碎片,彻底解决需要在夜深人静的时候执行optimize table。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 你所应该知道的云计算

    感觉像是云计算的一个推崇者,为云计算在做广告,Robyn Peterson的文章What you need to know about cloud comput...

    大江小浪
  • 你应该知道的建模的几种方法

    近期,66号学苑携手ZRobot CEO乔杨为大家带来“企业级信用评分模型”系列课的第二课,本期课程乔杨老师主要介绍了建模的主要方法及在应用中需要注意的情况。以...

    企鹅号小编
  • 你应该知道的RocketMQ

    在很久之前写过一篇Kafka相关的文章,你需要知道的Kafka,那个时候在业务上更多的是使用的是Kafka,而现在换了公司之后,更多的使用的是Rocketmq,...

    用户5397975
  • 关于前端你应该知道的几件事

    文章来源于我对知乎的一个相关问题的回答。 JavaScript是最流行的编程语言,除此还有Java。 ? 如Tiobe所说: ? JavaScript...

    Phodal
  • 你应该知道关于Python的这几个技巧!

    大多数的Python程序员都知道且使用过列表推导(list comprehensions)。如果你对list comprehensions概念不是很熟悉——一个...

    小小科
  • Kubernetes治理,你应该知道的

    https://kublr.com/blog/kubernetes-governance/

    CNCF
  • 你应该知道的RPC原理

    本文是在别人的文章上加上了LZ很多的示例代码和思路写成的,并且在GitHub上写了相应的代码,本文说的思路都有体现,点击最下面原文链接里面有LZ的GitHub地...

    Java识堂
  • 企业是怎样做全网推广,这几点你应该要知道!

    随着PC端和移动端的普及,互联网时代正在迅速的发展,相信很多的企业家对网络推广、营销都不是很陌生吧,网络营销的方法有很多,企业做全网营销推广之前,...

    用户5427241
  • 「知识拾遗」你应该知道的 https

    HTTP:超文本传输协议HTTP协议被用于在Web浏览器和网站服务器之间传递信息,HTTP协议以明文方式发送内容,不提供任何方式的数据加密,因此,HTTP协议不...

    前端迷
  • 选好云存储供应商你应该知道的五件事

    最简单(而且最便宜)的云存储提供商可能提供了极少的存储管理门户或者控制面板。在一些案例中,这些都受限于磁盘层级和文件目录的窗口视图。从用户访问简单文件注册...

    静一
  • 这几种机器学习算法,你都应该知道!

    假设有一些跟数据相关的难题需要你去解决。之前你已经听过机器学习算法的厉害之处了,因此你自己也想借此机会尝试一番——但是你在这个领域并没有经验或知识。于是你开...

    机器人网
  • 2020 年你应该知道的 React 库

    React 已经诞生很久了,自从它诞生开始,围绕组件驱动形成了一个非常全面的生态,但是来自其他编程语言或者框架的开发人员很难找到要构建一个 React 系统的所...

    桃翁
  • NPM 组件你应该知道的事

    开发一个 npm 组件, 你是否了解需要对外导出什么格式的代码?如何让 npm 组件体积尽可能小?

    lucifer210
  • 你应该知道的 Go WaitGroup 剖析

    本篇主要介绍 WaitGroup 的一些特性,让我们从本质上去了解 WaitGroup。关于 WaitGroup 的基本用法这里就不做过多介绍了。相对于《这可能...

    haohongfan
  • 在微服务的世界里, 你应该要知道的几件事

    2017.6.1, Ken Fang, 深圳 在微服务的世界里, 假如, 还只是在用几十年前软件工程的思维, 则将会为自身的微服务带来失败、毁灭性的灾难。 @ ...

    Ken Fang 方俊贤
  • 你应该知道的15个Silverlight诀窍

    我热爱Silverlight,并且身体力行写了很多Silverlight程序,也讨论了很多关于Silverlight的技术。对于刚刚接触Silverlight的...

    葡萄城控件
  • 你应该知道的缓存进化史!

    本文是上周去技术沙龙听了一下爱奇艺的Java缓存之路有感写出来的。先简单介绍一下爱奇艺的java缓存道路的发展吧。

    Java后端技术
  • 你应该知道的TypeScript高级概念

    来源 | https://juejin.cn/post/6897779423858737166

    winty
  • 你应该知道的五种IO模型

    linux操作系统包含了五种IO模型,各种上层编程语言或者网络编程框架的上层实现都是基于操作系统的这些IO实现来实现的。

    春哥大魔王

扫码关注云+社区

领取腾讯云代金券