在一个风和日丽的下午，姜同学正在研究动态规划算法，突然被临时传递了一个需求，大致就是测试的同学想要做自动化测试。具体的细节略过，姜同学认为需求还比较合理，可以做。要求如下： ● 无损备份线上数据库到文件 ● 支持表级备份 ● 支持字段脱敏 ● 支持版本管理 ● 支持一键还原
今天中午，尝试着将线上rds的一套主从复制架构重新给搭建成一主两从的架构，在搭建的过程中，遇到了一些有意思的问题，记录一下：
今天下午，线上阿里云RDS的本地只读从库宕机了，还好，这个个服务器上的数据库实例只是提供了一部分的读需求，很快就复原了，但是上面所有的数据库实例都down掉了，启动实例并保证主从复制关系迫在眉睫。这个过程中发现有一个主从复制的问题值得研究一下，虽然最后我解决了，但是具体的原因没有找到，还请大家帮忙看看，也算是集思广益了，如果某一天找到原因了，再回来更新一下。
微软的RDS和linux下的ROS，都已经使用了一段时间，RDS已经很久不更新了，前景必然不如ROS，但无奈用得顺手，还是偶尔怀旧一下。
首先还是要说两句，1 这个帖子不会说是那个云，读者你也不要问是那个云， 2 丢数，我个人认为在云上这是必然的，不是偶然，只是触发概率的问题。（原因很清楚，我说的这个问题，到那个云都一样，越先进的越会有这个问题）
前几天，一早起来，就发现 RDS 挂了，然后也无法重启，后面发现是 bin-log 日志过大，把 RDS 的空间塞满了。
今天上班的时候接收到了一个业务方的反馈，说是一个数据库在删除表的时候报错了，我让他截给我日志看看，日志中的内容如下：
在基于MySQL传统复制的时代（MySQL版本低于5.5），MHA在MySQL高可用中可以说是独领风骚。
强烈推介IDEA2020.2破解激活，IntelliJ IDEA 注册码，2020.2 IDEA 激活码
在云服务器上构建一个云数据库RDS数据库的从库，构建的方式也相对比较简单，和搭建主从的复制没啥区别，这里不做具体介绍；
MySQL性能压测或者基准测试看起来很简单，使用sysbench，tpcc工具跑跑拿到数据就好，其实压测是一个技术活儿，尤其是涉及到性能对比的测试，因为不同场景/不同厂商的产品的参数设置不同，测试的结果也不一样。如果不阐明具体的参数配置差异，直接给出压测结果可能给其他人带来误导。
从库严重严重落后于主库,读写分离业务失真,基于从库做的报表数据出不来以及基于从库做的数据探查失效。
我司在某云的MySQL数据库占硬盘空间大于90%，RDS空间总空间为 700G，表A分析之后。某渠道统计的表有5亿，单表空间超过350G。
主从模式对于写少读多的场景确实非常大的优势，但是总会写操作达到瓶颈的时候，导致性能提不上去。
笔者刚开始进入公司的时候，主要是忙于分布式MySQL系统----MyShard的构建，公司使用了大量的IDC机房，基于这种网络特点，MyShard设计当初完全是为了是一套支持Multi-Master操作的高可用性的分布式数据库，可以在多个机房中部署的业务上提供快速的写操作，实现了分布式高可用存储能力。
有赞大数据技术应用的早期，我们使用 Sqoop 作为数据同步工具，满足了 MySQL 与 Hive 之间数据同步的日常开发需求。
一 、引子 笔者刚开始进入公司的时候，主要是忙于分布式MySQL系统----MyShard的构建，公司使用了大量的IDC机房，基于这种网络特点，MyShard设计当初完全是为了是一套支持Multi-Master操作的高可用性的分布式数据库，可以在多个机房中部署的业务上提供快速的写操作，实现了分布式高可用存储能力。 在业务增长期，MyShard解决了公司的很多大型的数据库存储业务，随着公司业务逐渐稳定下来，分布式存储需求越来越少。而公司却有大量的小业务以及不断尝试的各种新业务，需要越来越多的小数据量的数据库存
沃趣科技作为服务国内B端企业的数据库产品和解决方案的国产厂商，多年与传统企业打交道，深知传统企业目前正面临着互联网应用和数字化全面转型的挑战。我们了解到CIO眼里最重要的规划之一，就是如何根据企业自身的业务特点打造合适的私有云平台，来适应日新月异的应用场景变化，快速推出满足市场需求的应用。
为了节省资源，博主这里只搭建了一台，只有一台主的服务器。端口：6301密码：rds6301_paswd
4.域名--->CDN--->负载均衡--->云服务器ECS+数据库RDS(主从)+缓存Redis
随着医疗、大型企业行业上云步伐的加快，上云后的业务系统安全性如何保障成为客户关注的重点。对于医疗、大型企业客户，往往建有自己的数据中心，如何保障极端情况下业务系统的稳定运行？双活、灾备，能帮到我们！
客户需要将华为云rds for MySQL和天翼云rds for MySQL做一个双向同步，当华为云rds宕机的时候，可以切换到天翼云继续提供服务，而且此时，天翼云的数据也可以自动同步到华为云rds，平时只使用华为云的rds，和双A方案有点差异，需要注意的是rds环境不能安装任何的软件，所以，我目前想到的方案有：
简介和安装 redis简介： 开源高性能key-value存储；采用内存中（in-memory）数据集的方式，也可以采用磁盘存储方式（前者性能高，但数据可能丢失，后者正好相反） 支持字符串（strings）、哈希（hashes）、列表（lists）、集合（sets）和 有序集合（sorted sets）等；支持对复杂数据结构的高速操作。 特性多，支持主从同步、pub/sub等 支持多种客户端（http://redis.io/clients） ... 注：应用场景没有提到，暂时没有太多实际体会，不瞎说，
今天是周五，最近睡眠不好，一整天都浑浑噩噩的，状态不是很好，周五了，准备早点回家，早点休息了，今天的内容写写线上的一个案例，主要是关于主从复制过程中的replicate-gnore_table参数的，废话不多说，开始写。
读写分离的场景应用 随着业务增长，数据越来越大，用户对数据的读取需求也随之越来越多，比如各种AP操作，都需要把数据从数据库中读取出来，用户可以通过开通多个只读实例，将读请求业务直接连接到只读实例上。使用RDS云数据库的读写分离功能，用户只需要一个请求地址，业务不需要做任何修改，由RDS自带的读写分离中间件服务来完成读写请求的路由及根据不同的只读实例规格进行不同的负载均衡，同时当只读实例出现故障时能够主动摘除，减少对用户的影响。对用户达到一键开通，一个地址，快速使用。 MySQL内核为读写分离的实现提供了支持，包括通过系统variable设置目标节点，session或者是事务的只读属性，等待/检查指定的事务是否已经apply到只读节点上，以及事务状态的实时动态跟踪等的能力。本文会带领大家一起来看看这些特征。说明一下，本文的内容基于RDS MySQL 5.6与RDS MySQL 5.7。
内容来源：2017 年 12 月 21 日，驻云科技资深架构师翟永东在“云时代企业架构的搭建”进行《云上架构如何实现高性能和高可用》演讲分享。IT 大咖说（微信id：itdakashuo）作为独家视频合作方，经主办方和讲者审阅授权发布。 阅读字数：2851 | 8分钟阅读 摘要 云上架构需要关注多方面的因素，本次主要讲的是高可用和高性能，从这两方面展开深度的解析如何搭建完善的云上架构。 嘉宾演讲视频及PPT回顾：http://suo.im/4sKQd8 云上架构概述 云上搭建架构不单单需要考虑到性能和可用性
随着云计算的快速发展，越来越多的企业希望从顶层框架入手，探索整体数据架构中的更多可能性，DBaaS(亦称泛数据库类服务)就是PaaS 层的一个重要分支。那么，DBaaS到底是什么?适用于哪些应用场景?
云产品 API 是用于与云产品进行通信的编程接口，允许开发者编写代码来控制云资源。通过使用 API，开发者可以实现自动化和标准化的操作，从而提高效率和降低错误率。此外，云产品 API 还可以提供对云服务的扩展和集成，使开发者能够将云服务与自有其他应用系统集成，构建更加丰富和复杂的应用程序。通过使用 API，可以提高开发者的生产力和创新能力，帮助他们更快地开发和部署云应用，从而更好地满足业务需求，实现真正的"DevOps"。
答：云数据库是部署和虚拟化在云计算环境中的数据库。云数据库是在云计算的大背景下发展起来的一种新兴的共享基础架构的方法，它极大地增强了数据库的存储能力，消除了人员、硬件、软件的重复配置，让软、硬件升级变得更加容易，同时，也虚拟化了许多后端功能。云数据库具有高可扩展性、高可用性、采用多租形式和支持资源有效分发等特点。
这题目让我想起非诚勿扰电影里面的台词，有意思吗？有意思呀！PostgreSQL 有意思，PolarDB for PostgreSQL 有意思。
redis的出现时间并不长，是NoSQL中的一种，基于键-值型的存储，与memcache类似，但是memcache中只是内存的缓存，而redis不仅是内存中的缓存，还提供持久存储，在2009年第一次发布redis。
MySQL 慢日志（slow log）是 MySQL DBA 及其他开发、运维人员需经常关注的一类信息。使用慢日志可找出执行时间较长或未走索引等 SQL 语句，为进行系统调优提供依据。 本文将结合一个线上案例，分析如何正确设置 MySQL 慢日志参数和使用慢日志功能，并介绍下网易云 RDS 对 MySQL 慢日志功能的增强。
今天早上上班来，接了一个需求，需要对线上一个大表做个归档的操作，其实就是rename一下，将表table从A库转移到B库里面，然后在A库中创建一个同名的表table，同时保持自增id连续。
作者：李志勇 来源： http://www.csdn.net/article/2016-03-21/2826611 偶然在网上看到游族网络运维总监李志勇先生进行的一次分享，作为一个运维人，对其中的运维
在这些可选项中，最常见的就是基于主从复制的方案，其次是基于Galera的方案，我们重点说说这两种方案。其余几种方案在生产上用的并不多，我们只简单说下。
华为云存储容灾服务(简称SDRS)提供了虚拟机级别的容灾保护，当主站点故障的时候，虚拟机可以在备站点迅速恢复，以确保业务的联系性
关于MySQL私有云平台的方案设计，最从开始要基于RDS的设计方式到现在的迭代，其实还是走过了一段旅程，也算是比较坎坷，我来总结一些思路。
最近的互联网线上事故发生比较频繁，9月19日网上爆料出顺丰近期发生了一起线上删库事件，在这里就不介绍了。
gh-ost基于 golang 语言，是 github 开源的一个 DDL 工具，是 GitHub's Online Schema Transmogrifier/Transfigurator/Transformer/Thingy 的缩写，意思是 GitHub 的在线表定义转换器。
关于发号器的使用，其实有一个大背景，那就是关于主键的一些设计问题，在MySQL中如果一张表没有主键，实际的数据处理就有点麻烦了。
这篇文章是我一直想写的一篇，因为“计算和存储分离”最近几年在大家的视野中出现得越来越多，但其实很多对于其到底代表着什么也是模糊不清，这里我查阅了很多的资料再结合平时自己的理解，聊聊到底什么是“计算和存储分离”
在集中式开发时代，配置文件基本足够用了，因为那时配置的管理通常不会成为一个很大的问题，简单一点来说，系统上了生产之后，如果需要修改一个配置，登录到这台生产机器上，修改这个配置文件，然后reload配置文件并不是什么很大的负担。但是在互联网时代，我们的应用都是分布式系统，部署在N台机器上，如果在线上一台一台的重启机器，会造成很大的负担和不稳定。并且对于公司来说，会有多个环境区分（测试环境和线上环境），有时还需要对同一环境中的不同集群做不同的配置。因此需要一个配置中心来集中管理不同环境、不同集群的配置，修改配置后能够实时推送到应用端。
👆点击“博文视点Broadview”，获取更多书讯 项目早期无论是从成本考虑，或者是业务模型考虑，往往难以估量长期的业务变化发展，尤其是数据库的扩容，项目的设计成员往往会单纯得以为，等到数据量膨胀以后，直接扩容数据库的规格，通过堆硬件的方式来解决数据库负载的问题。 在笔者的从业经验来看，这样的思想几乎是行业的“主流思想”，这也无可厚非，从业务角度，底层做得越透明，往往是越成功的。但从数据库的角度来看，单纯的堆硬件扩容依然存在非常大的性能隐患。 如果早期的时候，使用了8C 16G的RDS规格，以支撑1w Q
标题中的DBA其实包含两层含义：Database Architect 与 Database Administrator，我在这里都简称DBA了。
读写分离，作为一种常用的数据库访问优化手段，得到广泛的应用。本文尝试从读写分离的技术实现、适用场景及典型产品等角度，阐述这一技术的整体现状。
新master的file、pos位置已经改变，需要重新change master配置新的复制点
大家好，我是马听，目前有8年DBA工作经验，这一篇文章，来跟大家聊一下，从事DBA岗位是一种怎样的体验？
随着客户上云的加快，客户越来越希望直接采用云上的数据库系统支撑业务发展，作为服务商来讲，了解云上的数据库的应用场景及常见特性成为必然。否则，将出现与客户交流困难，影响项目成效的麻烦事。今天我们讲五种常见的云数据库，这些内容也是在与客户沟通交流中的常见问题。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
