本文主要用于说明如何从命令行工具的方式中恢复 Discourse,以及我们在备份和恢复的过程中遇到的坑和解决办法。
在国内不论是使用阿里云、腾讯云还是华为云的云平台版本的 MySQL 数据库,在遇到数据备份恢复的场景,都会遇到需要使用 Percona XtraBackup 工具进行备份还原的需求。
用户通过 Deployment、ReplicationController 可以方便地在 kubernetes 中部署一套高可用、可扩展的分布式无状态服务。这类应用不在本地存储数据,通过简单的负载均衡策略可实现请求分发。随着 k8s 的普及和云原生架构的兴起,越来越多的人希望把数据库这类有状态服务也通过 k8s 进行编排。但因为有状态服务的复杂性,这一过程并不容易。本文将以最流行的开源数据库 MySQL 为例,介绍如何在 k8s 上部署运维有状态服务。本文所作的调研基于k8s 1.13。
OceanBase 数据库采用了单集群多租户设计,天然支持云数据库架构,支持公有云、私有云、混合云等多种部署形式。
墨墨导读:备份恢复是DBA最后一道防线。最近项目碰到备份恢复的相关的事项,结合自己的经验,巩固一下知识。
Bytebase是一款面向开发者的数据库变更管理工具,目前在Github上已有3.6K+Star。
版权声明:本文为博主原创文章,欢迎扩散,扩散请务必注明出处。 https://blog.csdn.net/robinson_0612/article/details/83581000
Xtrabackup 是由 percona 开源的免费数据库热备份软件,它能对 InnoDB 和 XtraDB 存储引擎的数据库非阻塞地备份。
备份恢复之前和同事投入了一些精力来完善,算是走上了平台化对接的一个开始,在满足功能的前提下,能够基本实现数据全备,增备和DML闪回,但是在性能和可控性方面还是存在不少的改进之处,最近梳理了下已有的备份恢复策略,准备在这个方面能有一定的成绩。
爱可生研发团队成员,负责数据库管理平台相关项目的开发和故障排查,好奇 MySQL 技术原理及各类数据库实现方案。
背景 腾讯云容器服务TKE从2016年提供服务至今,已服务成千上万企业构建其容器化平台, 一方面,腾讯云容器团队在提供容器服务时积累并完善了一套万级K8s集群的etcd管理平台,用于支撑腾讯云容器产品稳定运行,该平台同时也支撑了腾讯内部业务如云监控,api网关,欢乐游戏等,另一方面,我们积极参与etcd社区,将我们大规模实践过程中遇到的问题和解决方案,反馈和贡献给社区,是社区2020年最活跃的贡献团队之一。 容器团队在多次客户访谈中了解到,很多客户不想自己运维etcd,期望能够使用腾讯云容器服务内部et
随着互联网高速发展,数据安全的重要性日趋明显。数据备份是企业应对系统故障的重要手段。数据备份可以提高系统的高可用性和灾难可恢复性,使用备份还原数据是系统崩溃时提供数据恢复最小代价的最优方案。
对于数据恢复来说,现在其实缺少一些有效的使用场景来更好的体现业务价值,于是我们就重新考虑了下现有的备份支持能力。
数据库维护中,备份或恢复是重中之重的问题。尽管很多时候数据库系统运行缓慢,但对数据库数据的丢失而言,显然后者损失的代价是
备份恢复是 DBA 必备的技能,开源数据库 MySQL 在社区中有不少常用的备份恢复方案,xtrabackup,mypump,mydumper,mysqldump,mysql enterprise backup 等等。但是这些方法多数都是从外部利用各类数据库的机制来完成备份与回复,因此多多少少会存在操作步骤多,备份恢复比较慢等问题。于是 Oracle 在 19 年 7 月下旬发布的 MySQL 的 8.0.17 版本中,加入了一个全新的功能性插件:Clone。这个插件只需要几行 client 命令就可以完成数据库的备份恢复,且花费的时间远也低于常规的备份恢复手段。
MySQL的备份恢复是一直想要改进的地方,其中恢复是重中之重,这部分的工作要做成平台化的工作,算是有了前期的很多铺垫和延迟,最近在和同事的共同协作下,总算有了一些眉目出来。
今天整理了一下关于平台中的维度设计,之前总是感觉有些零乱,总是没有找到一些关联关系。 整理了一个初版内容,后续会继续完善。 自动化平台的维度设计 元数据维度设计 主机 虚拟机 宿主机 外部接口 实例 MySQL Redis 角色 主从 单点实例 集群 MySQL Master-Slave MHA MyCAT Redis Twemproxy Redis Cluster 数据库 逻辑对象 项目 应用编码 应用信息 功能维度设计 系统通用功能 系统配置管理
上篇文章介绍了Docker工具的安装及常用命令使用。本篇文章我们会介绍如何在Docker中运行MySQL实例,可能有的小伙伴会问:为什么要在Docker里运行MySQL呢?因为在Docker里部署MySQL实例操作简单,不需要考虑操作系统等依赖差异,而且可以多实例部署,比如说我们原来服务器有安装MySQL5.7,我们想再运行MySQL8.0实例的话只需要用Docker启动MySQL8.0镜像即可。下面我们就来介绍下如何用Docker启动MySQL实例。
备份规则:每天凌晨进行备份。原因:1. oplogSize 设置得比较大(10000);2. 现网数据量比较小,所以能保证 oplog 可以记录一整天的数据而不被覆盖,因此只要一天备份一次即可。若当天的数据需要恢复,可直接从当前 oplog 中去恢复。 说明 备份 备份恢复 使用crontab定时备份 参考资料 说明: 一、mongodb 版本:4.0.10 二、配置副本集的服务器: 服务器端口地址 默认角色 10.133.8.232:27017 primary 10.53.101.8:27017
NebulaGraph BR 开源已经有一段时间了,为了给社区用户提供一个更稳、更快、更易用的备份恢复工具,去年对其进行了比较大的重构。NebulaGraph BR(以下简称 BR)分为社区版和企业版两个版本,企业版在社区版功能的基础上,额外提供了增量备份的能力。而本文将以 BR 社区版为例,简单介绍 BR 的一些实现细节并通过上手练习来讲述如何使用 BR 进行 NebulaGraph 数据的备份恢复。
“不想当将军的士兵不是好的战士”、“不想当CIO的DBA不是好的运维”。在每天面临如此多的来自工作量、运维安全、技术更新挑战的同时,我们还需要不断的成长与思考:
资深数据库专家,专研 MySQL 十余年。擅长 MySQL、PostgreSQL、MongoDB 等开源数据库相关的备份恢复、SQL 调优、监控运维、高可用架构设计等。目前任职于爱可生,为各大运营商及银行金融企业提供 MySQL 相关技术支持、MySQL 相关课程培训等工作。
很多年前,被公司外派到一家单位驻场开发一个OA项目,两个开发对接各部门的需求,需求还要及时生效(一边开发一边使用)。
为帮助开发者更好的了解和运用数据库,腾讯云数据库团队特出品《深入浅出理解云数据库》系列文章,从数据库的基本概念到云数据库特性及应用,从数据库基础原理知识到腾讯云经典实战案例解读,带你走进云数据库的世界。关注“腾讯云数据库”微信公众号,开启2020年的DB修炼之旅。 第一回请点击:数据库的基本概念和云数据库特性 第二回请点击:云数据库的市场应用及基础原理知识 第三回请点击:云数据库产品特性及应用场景介绍 本章我们会详细介绍腾讯云MySQL的操作流程,如何在控制台创建、管理数据库,如何对腾讯云MySQL进行
本文档将详细介绍如何对 TiDB 进行全量备份与恢复。增量备份与恢复可使用 TiDB Binlog。
由于 PDB 的引入,Oracle 数据库的备份和恢复也发生了很多变化,基于 PDB 级别的表空间、库备份同时被支持。以下通过实际测试介绍一下12c中关于 PDB 的备份恢复过程。 ⑴ 启动归档模式
“Kubernetes(常简称为 K8s)是用于自动部署、扩展和管理容器化(containerized)应用程序的开源系统。该系统由 Google 设计并捐赠给 Cloud Native Computing Foundation(今属 Linux 基金会)来使用。”这是维基百科上对 Kubernetes 的介绍。
作为企业的运维人员,经常会担心公司的服务被黑客攻击了而头疼。一旦被攻击就要为了恢复业务,就需要运维人员保障业务连续,需要从备份中恢复数据。但这种情况对于运维人员来说并不容易,不仅备份恢复时间长、恢复数据不准确等问题,让领导跟业务方都很火大。关键时刻备份系统不给力, IT运维又得背锅了~
前期揉入了一些功能,因为主要是面向基础功能,所以进度略慢,如果要想一下子有种井喷的效果,那就是脚本化和流程化大显身手的时候了。 如果尽可能减少开发和业务同学之间的技术代沟,使用脚本化和流程化我认为就是一个纽带。 这里所说的脚本化,其实严格来说是校本化,工具化的延伸。是相比于基础功能命令,SQL,接口的进一步抽象。 我来分别对脚本管理,流程管理做一个基本的解释,欢迎各位拍砖,拍得越狠越好,因为我希望听到有价值的建议。 脚本管理是在元数据构建的基础上的,比如对MySQL/Redis DBA来说,操作的基本粒度是
是所有物理文件的一个副本,比如数据文件,控制文件,归档日志等。该副本能被存储在本地磁盘或磁带等等。
腾讯云MongoDB数据库,稳定、弹性、安全、高性能的文档型数据库,兼容 DynamoDB 协议,满足您多样的业务需求
今天测试了一下12c中的PDB还原恢复,里面还是有不少的差别。 我就简单模拟了一个破坏场景,是在一个未打开的PDB tcymob0从中删除了数据文件usres01.dbf,然后尝试备份恢复。 当然在这个操作前,我们使用RMAN来备份,使用命令backup database即可备份整个数据库。 手工破坏的语句如下: $ rm /U01/app/oracle/oradata/test12cs/tcymob0/pdbseed/users01.dbf 这个时候的还原工作就很清晰了,直接还原对应的表空间或者数据文件都
数据库作为基础设施,其安全性不言而明,因此数据安全备份和恢复功能是在严肃使用场景下的标配。TiDB 作为一款分布式数据库,目前可以满足超大集群的备份恢复的需求,经过测试,10T 数据的备份恢复速度可以达到 GB/s 级别。这得益于我们研发的分布式备份恢复工具 Backup&Restore That Scales(以下简称 BR)。
现今几乎每个大型技术峰会,都离不开互联网金融,企业数字化转型话题。国内外大型云计算独角兽企业,例如阿里云、Amazon、微软Azure等云计算供应商更是提供一站式服务,从底层硬件基础服务到顶层应用业务SaaS软件,帮助企业实现互联网架构的数字化转型。
Flashback恢复数据的原理是通过修改binlog内容,拿回原库进行回放,前提是binlog_format=row和binlog_row_image=FULL。
数据库管理系统对于大多数公司来说都是一个刚需。主要是将DBA的工作自动化,提高运维效率。传统企业会购买一些市场上的商业产品。互联网公司大多数会由DBA组自己开发维护一个类似系统。最近调研了一些开源的数据管理系统,加上一些个人的思考。觉得一个数据库管理系统应该具有以下基础功能:
那大概是一个春暖花开的季节,我的内心是激动澎湃的,因为已经安排了休假计划。在这前几天,已经把一个新项目的数据库环境都部署好了,包括 自动化备份。
如果一个线上数据库发生了问题,需要做数据恢复,作为DBA应该给自己留一些改进的余地,否则陷入两难的境地,只会让自己更加被动。
前面几篇文章为大家介绍了 MySQL 各种语句语法的用法及用户权限相关知识。本篇文章将主要讲解 MySQL 数据库数据备份与恢复相关知识,主要聚焦于逻辑备份,介绍mysqldump工具的使用以及恢复方法。
首先交代一下背景,由于某些因素的限制,我们公司目前的备份策略采用的是隔天全备的方案,增量备份则使用的是binlog server的方式,那么如何快速恢复就成为了我们需要思考的问题
对于MySQL方向的备份恢复设计,其实是作为数据保障工作最基础的事情了,备份的重要性就不需要反复强调了。对于数据备份的必要性我在团队内的一个要求就是,如果没有从库,不需要备份,基本可以判定这个业务可以下线了。
K8S数据保护工具比较:Cohesity、 Kasten、 OpenEBS、 Portworx、 Rancher Longhorn、 和Velero
首先看下MySQL误删数据排名最前的几种是什么,然后说几点平时预防误操作导致文件/数据丢失不成熟的建议,最后再说万一发生误操作时,怎么以最快速度进行补救。
2. 按照对应设备类型的最新教程,重新启动一个镜像版本为1.4的独立部署容器,其他配置和现有独立部署容器相同。
简言之,将rman的备份恢复命令写成脚本并保存在恢复目录内,恢复目录内的脚本可用性及通用性高于基于文件系统的脚本。
usr1@ORCL> define length="15" --定义变量length
热备中主要有逻辑备份和裸文件备份,裸文件备份要比逻辑备份在速度上快一些,mysqldump 备份方式是采用的逻辑备份,其最大的缺陷是备份和恢复速度较慢,如果数据库大于 50G,mysqldump 备份就不太适合。而 XtraBackup 是一种物理备份工具,支持热备,在备份时复制所有 MySQL 的数据文件以及一些事务日志信息,在还原时将复制的数据文件放回至 MySQL 数据目录,并应用日志保证数据一致。
领取专属 10元无门槛券
手把手带您无忧上云