一、说明 从主集群定期的导出最近两个快照之差,然后导入到备集群。 三、总结 最终选择方案三定期的备份增量文件,达到增量备份。 3.1 备份流程图 ? 3.1.2 首次备份 1.在主集群创建Image的快照 2.导出主集群Image的全量快照 3.将导出的全量快照文件传输到备集群 4.备集群创建对应的pool/image 5.导入全量快照文件到备集群中 6.完成备份 3.1.3 非首次备份 1.在主集群查找最近的快照文件,并且确认备集群是否存在同名的快照 2.在主集群创建Image的快照 3.导出最近快照文件和刚创建快照文件的差量文件。 (导出每次diff,实现增量备份) 4.将导出的差量快照文件传输到备集群 5.导入全量快照文件到备集群中 6.完成备份 3.2 总结 定期的每天导出增量的数据文件,在做恢复的时候,就从第一个快照导入
一、业内灾备方案 1. 方案对比 方案 详细说明 优点 缺点 Snapshot 主站点备份时为存储块打快照,将快照的差异部分发送到备站点重新生成新快照 1.当前Ceph版本就支持rbd snapshot的功能 2. 定期备份存在差异数据丢失 Ceph-backup 官方社区基于快照的方式,进行包装了下 同上 同上 RBD Mirroring 主要是客户端多写一份日志,然后异步同步到备集群进行实时备份 1. 总结 结合业内的各大公司的灾备方案,以及社区相关的技术文档。个人建议用快照的方式, 简单、便捷、风险较低、易实现。 并且国内云厂商也普遍都是利用快照的方式实现灾备方案,然后加上自己的策略进行包装。
腾讯云图是一站式数据可视化展示平台,旨在帮助用户快速通过可视化图表展示大量数据,低门槛快速打造出专业大屏数据展示。新用户0.99元起,轻松搞定数据可视化
本文组织: 灾备系统建设任重道远 CDM简介 南京政务云CDM灾备方案分析 1 灾备系统建设任重道远 灾备系统建设是IT领域永恒的话题,但是,目前很多企业仍未重视灾备建设的重要性。 相比传统架构下的灾备系统,云基础架构之上的灾备系统建设带来的新挑战主要是针对虚拟机环境的特殊性做一系列适配,以及与云管理平台的集成统一管理。 ? Copy Data Management(CDM)是灾备领域近年来出现的新概念,本文利用一个案例向大家展示CDM如何在私有云中落地实现云虚拟化环境的灾备。 3 南京政务云CDM灾备方案分析 3.1 项目概述与需求 南京市政务云系统软硬件设备分布在三个机房:新城机房、电信机房、移动机房。 图:数据库增量合成和快照处理 2.3 方案技术优势 与云平台全方位对接。鼎甲科技已经与国内外主流的虚拟化平台建立了战略合作关系,实现了适配认证。
碍于传统灾备中心建设成本高的问题,很大一部分中小型企业无法建立自己的灾备中心,未能实现有效的灾备方案。 并不是灾备方案的最优解了。 2.云容灾的成本优势 云容灾是以云计算的服务模式,为企业提供业务容灾的灾备方案,相比传统容灾具备了多方面的优势。 3.用HyperBDR云容灾低成本构建腾讯云灾备方案 为了满足中小型企业的灾备需求、节省大型企业的灾备成本,我们可以选择在国内的主流云商腾讯云上构建灾备方案。 利用HyperBDR业务级云原生容灾工具,可以低成本构建腾讯云灾备方案。 3.1HyperBDR云容灾的核心优势 目前,HyperBDR云容灾已完成20+朵云的自动化API对接。
碍于传统灾备中心建设成本高的问题,很大一部分中小型企业无法建立自己的灾备中心,未能实现有效的灾备方案。 ,并不是灾备方案的最优解了。 2.云容灾的成本优势 云容灾是以云计算的服务模式,为企业提供业务容灾的灾备方案,相比传统容灾具备了多方面的优势。 3.用HyperBDR云容灾低成本构建腾讯云灾备方案 为了满足中小型企业的灾备需求、节省大型企业的灾备成本,我们可以选择在国内的主流云商腾讯云上构建灾备方案。 利用HyperBDR业务级云原生容灾工具,可以低成本构建腾讯云灾备方案。 3.1HyperBDR云容灾的核心优势 目前,HyperBDR云容灾已完成20+朵云的自动化API对接。
一、灾备一体机的现状灾备一体机是集软件和硬件于一体的灾备解决方案。灾备一体机的出现,为用户提供了集“计算+存储+灾备”三位一体的解决方案。 在面对海量数据的容灾备份,这种传统灾备方案的高复杂性和资源的冗余,导致成本问题也日趋增多。 与传统的灾备方案相比,灾备一体机将传统备份系统需要的软件、服务器、存储介质和操作系统整合为一体,可有效降低用户成本,又可以减少运维成本。 使用HyperBDR云容灾工具构建灾备方案,平时只需要为数据备份消耗的云硬盘付费,不需要在云端1:1预启动实例,只有在恢复业务时才需要启动ECS。 四、总结从这个案例看,HperBDR云容灾可以显著降低灾备成本,同时也放低了灾备门槛,让之前无法实现灾备方案的企业可以满足灾备需求。
基于OpenStack架构的灾备解决方案 华为云灾备解决方案面向云数据中心,为云数据中心提供灾备解决方案,为租户提供自助的灾备服务。 华为将成熟的双活数据中心解决方案集成到云灾备解决方案中,实现为云数据中心提供双活容灾服务。 适应云计算的灾备服务化 华为云灾备解决方案结合云运营平台、OpenStack云管理、虚拟化、存储复制、虚拟机备份等技术,为云数据中心提供双活、主备容灾、备份解决方案。 SDN实现云灾备网络部署 在云灾备解决方案中,采用SDN技术为租户提供可自助开通、自助配置、自助管理的网络。 华为云灾备解决方案正是针对云数据中心而推出的,用以保障云数据中心数据安全性和业务连续性的解决方案。
从备份升级到容灾,利用腾讯云就可以做到的灾备方案云计算的成本优势、便捷访问和弹性伸缩等优势驱动着政府机构、行业企业或个人积极上云,云上应用无处不在。 二、云容灾如何助力中小型企业云容灾是通过在云上建立灾备中心,利用云原生的天然优势,实现更低成本更高业务连续性的灾备方案。让中小型企业也可以低成本容灾,摆脱业务停机、病毒勒索的风险。 三、利用HyperBDR构建腾讯云容灾方案这里推荐用万博智云的HyperBDR云容灾工具,低成本构建腾讯云容灾方案。为了攻克资源冗余的问题,HyperBDR在容灾思路上有一个革新。 使用HyperBDR云容灾工具构建灾备方案,平时只需要为数据备份消耗的云硬盘付费,不需要在云端1:1预启动实例,只有在恢复业务时才需要启动ECS。 容灾演练通过假设灾难场景,进行应急演练,可以验证灾备方案是否合理,是否能够达到预期;同时演练环境也可以作为系统升级测试验证的环境,尤其是研发型企业,在系统升级、iT环境变化时,容灾演练环境其实就是一个临时测试环境
#方案背景概述: 近期有接到许多朋友咨询迁移上云和本地IDC备份扩容,如何快速构建一个私有化的备份解决方案,背景也就是,一些传统企业,IDC业务快速增长,服务器及存储容量暴涨,导致本地IDC 为解决上述问题,经过架构实践,推荐以下方案: 1)基于公有云“数据中心”属性,将公有云作为IDC本地数据中心的“扩展机房”,组成混合云; 2)基于公有云的用户租户隔离,构建公有云上的数据隔离区域,做存放数据备份 、短时频自动编辑等 3)基因、医疗行业,数据存储备份,将医疗影像,HIS、ERP等系统非重要的文档进行存储备份,智能沉降,冷备、降级存储,实现云上异地备份,归档存储3年以上。 NAT映射内网主机IP端口,入云方向最大支持5G,比云主机按量计费的200M入云带宽更高,我们测试过云主机的200M带宽,公网最大支持25M左右传输速率,太慢了,建议更换NAT入云大带宽传输,出云走流量包 #方案架构 [image.png] [image.png] [image.png] #方案涉及产品 1.对象存储COS:https://cloud.tencent.com/product/cos
主备、冷备、热备、双活、多活、同城、异地、多云,等等等等,这些保证业务高可用和容灾名词,我们经常会听到,不绝于耳。 但是,真的当我们自己要去建设,选择方案时,就发现不知道该怎么选择和搭配了。 结合近期我们的一些讨论,准备用几篇文章简单分享下我们的理解,今天先聊冷备。 冷备是不是个好方案? 理论上,只要有状态的数据(也就是各类分布式服务,如数据库、缓存、消息等组件)同步好,接入层流量能够灵活调度,当出现问题的时候,切入口流量,就可以顺畅的切过去。 所以,即使上面几个方案可行,基础条件上又不满足,因为根本无法写入数据,关键的业务逻辑根本不具备验证条件。 最后,结论 冷备只能是冷备,关键时刻并不能起到快速承载业务的效果,在业务容灾建设时,这个思路其实是不可行的。 但是对于部分组件,比如数据库、大数据、文件,这些存储类的部件,做冷备是有重大意义的。
17199730000 --io-size 4096000 elapsed: 18 ops: 4200 ops/sec: 228.57 bytes/sec: 936229596.77 3.2 主备集群性能 随机读写 rbd bench-write 单主集群 4M 30 带宽:935 MB/s 平均IOPS:228.33 带宽:936 MB/s 平均IOPS: 228.57 rbd bench-write 主备集群
异地灾备中心的选址还必须做到“三不”,即不 在同一地震带,不在同一电网,不在同一江河流域。 传统的异地灾备中,两地三中心是最为稳固的、保护等级最高,也是成本最高的灾备方案。 图片二、异地灾备方案构建成本高传统异地灾备中心建设成本,要考虑以下几个部分:1)场地费用:包括灾备机房基础设施费用,灾备中心人员费用等。 与同城灾备相比,传统异地灾备方案考虑到灾备中心的数量和距离因素,以上介绍的几个成本因素会成倍增加,甚至可以达到几十倍的成本差异。显然,大部分中小型企业是难以承担如此高昂的灾备费用的。 四、云上可以实现异地灾备吗为了适应云和大数据时代,利用云容灾技术来实现异地灾备方案,不仅可以提高业务连续性,还有利于降低灾备成本。 使用HyperBDR云容灾工具构建灾备方案,平时只需要为数据备份消耗的云硬盘付费,不需要在云端1:1预启动实例,只有在恢复业务时才需要启动ECS。
2020年1月,腾讯云与合作伙伴联合推出了政务云灾备服务整体解决方案(以下简称“政务云灾备”),通过标准化的BaaS、DRaaS的服务交付模式,解决了政务行业的公有云、私有云、混合云等不同IT环境下的数据保护问题 政务云灾备包含了云灾备统一管理平台服务、灾备资源池服务、灾备驻场运营运维团队服务。其管理平台及资源服务融入腾讯云TStack云管平台,成为腾讯政务云生态的重要组成部分。 01 统一灾备管理 统一资源管理服务 腾讯云TStack云管平台下实现对多地、多品牌灾备资源的统一纳管。 统一运维管理服务 通过灾备智能自动化运维、灾备演练、备份恢复及容灾切换等专有功能,提升灾备运维服务效率。 ? 02 多场景适用 本地备份 以一套方案为物理、虚拟环境提供全面保护。 03 产品优势明显 政务云灾备以“1平台+2覆盖+3统一+4提升”的产品优势,全方位整合云平台环境中的多厂家产品和资源池,打造出一个统一高效的灾备管理平台。 ?
故事背景 就在昨天,腾讯云部分功能挂了,经查实广州机房的光缆被挖断导致。当时也影响到了我们视频云转拉这边的业务。有个例子是,一个小客户有个流没有拉起,但是收到了已经拉起的回包。 正因此也引发了我们关于转拉灾备的一个思考。 思考与解决方案 解决方案说起来肯定是很简单的,既然机器外网不同,那很简单,以后的转拉请求不发给这台机器就ok了。 解决方案: 1,ffmpeg进程定期上报心跳包到状态中心(上报的字段至少包括两个:进程所在ip, 进程状态); 2,状态中心定期(比如1分钟)统计下各ffmpeg进程发过来的包,以ip为作为关键字分类, 结语 阿里云挂完,腾讯云挂。像腾讯,阿里这样中国互联网超一流的公司,也偶尔会遇到因为容灾问题而导致的服务不可用问题。
通常当企业达到一定规模时,不管是在云上还是线下都会有多个机房做异地灾备,确保在某个机房不可用时,还能持续对外提供业务。 本文将会介绍几种 Elasticsearch 常见的灾备方案,同时提供了 Demo 案例方便大家动手体验。 使用快照的方式做跨机房灾备的优点如下: 1.一致性高,快照是十分可靠的集群备份方式。 2.成本低,可以使用廉价的存储来保存快照,例如在公有云上的 S3,OSS,GCS 等等。 4 跨机房部署集群 跨机房部署 Elasticsearch 集群的方案在实现起来比较简单,就是将集群中的节点分布在不同的机房中,这对网络带宽和延迟要求较高,仅适用于同城灾备,异地灾备通常还是使用主备集群的方式 docker-compose down -v 10 总结 本文分析对比了定期快照,跨机房部署集群,应用双写,借助消息队列实现双写,CCR 跨集群复制,极限网关 6 种 Elasticsearch 跨机房灾备的方案
题目部分 基于数据库的数据复制技术构建灾备方案有哪些? 答案部分 基于数据库的数据复制技术大体上可分为两类:数据库自己提供的数据容灾模块和第三方厂商提供的数据库复制技术。 这也是目前市场上唯一的一种可确保数据零丢失的数据库同步解决方案。 最大可用模式:这种模式在不牺牲源数据库可用性的条件下提供了尽可能高的数据保护等级。 与最大保护模式一样,日志数据需同时写到源数据库的联机日志文件和至少一个备库的备用日志文件(standby redo log),事务才能提交,与最大保护模式不同的是,如果主库日志数据不能写到至少一个备库的备用日志文件 所有复制对象结构(DDL)的改变,都必须通过Oracle提供的复制包来实施 基于日志挖掘 主要用途 灾备恢复、高可用性 数据共享 数据同步 高可用与容灾、实时数据集成 实现简易程度 实现过程和管理简单 经过对以上几种数据库复制技术的分析,DataGuard、Stream、Advenced Replication是专为Oracle数据库开发的灾备模块,适合于同构平台的Oracle数据库容灾;Shareplex
腾讯云跨地域容灾方案DNSPod+CLB.ppt D监控介绍:https://support.dnspod.cn/Kb/showarticle/tsid/16/ D监控切换规则:https://
题目部分 基于主机数据复制技术的灾备方案有哪些? 答案部分 采用基于主机复制技术的容灾方案的示意图如下: ? 图1-1. 基于主机的容灾方案示意图 采用基于主机系统的数据复制技术的核心是利用主、备中心主机系统通过IP网络建立数据传输通道,通过主机数据管理软件实现数据的远程复制,当主数据中心的数据遭到破坏时,可以随时从备份中心恢复应用或从备份中心恢复数据 采用基于主机的数据复制技术建设容灾方案有以下优点: Ø 基于主机的方案最主要的优点是只和服务器平台和主机数据管理软件相关,完全不依赖于底层存储平台,生产中心和灾备中心可以采用不同的存储平台; Ø 可同时对数据库和文件系统提供容灾保护 ; Ø 灾备中心的数据一般不可用,如果用户需要在远程数据中心使用生产数据进行开发测试、DW/BI应用使用将非常困难; Ø 利用主机数据复制软件的方案比较复杂,尤其是和数据库应用结合的时候需要很复杂的机制或多种软件的结合 此类容灾产品,相应的容灾网络建设成本相对较低。 适用场景: 目前,企业采用基于主机的数据复制技术建设容灾方案的案例相对比较少,通常适合单一应用或系统在I/O规模不大的情况下局部使用。
(MySQL)的:同城同区灾备、同城不同区灾备、跨地域灾备。 二、当前TencentDB所支持的架构部署 针对业务连续服务和数据可靠性有强需求或是监管需要的场景,用户在购买云数据库 MySQL 时会默认提供灾备实例,帮助用户以较低的成本提升业务连续服务的能力, 同地域同可用区部署 云数据库 MySQL同可用区部署架构示意图 云数据库MySQL 普通实例架构(同个可用区) 同地域不同可用区部署 云数据库 MySQL 同城灾备实例架构 云数据库 MySQL 同城灾备实例架构(不同可用区) 说明:腾讯云数据库多可用区部署目前仅支持深圳金融专区,其他可用区的支持还在规划中。 跨地域部署 云数据库 MySQL 异地灾备实例架构 云数据库 MySQL 异地灾备实例架构 三、构建云上灾备环境 通过上面的介绍,我们基本了解云数据库 MySQL的架构,接下来我们来说说本地
腾讯云数据传输服务(DTS)支持 多种关系型数据库迁移及 NoSQL 数据库迁移,可帮助用户在业务不停服的前提下轻松完成数据库迁移上云,利用实时同步通道轻松构建高可用的数据库容灾架构,通过数据订阅来满足商业数据挖掘、业务异步解耦等场景需求。
扫码关注云+社区
领取腾讯云代金券