首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

KV存储IDC部署

1.背景   目前部分KV存储不支持IDC部署,所以如果有机房故障的话,就会影响KV存储的可用性。本文提供了一种通过KV存储代理层来实现IDC部署的方案。 2.实现原理 ?   ...如果主IDC出现故障,就可以把读请求通过负载均衡组件调度到备IDC,做到读操作。如果备IDC出现故障,可以通过将读请求调度到主IDC,读写都不受影响。   ...部署的。...本文提供了一个通用的解决方案,实现KV存储IDC部署。   ...当然目前还存在配置文件过多导致运维不方便,缺少友好的管理后台,写操作流水IDC同步并发量低下,不支持多地写多地读等问题,后续可以继续完善。

1.5K80
您找到你想要的搜索结果了吗?
是的
没有找到

系列(六)——数据存储建设

数据存储建设主要从数据可靠性和业务稳定性两个维度阐述。这两者有哪些区别呢?...举个例子,业务数据存储在COS,如果该地域出现地震等极端灾难,COS所在机房被外力摧毁导致业务数据全部丢失,属于数据可靠性范畴;同样如果COS机房网络出现波动或者机器出现负载,导致客户端请求数据出现延时高或者中断...COS分布式存储系统架构多AZ架构为分层结构主要如下: image.png COS目前具备多AZ属性,如果对于核心数据,成本允许前提下,建议开启地域复制功能来进一步加固数据可靠性。...列举一下几个场景: 场景一: CBS快照地域能力建设 当前云平台CBS数据可靠性的能力在地域粒度,对于公司核心数据要求多地域备份时,需要业务通过调用云API来实现;高可用能力建设核心思路: 1.定期快照复制新

3.2K73

基于 MySQL 多通道主主复制的机房方案

当发生灾难时,备份能够确保数据不丢失。要实现应用的,一个关键就是通过数据库的实时同步和复制,在 A 地出现机房故障和问题的时候可以平滑快速的迁移到 B 地。...的基础概述 的定义 是指当数据中心发生各种未知灾难的时候,确保数据不丢失或少丢失,同时 IT 业务系统能够不间断运行或快速切换恢复。...本方案通过机房内建立 MySQL 主主复制,此时主从切换无需繁琐的命令,只需要设置 read_only;同城机房间也是建立主主复制,方便演练回切,无需复杂的配置。...,解决了数据回路问题,支撑重点业务两地三中心;无需引入第三方 HA,同步等组件,减少了相关软硬件和网络要求;补丁代码量 100 行以内,仅需对主机房边界节点升级,风险可控。...未来也具备支撑三地五中心等更高等级要求的能力。 依托数据库多通道主主复制数据技术,机房切换时间由传统的 30 分钟降低到 5 分钟,相关脚本集成到自动化平台后进一步降低到 2 分钟以内。

17820

Ckafka 实现可用区部署案例

CKafka可用区部署 CKafka 专业版支持可用区部署,在拥有3个或3个以上可用区的地域购买 CKafka 实例时,可以任选其中两个可用区购买可用区实例。...说明: 仅专业版支持可用区部署,标准版无法支持。 CKafka 可用区部署原理 CKafka 的可用区部署分为网络层、数据层和控制层。...是一个可以随时 failover 到另一个可用区的 VIP,当某个可用区不可用时,该 VIP 会自动漂移到该地域另一个可用的节点,从而实现可用区。...支持可用区部署的CKafka实例,其 zookeeper 集群中 zk 节点(以下简称 zk 节点)部署在三个可用区(或机房)。...可用区部署优劣势 优势 可以大幅度提升集群的能力,当单个可用区出现意外的网络不稳定、断电重启等不可抗力风险时,仍能保证客户端在短时间等待重连后恢复消息的生产和消费。

1.3K41

的架构分析和选择策略

1.传统中心的架构 半径是衡量方案所能承受的灾难影响范围的指标。不同灾难的影响范围是不同的,而距离也会影响到技术的选择。...远端的备份机房能更大的提供备能力,能更好的抵抗地震,恐袭等情况。双活的机器必须部署到同城,距离更远的城市作为机房。...机房是不对外提供服务的,只作为备份使用,发生故障了才切流量到机房,原因主要在于:距离太远,网络延迟太大。...2.级别与能力 系统按保护级别可分为:数据级、应用级、业务级。...4.云级别和能力 参考传统的级别划分,由于云的基础设施采用了云平台,在云的级别划分上,应用级和业务级的区别已经不大了,因此在这里将云级别分为:数据级、业务级

2.2K30

【云顾问-混沌】 AZ 混沌演练

进行 AZ(可用区)和混沌演练变得尤为重要。...什么是 AZ 以及混沌演练? AZ 它是指在一个云服务商的多个可用区之间进行业务和数据备份、恢复和迁移的能力。... AZ 混沌演练的价值 AZ 和混沌演练相结合,可以帮助企业和组织实现以下目标: 提高业务可用性:确保业务在某个可用区发生故障时能够迅速迁移到其他可用区,保证业务的高可用性和持续性。...提高应急响应能力:通过定期进行 AZ 和混沌演练,提高企业和组织的应急响应能力,确保在发生问题时能够迅速采取恢复措施。 如何快速进行 AZ 混沌演练?...借助于腾讯云混沌演练平台,可方便快捷地进行 AZ 混沌演练时,可以遵循以下步骤: 前往腾讯云混沌演练平台【概览】选择「可用区演练」行业经验模版。

15910

系列(九)——异地数据冷备建设

即使云平台在建设数据中心之前,会遵循机房建设标准来选址,但是对于极端情况自然灾害,例如地震,台风等等,对同地域备份安全能力有非常大的风险,因此本文重点阐述腾讯云对异地数据冷备解决方案。1....异地数据备份挑战相对同城数据备份,异地数据冷备主要挑战是成本,主要是地域之数据传输带宽成本。...对于同城数据备份,对企业来说“零”成本,企业可以把所有数据都进行备份;而地域数据备份,需要对业务进行梳理,尤其数据量比较大的业务,来决策哪些业务需要异地数据备份。...目前云函数支持备份产品如下:图片地域复制:目前云函数只支持同地域备份,即备份数据库和cos需要同地域,因此通过存储桶的地域复制能力,将对应的备份文件复制到异地的存储桶。...2.3 数据库备份服务数据库备份服务拥有一套完整的数据备份和数据恢复解决方案,具备实时增量备份以及快速的数据恢复能力,同时具备异地能力。

8.5K164

系列(八)——同城数据冷备建设

为了让企业能更好用好云平台的数据安全能力,本文重点云平台数据备份冷备能力,以腾讯云为例,主要从以下两个维度介绍:同城数据冷备能解决企业什么问题,达到怎么样业务效果?...数据冷备介绍1.1 数据冷备概念数据冷备,业务数据文件在同地域或者地域定时做备份。数据不是实时备份,数据恢复存在不完整性,同时业务恢复无法自动切换,需要人工介入,数据冷备的RPO和RTO为小时级。...同城冷备份方案同城数据冷备方案主要依赖于云平台能力备份能力,对现有业务架构没有任何改造,方案架构如下:图片该方案核心要点说明:数据备份:云侧数据库mysql和redis在控制台设置数据备份参数,数据备份存储在COS,具备地域级别...指标详细说明能力具备同地域(不同可用区)数据备份能力,不具备不同地域的能力。...3.演练能力建设,增加平时运维成本以及自动化工具开发功能。

6.4K113

系列(三)——云网络建设

以腾讯云为例,在同地域选择机房地址的时候,距离大于60公里,要求不同可用区延时小于3ms,来满足云上客户同城建设基本需求。...2.负载均衡公网CLB具备已AZ能力 3.NAT网关绑定多个EIP,提升连接数 东西向流量 专线接入、对等链接、云联网、VPN、private link 1.敏感业务建议不要使vpn打通 2.混合云专线接入方案...2.网络复杂度 同城或者异地建设,网络层面因素主要有三个: 1)跨区或者地域网络延时,对上层业务影响。 网络延时,通过优化基础设施手段是非常有限的,毕竟受限于实际物理距离和光速。...2)跨区或者地域云基础设施能力。 通常云服务厂家数据中心建设均有能力,这里建议还是选择大厂。 3)IDC到云上网络高可用建设。...image.png 3.2 混合云网络 混合云网络分为两个部分: 1)idc和云机房之间线路,主要线路分为专线和VPN。

4.4K93

技术分享 | 基于 MySQL 多通道主主复制的机房方案

当发生灾难时,备份能够确保数据不丢失。要实现应用的,一个关键就是通过数据库的实时同步和复制,在 A 地出现机房故障和问题的时候可以平滑快速的迁移到 B 地。...2的基础概述 的定义 是指当数据中心发生各种未知灾难的时候,确保数据不丢失或少丢失,同时 IT 业务系统能够不间断运行或快速切换恢复。...本方案通过机房内建立 MySQL 主主复制,此时主从切换无需繁琐的命令,只需要设置 read_only;同城机房间也是建立主主复制,方便演练回切,无需复杂的配置。...,解决了数据回路问题,支撑重点业务两地三中心;无需引入第三方 HA,同步等组件,减少了相关软硬件和网络要求;补丁代码量 100 行以内,仅需对主机房边界节点升级,风险可控。...未来也具备支撑三地五中心等更高等级要求的能力。 依托数据库多通道主主复制数据技术,机房切换时间由传统的 30 分钟降低到 5 分钟,相关脚本集成到自动化平台后进一步降低到 2 分钟以内。

62851

Elasticsearch集群复制(CCR)之腾讯云ES地域

集成X-Pack高级特性,适用日志分析/企业搜索/BI分析等场景 ---- 腾讯云ES目前已经提供了多可用区部署,即支持同地域机房的高可用方案,满足了绝大多数客户的需求。...但是依然会有部分客户希望进一步提升级别,能够做到地域。随着腾讯云ES双网卡功能的发布,使得地域成为可能。接下来我将介绍下腾讯云ES实现地域的详细步骤。...说明我们已经完成了地域集群的复制了。 至此,我们完成了地域复制的数据同步。...备注说明:由于是地域打通了网络,如果出现下面的Not connected状态,可能会出现网络不稳定的情况,会导致数据的复制有一定的延迟。

3.4K30

备知识总结:与备份区别、备技术、体系规划

系统在企业中给与数据安全系数相当高的保障,但是系统倒是是什么,他们是什么意思?恐怕连正在使用备份的网络管理人员都不能解释。本文用最浅显的语言给大家解释备份到底是什么。...不可少 那么建设了备份系统,是否就不需要备份系统?...不能替换备份 系统会完整地把生产系统的任何变化复制到端去,包括不想让它复制的工作,比如不小心把计费系统内的用户信息表删除了,同时端的 用户信息表也会被完整地删除。...如果是同步,那端同时就删除了;如果是异步,那端在数据异步复制的间隔内就会被删除。这时就需要从备份系统 中取出最新备份,来恢复被错误删除的信息。...常用的备组合方式 基于以上原因,业界在备系统的建设上一般按照以下几种方式: 建设机房内的本地备份系统 建设异地的备份系统 该方式可以备份系统的价格满足备份和异地功能,能够避免主生产中心由于地震、

8.2K21

系列(四)——业务应用层建设

综上所述,本文从云平台视角出发阐述应用层业务建设,主要分为方案设计考虑纬度、复杂度以及云上客户案例三个方面。 1.应用概述 1.1 应用部署 应用是否满足地域/可用区部署?...应用层调用链是否能接受跨区延时,如果业务无法接受跨区,该业务做只能set化部署,这里需要强大中间件团队开发数据同步系统。...应用层调用链能接受跨区延时,一般以试点业务先观察,小步迭代方式逐步构建能力。...切换强依赖于调度系统以及配置系统稳定性。这里稳定性主要包括系统能力和性能;遇到大规模故障,大量信息配置变更请求调度系统和配置系统要能扛住洪峰,是保障这个方案的根基。...2.应用复杂度 计算应用层,主要考虑以下两个方面: 哪些节点执行任务。 这里要区分清楚哪些节点执行核心业务,这里会引入不同的复杂度。

3.1K72

系列(七)——混合云公网出口建设

本文结合云平台公网能力,从网络平台角度来分析建设可行性。...整体公网出口方案如下: image.png 2.1.1 云平台切换方案。 正常情况下,业务流量通过NAT访问公网,如上路绿色线条标识。...2.1.2 IDC切换方案 正常情况下,IDC业务流量通过NAT访问公网,如上路绿色线条标识。...2.2 IDC机房公网出口方案 正常情况下,IDC和云平台公网出口流量是烟囱式,互不交叉;当IDC公网出口异常,流量切换到IDC备用公网出口通道,同样云平台公网出口异常,流量切换到云平台公网出口通道...IDC公网出口方案 (推荐) 1.方案简单,更多依赖云平台能力 2.方案落地快捷。 3.人力成本低,不需要自建系统。 4.维护成本低,不需要后续维护系统稳定性。

2.8K124

知识知多少

为什么要做? 你知道吗?自然灾害、设备故障、人为因素等都会造成业务中断。如今数字化时代,IT系统故障更会对公司业务造成难以估量的巨大经济损失。...3 关键词 RPO(Recovery Point Objective) 数据恢复点目标,主要指的是业务系统最大能容忍的数据丢失量。...体系介绍 1 数据中心 集团公司通过两地建立三个数据中心,通过双活、冷备等方式,实现两地三中心架构。...2 体系建设 系统类型 --- 策略 核心业务系统 --- 两地三活 关键平台系统 --- 同城双活 非关键系统 --- 异地冷备 3 技术方案 异地冷备 恢复能力 RTP≤1h RPO≤5min...演习要求 每年进行演练,所有核心业务与平台系统均要参演。 异地备恢复、同城双活切换、一键式自动化启停等恢复方式不断创新,要求演习规模逐年扩大和恢复效率逐年提升。 - End - ----

1.2K20

干货 | Elasticsearch 多种机房备方案对比与实战解读

通常当企业达到一定规模时,不管是在云上还是线下都会有多个机房做异地备,确保在某个机房不可用时,还能持续对外提供业务。...使用快照的方式做机房备的优点如下: 1.一致性高,快照是十分可靠的集群备份方式。 2.成本低,可以使用廉价的存储来保存快照,例如在公有云上的 S3,OSS,GCS 等等。...4 机房部署集群 机房部署 Elasticsearch 集群的方案在实现起来比较简单,就是将集群中的节点分布在不同的机房中,这对网络带宽和延迟要求较高,仅适用于同城备,异地备通常还是使用主备集群的方式...机房之间的网络通过专线打通,用于承载 CCR 集群复制以及业务应用机房访问 Elasticsearch 集群的流量。...,应用双写,借助消息队列实现双写,CCR 集群复制,极限网关 6 种 Elasticsearch 机房备的方案。

4.8K30
领券