首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

数据库异地多活分析和方案

前言 ---- 前文提到异地多活的几种型态和基于OceanBase实现方案。这里再总结一下基于其他分布式数据库(MySQL)实现异地多活时要考虑的点。...这种只有应用多活,数据库异地备份容灾(无并发)。 2. 应用双活,数据库A地读写,B地只读。这种也是应用双活,数据库读写分离(实例级并发)。 3. 应用双活,数据库双活,两地应用同时读写不同表。...最后,3和4两种形态,应用都是本地读写数据库(即单元化,单元内请求自封闭)才有意义。后面主要讨论如何基于分布式MySQL实现第4种异地多活。...异地多活的困难 ---- 异地多活的目标很吸引人,但是技术门槛也很高。说光靠一个数据库或者一个数据传输产品就可以做异地多活是很片面的。...应用要能做水平拆分 做异地多活要尽可能的避免应用跨地域读写数据库,那么同一个用户请求就只应该出现在某个机房的应用里,不同用户的请求可能分布在不同机房。应用的流量按照用户做水平拆分了。

5.9K11
您找到你想要的搜索结果了吗?
是的
没有找到

最易懂的数据库异地多活方案

今天我们将尝试探讨数据库异地多活高可用。注意,我们讨论的都是超大数据量(50TB 级别)的数据库。...第一种 直接上分布式数据库,目前市面上常见的有 3 种,TiDB,阿里云 POLARDB,亚马逊 Aurora。...单元化说白了,就是先分库分表,然后,将数据库划分为固定的几个单元,使固定的业务进入固定的单元,这样,就不会出现每个业务都需要连接所有的数据库 —— 从而减小连接数。...在单元化的基础上,我们可以实现异地多活。 ?...总结 本文简单的讨论了数据库异地多活的方案,我们认为,在单元化的方案中,同步是核心,稳定的同步是保证数据一致的关键,而这,在单个机房中,只需要通过简单的 RPC 即可解决,但在跨机房,跨城市的网络中,

1.9K10

基于裸数据的异地数据库性能诊断与优化

作者介绍 杨江, 6年Oracle工作经验,4年Oracle数据库专业服务经验,擅长性能优化、性能问题诊断、故障排查、GOLDENGATE。 影响数据库性能的因素有很多,从大的方面可以分为硬件和软件。...硬件包括CPU、内存、存储、网络设备等,软件方面包括操作系统版本、操作系统参数、数据库版本、数据库参数、数据库架构、运行的SQL代码等。...生产环境常做访问控制,管理生产环境DBA忙于日常事务无法顾及数据库性能。本文介绍一次性从生产库上获取分析性能SQL相关的数据,拿到本地环境分析诊断生产性能问题。...小时内还未执行完一次,但占用整个采样期间8.21%的物理读,并伴有严重的IO等待,对采样期间数据库整体性能有较大影响 执行计划中存在全表扫描操作 语句简单易懂 解析 表基础信息 ?

1K50

同城异地灾备

序言 同城异地灾备,主要是用来进行备份容灾的,从而当一个数据中心挂了,另外一个数据中心经过切换之后,能让服务迅速的恢复。...热升级了解一下,不可预知的中断了解一下 同城异地最关键的点在于存储,存储如何跨机房使用,从而分为几个方面进行探讨: 1、 DNS解析 在业务大量使用DNS解耦的时候,而且使用双机房的时候...2、 数据库同步 在数据库方面,主要是使用mysql,而mysql则主要是使用主备模式,从而主的在一个机房,而备库则在另外一个机房,在同步的时候,不可避免的情况就是如果一旦主机宕机,从而有可能是丢失数据的...核心数据库,要想高可用,并且不存在数据丢失,从而可以使用分布式数据库,在数据写入的时候,采用强同步的方式写入数据,对于master节点,可以采用三机房三中心的模式,使用paxos算法进行选主,从而达到高可用的目标...3、 SLB高可用 在每个机房中,流量的入口总是SLB,从而保证SLB高可用也是相当关键的,所有的VM的rs服务器都是挂接在SLB之后,一旦SLB不可用,那么所有的业务中断。。。

4.1K31

异地容灾方案解析

一、异地容灾主要备份三种数据: 1、DB数据 2、操作系统 3、日志信息 二、恢复时间不能超过30分钟 三、图中为DB的备份方式,DB总的有四份备份:生产存储一份、移动硬盘一份、备份存储一份、灾备存储一份...备份方式为,平时通过生产系统的介质服务器传输到移动硬盘,通过CS传输数据到灾备中心的介质服务器,在通过介质服务器传输到备份存储、灾备存储。...生产中心发生异常时的DB切换方式为,将移动硬盘迅速转移挂载到灾备中心的介质服务器,然后再发起恢复 四、日常对OS进行每日备份,通过CS传输到灾备中心的介质服务器,再发送给备份存储和灾备存储,即OS的备份有三份

2.6K10

谈谈异地多活架构

无论是高可用计算架构,还是高可用存储架构,其本质的设计目的都是为了解决部分服务器故障的场景下,如何保证系统能够继续提供服务。但在一些极端场景下,有可能所有服务器都出现故障。...数据库同步通道和消息队列同步通道不能采用相同的网络连接,否则一旦网络故障,两个通道都同时故障;可以一个走公网连接,一个走内网连接。...同步和访问结合方案的设计关键点有: 接口访问通道和数据库同步通道不能采用相同的网络连接,不能让数据库同步和接口访问都走同一条网络通道,可以采用接口访问走公网连接,数据库同步走内网连接这种方式。...为了应对不同级别的故障,日志保存的要求也不一样,常见的日志保存方式有: 服务器上保存日志,数据库中保存数据,这种方式可以应对单台数据库服务器故障或者宕机的情况。...本地独立系统保存日志,这种方式可以应对某业务服务器数据库同时宕机的情况。例如,服务器数据库部署在同一个机架,或者同一个电源线路上,就会出现服务器数据库同时宕机的情况。

3.3K41

异地远程访问本地SQL Server数据库【无公网IP内网穿透】

SeaFile云盘设置 SeaFile是一个自行托管的开源文件同步共享服务器,简单说就是一个个人云盘服务器,我们可以在家用电脑上安装SeaFile软件,将家用电脑变为数据存储服务器,再通过Cpolar的内网穿透功能...,将这个数据存储服务器发布到公共互联网上,以此达到我们将家用电脑设置为私有云盘的目的。...2.2 SeaFile下载安装 接下来,我们就可以安装seafile服务器端(这里需要特别注意,要下载的是seafile服务器端,不是seafile客户端)。...我们只要将这个地址粘贴到其他设备的浏览器中,就能访问到seafile的服务器。 当然,我们也能使用这个地址,从seafile的各种版本客户端,访问到seafile的服务器。 5....转载自cpolar极点云文章:异地远程访问本地SQL Server数据库【无公网IP内网穿透】

27970

京东JDHBase异地多活实践

为了保障业务稳定不间断运行,我们构建了JDHBase集群的异地多活系统。主要介绍在我们在异地多活系统的实践。...HBase Replication原理 HBase是典型的LSM(Log-Structured Merge-Tree)结构数据库,服务端响应客户端写请求过程中,会写入Memstore(内存)中和顺序的写入...JDHBase异地多活架构 JDHBase服务端与客户端交互主要包含三个组件:Client、JDHBase集群、Fox Manager。...跨机房异地数据中心的之间的带宽是有限的,在业务流量高峰期不能将有限的网络资源用于同步数据。因此在Fox Manager端我们也做了对集群的相应控制,分时段调整Replication速度。...总结与展望 JDHBase在不断吸收业界异地灾备经验的同时,也经过一系列的实践和演进,目前SLA已经能够达到99.98%,从毫无异地容灾措施到完善的监控、告警、切换、一致性保障机制,为业务提供稳定可靠的存储服务

1.4K41

ZeroTier实现内网穿透、异地组网

背景 公司有几台内网服务器没有公网IP地址,只能在公司局域网内访问,多有不便。通过工具实现内网穿透后,内网服务器上的一些服务如gitlab、jira、Jenkins甚至是SSH就可以实现异地访问。...使用PLANET 行星服务器 通过Zerotier官方根服务器建立虚拟局域网,优点是在没有自带公网IP的云服务器的情况下也可以异地组网,部署简单快捷,全地球都可以访问;缺点是:① 免费版允许连接的设备有限...5.异地电脑安装客户端 就像开篇提到的,我的需求是想在家中也可以访问公司的内网服务器上的服务,那么我在家中的电脑也需要安装zerotier客户端,并加入到zerotier网络。...访问Jira 访问Gitlab 访问Jenkins 访问mayfly mayfly是一款不错的开源一站式服务器数据库管理工具,内网穿透到这台服务器后,通过mayfly工具,就相当可以随时随地在网页端...例如:连接到jira服务器中端: 搭建MOON中转服务器 鉴于上述提到的zerotier官方行星服务器速度不稳定、数据不安全的弊端,有条件的比如有云服务器的可以自建moon卫星服务器,用于中转加速。

11.4K31

腾讯云原生数据库 TDSQL-C异地容灾核心能力构建

本文将给大家分享《TDSQL-C (原CynosDB)容灾的实践和探索》,主要内容有以下三个方面: 1 云原生数据库和传统数据库的架构对比 2 MySQL数据库的容灾部署模型 3 TDSQL-C 异地容灾系统的实践...云原生数据库和传统数据库的架构对比 传统的MySQL数据库 (传统的MySQL数据库架构) 传统的MySQL数据库架构概述:通过Binlog复制来保证数据的冗余,数据副本之间通过异步复制、半同步复制或强同步复制来保证数据的可靠性...; 数据以逻辑日志或者物理日志格式进行同步; Primary与Replica之间使用异步或者半同步方式连接; 数据一致性以及故障的发现和处理通过外围系统或者内置的一致性协议来保证; TDSQL-C异地容灾系统的实践...(TDSQL-C多维一体的容灾系统) 云原生数据库TDSQL-C在异地容灾能力构建上,近期推出了跨可用实例功能,支持跨AZ的手工和自动切换。...以上是腾讯云原生数据库TDSQL-C异地容灾系统的实践。

1.9K10

异地多活演变流程

因为业务应用通常是「无状态」的(不像数据库那样存储数据),所以直接部署即可,非常简单。...而一个机房有很多服务器,这些服务器通常会分布在一个个「机柜」上,如果你使用的这些机器,刚好在一个机柜,还是存在风险。...另外,从「成本」的角度来看,我们新部署一个机房,需要购买服务器、内存、硬盘、带宽资源,花费成本也是非常高昂的,只让它当一个后备军,未免也太「大材小用」了!...看到了么,这一下子复杂度就上来了,单单针对每个数据库、队列开发同步中间件,就需要投入很大精力了。...所以这时,你需要在接入层之上,再部署一个「路由层」(通常部署在云服务器上),自己可以配置路由规则,把用户「分流」到不同的机房内。图片但这个路由规则,具体怎么定呢?

50421

异地双活实践笔记

(比如数据库) 2、无须同步型。比如缓存,仅仅是当做缓存,就可以这样做(这个有待商榷,其实缓存也需要同步的,严格来说的话)。...读取流程: 写入流程: 全局操作: 数据库异地双活 canal: 早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求。...不过早期的数据库同步业务,主要是基于trigger的方式获取增量变更,不过从2010年开始,阿里系公司开始逐步的尝试基于数据库的日志解析,获取增量变更进行同步,由此衍生出了增量订阅&消费的业务,从此开启了一段新纪元...基于日志增量订阅&消费支持的业务: 数据库镜像 数据库实时备份 多级索引 (卖家和买家各自分库索引) search build 业务cache刷新 价格变化等重要业务消息 otter: 阿里巴巴...因为异地两个机房,异地容灾的目的已经达成,且服务器规模足够大,各种配套的设施也会比较健全,运维成本也相对可控。当扩展到三个点之后,新机房基础设施磨合、运维决策的成本等都会大幅增加。

11.8K111

WireGuard 低成本异地组网

服务器配置 安装相关软件 我这里选择 Ubuntu 20.04 的服务器,直接apt安装即可 apt install wireguard wireguard-tools resolvconf -y modprobe...WireGuard客户端 Public key 是公钥,需要填到服务器的 Peer 中,Private key 是私钥,不用给任何人,也不要修改。...114.114.114.114 # 如果你要绕过校园网的话,可能还要再指定一个上游DNS [Peer] PublicKey = 1fCduxAW1ilmeQqNzMF13qudRPjbc1aDpOG8GrJ2Bmc= # 服务器的公钥...Endpoint = 服务器IP:端口 多客户端 如果要创建多客户端,则每个客户端公私钥,IP不能相同,然后在服务端上增加 Peer 即可。只需要修改Public key。...下面是服务器端多 Peer 例子 [Interface] PrivateKey = 你的私钥 Address = 10.0.0.1/24 # 本机IP,24 代表着 255.255.255.0 PostUp

2.4K30

NAT网关异地灾备思路

问题背景近期某客户需要考虑NAT网关跨地域的灾备方案,用于在上海地域运营商网络中断等场景,可以借助腾讯云内网,将对外访问的流量调度到异地出口。...代理服务器概述代理服务器分类代理服务器是计算机网络中的中间服务器,它充当客户端和目标服务器之间的中继,执行请求和响应的传递。...按功能可以分为:正向代理服务器(Forward Proxy): 正向代理服务器代表客户端向目标服务器请求资源。通常,客户端需要配置使用正向代理服务器,以让代理服务器代表它访问互联网资源。...这种代理服务器常见于企业网络环境中,用于访问外部资源或绕过访问限制。反向代理服务器(Reverse Proxy): 反向代理服务器代表目标服务器响应客户端的请求。...代理服务器给客户端返回HTTP 200响应。 4. 客户端和代理服务器建立起HTTP CONNECT隧道,HTTPS流量到达代理服务器后,直接通过TCP透传给远端目的服务器

32040
领券