随着互联网业务快速发展,多IDC的业务支撑能力和要求也逐步提升,行业内的“两地三中心”方案较为流行。
实现业务连续性的技术手段通常包括高可用性和灾备恢复两种,所以本文讲述的是在腾讯云上实现业务连续性的解决方案。
有2年没有摸数据库了,重新学习下。数据库是IT系统的基石,小到一个个人站点,大到类似Google,阿里,腾讯这种大公司,里面都运行着各种各样的数据库,成千上万的人才还在继续开发和维护数据库。 数据库大牛stone breaker前两年还拿到了图领奖,了不起的成就。数据库理论这些年没啥大的突破,还是70年代提出来的关系模型,ACID等等。不过不表示数据库的发展停下来了,尤其是随着需要处理的数据和业务越来越大,数据库规模,性能越来越强。数据库的发展主要体现在工程能力,新硬件的使用上。 我个人理解就当前而言,技术
本文根据洪斌10月27日在「3306π」技术 Meetup - 武汉站现场演讲内容整理而成。
对一款分布式数据库而言,数据如何分散存储在不同节点永远是个有趣的话题。你是否有时会期望能具体控制数据具体存储在哪些节点?
腾讯数据库技术发展之路 我来自腾讯TEG计费平台部,一开始负责公司整个计费体系的存储系统研发,现在主要负责TDSQL数据库的研发。这是我们产品的几个发展阶段: 我是2007年进入公司的,在此之前公司业
Raft 是一种分布式一致性算法,在Newsql代表性数据库TiDB 集群的多种组件中,PD 和TiKV 都通过Raft 实现了数据的容灾。
TiDB 5.0 发布在即,在这个大版本更新中提升 TiDB 集群的跨中心部署能力是我们重要的一个着力点。其中,新的分布式本地事务能力及其对应的授时服务改造是基础且又重要的一环。本文将会从 TiDB 现有的授时服务出发,一步步阐释新分布式授时服务的改造思路和本地事务的性能表现,最后将会为大家分享一个应用场景与上手步骤,供感兴趣的用户把这个新特性上手试用起来。
水滴公司是中国互联网健康保险保障第一平台,用互联网科技助推广大人民群众有保可医,保障亿万家庭。截至2020年3月,水滴公司有超过3.1亿独立付费用户。 与死神赛跑的水滴筹业务,救援速度也在不断加速,在平台通过提现公示的求助项目中,95%以上24小时内完成打款,60%以上在8小时内完成打款。病情紧急、急需大量医疗资金的患者还可申请“极速打款绿色通道”,在6小时内即可收到款项。截至2020年5月,水滴筹累计帮助困难大病家庭筹集医疗资金超过300亿元,有9亿多人次的好心人在平台上献出爱心,帮助困难患病家庭
蓝鲸的配置平台(CMDB)底层使用的是 Mongodb 作为数据存储,其优点不用多说,相信使用过的小伙伴应该都会觉得设计很灵活方便。
客户在集群中查看用户信息 list users 时,报错 Error from server:xxx 。其实是个简单的查看语句,但魔法失灵了?下面我们将集群中用户角色等信息的查看方式做一个统一的分析说明。
10 月 22 日,巨杉数据库将正式发布其金融级分布式数据库「SequoiaDB v5.0」。在正式发布前,就让我们一起来尝尝鲜,看看 5.0 版本将有哪些技术新特性。
导语:SuperSQL是腾讯数据平台部自研的跨数据源、跨数据中心、跨执行引擎的统一大数据SQL分析平台/中间件,支持对接适配多类外部开源SQL执行引擎,如Spark、Hive等。 背景 SuperSQL是一款自研的跨数据源、跨数据中心、跨执行引擎的高性能大数据SQL中间件,满足对位于不同数据中心的不同类型数据源的数据联合分析/即时查询的需求。SuperSQL的目标是成为公司内部统一的SQL分析中间件,实现以下三点的价值: 解决业务数据孤岛,最大化数据的使用价值 执行引擎最优选择,提升业务使用数据效率 优化
导语:SuperSQL是腾讯数据平台部自研的跨数据源、跨数据中心、跨执行引擎的统一大数据SQL分析平台/中间件,支持对接适配多类外部开源SQL执行引擎,如Spark、Hive等。 背景 SuperSQL是一款自研的跨数据源、跨数据中心、跨执行引擎的高性能大数据SQL中间件,满足对位于不同数据中心的不同类型数据源的数据联合分析/即时查询的需求。SuperSQL的目标是成为公司内部统一的SQL分析中间件,实现以下三点的价值: 解决业务数据孤岛,最大化数据的使用价值 执行引擎最优选择,提升业务使用数据效率
repmgr -f /etc/repmgr.conf standby switchover -U repmgr --verbose
本文以容器技术建设 PaaS(平台即服务)云平台的解决方案为例,分析其如何实现系统资源的集中管理、动态分配、监控、共享和调度,如何实现应用的统一部署和业务连续性保障,实现多数据中心的高可用,推动系统架构及流程的调整,应对云计算时代所带来的变革。
确定哪种类型的数据库或数据库服务最适合您的企业的最佳方法是什么?这完全取决于您需要什么类型的用例。在本文中了解更多信息。
【编者按】Nifty运营网站已经有很长一段时间,而在基于HTML5的WYSIWYG网页制作平台推出后,用户在该公司建立的网站已超过5400万个,同时其中大部分网站的日PV都不到100。鉴于每个网页的PV都很低,因此传统的缓存策略并不适用。然而即使是这样,该公司也只使用了4个 Web Server就完成了这些工作。近日,Wix首席后端工程师Aviran Mordo在“Wix Architecture at Scale”的演讲中分享了他们的策略,下面我们一起看High Scalability创始人Todd Ho
随着苏宁线下线上业务以及全产业、全业态规模式快速增长,特别是每年苏宁 818 大促、双 11 等大促节点,销售订单基本都呈现倍数级增长态势,需要进行大量资源扩容,单个数据中心的容量有限,已经无法支撑苏宁业务的快速发展。同时,单数据中心在高可用上存在不足,一旦数据中心发生故障,会导致业务受损,用户访问中断,带来严重的影响。针对以上问题,苏宁规划建设多数据中心解决方案迫在眉睫。
尽管Google极其推崇开源,并推出大量的开源项目,但是从根本上来看,Google的开源力度、开放程度远远比不上Facebook。这也是为什么Facebook能够在短短的几年间,一跃成为全球最大的社交网站的原因之一。
了解使用 Akka 集群时数据中心边界的原因是,与同一数据中心中的节点之间的通信相比,跨数据中心的通信通常具有更高的延迟和更高的故障率。
作者:成臣(Sei Jin) PingCAP Marketing & Community
Ceph将数据副本分布到不同的硬件,从而有效地避免由于硬件故障而导致数据丢失的问题,得以实现数据的高可用性。然而,这种分布式存储机制也导致传统的基于存储复制或CDP技术难以用于Ceph来实现跨数据中心的数据复制和恢复。
在参与公司几个多数据中心项目的容灾架构设计后,积累了一些高可用和多数据中心容灾的一些思考,总结和分享出来希望一起和大家学习。
每隔三十秒就会有位置数据返回,包括来自于司机和乘客应用的各类数据,需要实时使用的实时数据非常之多,那么Uber是如何存储这些位置数据的呢? Uber的解决方案非常全面:他们在Mesos顶层构建了自己的系统,运行Cassandra。Uber的软件工程师Abhishek Verma有一个演讲,题为《Uber跨多个数据中心运行在Mesos上的Cassandra》(阅读原文查看PPT),便对这个解决方案做了全面的解释。 我们是否也该这么做呢?在聆听Abhishek的演讲时,这样的想法涌入脑海。 如今,开发者有许多艰
对于金融企业来说,尤其是银行、证券、保险这些行业,在一个 IT 系统运行支撑业务的过程当中,考虑到硬件的故障、网络的故障,等一切可能会对业务产生影响的突发故障。那么,在过去漫长的 IT 发展的过程当中,大量的技术被应用在关于如何解决组件级的高可用,整个服务的容灾和灾备,包括如何保证整体业务的连续性。
本文参考了网上众多文章,把 Amazon Dynamo 架构汇总成文,为后续源码分析奠定基础。
GSLB是什么?它又称为全局负载均衡,是主流的负载均衡类型之一。众所周知,负载均衡位于服务器的前面,负责将客户端请求路由到所有能够满足这些请求的服务器,同时最大限度地提高速度和资源利用率,并确保无任何服务器过载,以免出现性能下降。今天就将目光聚焦于全局负载均衡(GSLB),并谈谈我对该项技术的一点理解。
该文介绍了万达网络科技集团利用 TiDB 实现实时风控平台的技术实践。通过对比 MySQL Galera Cluster、MySQL 主从复制、MySQL Proxy 等方案,作者认为 TiDB 是最适合万达网络科技集团业务需求的数据库。在实时风控平台中,TiDB 的高性能、高扩展性和高可靠性保证了业务的稳定运行,同时简化了业务应用开发和运维,提升了整体效率。
随着企业规模的扩大,对数据库可用性要求越来越高,更多企业采用两地三中心、异地多活的架构,以提高数据库的异常事件应对能力。 在数据库领域,我们常听的“两地三中心”、“异地多活”到底是什么呢? “两地三中心”就是生产数据中心、同城灾备中心、异地灾备中心。这种模式下,两个地域的三个数据中心互联互通,当一个数据中心发生异常,其他数据中心可以正常运行并进行业务接管。 “异地多活”就是在多个地域建设多个数据中心, 业务数据能够在三个及以上的数据中心之间进行双向同步。异地多活架构具有更高的可用性,抗风险能力极强。 不
最近恰好在搞异地双活,以下是一个梳理: 基本概念 1、异地容灾。这仅仅是一个冷备的概念。也就是在平时正常的时候,另外一个机房只是当做备份。 2、异地双(多)活。而异地双(多)活,却是指有两个或者多个可以同时对外服务的节点,任意一个点挂了,也可以迅速切换到其他节点对外服务,节点之间的数据做到准实时同步。 分类 根据是否需要数据同步大体分为三类: 1、必须同步型。(比如数据库) 2、无须同步型。比如缓存,仅仅是当做缓存,就可以这样做(这个有待商榷,其实缓存也需要同步的,严格来说的话)。 3、只能单活(对全局原
TDSQL是腾讯提供的一套完整的MySQL数据库集群化管理解决方案,作为私有云TStack平台重要的数据库产品能力,旨在解决高可用、高性能、分布式、配套设施等方面问题。 TDSQL除了在腾讯内部有大量的使用场景,在外部市场中也有诸多应用场景;2014年被WeBank选中,作为其核心交易系统的数据库解决方案,以私有云方式交付;2015年,在腾讯云上正式推出。目前已经为500+机构提供数据库的公有云及专有云服务,客户覆盖计费、第三方支付、银行、保险、互联网金融、物联网、互联网+、政务等领域。 TDSQL私有云版
作者简介:熊学涛,中国移动通信有限公司研究院,项目经理。主要研究方向为SDN云计算数据中心和SDN广域网。十多年数据中心、广域网工作经验,CCIE。毕业于西安电子科技大学通信工程学院,华南理工大学工程硕士。
导语 本文介绍了 Kafka 跨数据中心的两种部署方式,简要分析两种方式下的不同架构以及优缺点,对这些架构可能碰到的问题也提供了一些解决思路;同时也说明了 Kafka 跨数据中心部署的社区解决方案和商业化解决方案。 背景 Kafka 作为世界上最流行的消息中间件之一,一般是客户数据链路中的核心组件,高可用性是客户很关注的因素。近期在对接云上客户时发现,客户对 Kafka 的高可用也有需求,行业架构师也想了解 Kafka 高可用的方案细节;有些客户是需要云上 Kafka 的高可用能力,有些客户需要 IDC
Rainbond,国内首个开源的无服务器PaaS 好雨核心项目Rainbond近日宣布开源,这是国内首个开源的无服务器PaaS,主要用来为云原生应用的整个交付流程提供生产级支持,包括基础设施管理、容器
好雨核心项目Rainbond近日宣布开源,这是国内首个开源的无服务器PaaS,主要用来为云原生应用的整个交付流程提供生产级支持,包括基础设施管理、容器化改造、微服务架构转型、DevOps支持等。
采访嘉宾 | 金思宇、陈贞宝、胡强忠 编辑 | 辛晓亮 大型电商系统并非一开始就具有完整设计的高可用特性,而是随着用户的不断增加与业务的快速增长逐步演进与完善的。当前高可用架构体系是互联网企业系统架构的基础要求,随着公司的业务发展,尤其是对于电商平台,每次发生稳定性故障带来的影响越来越大,提供稳定的服务,保证系统的高可用已经变成了整个技术团队需要面对的挑战。 基于此,我们深度采访了得物技术团队核心成员,探索他们在高可用架构上的实践、演进,深入了解大促备战是如何进行的,异地多活体系是如何建设的,全链路
互联网科技不断发展的同时,云端服务也变得越来越重要,云服务可以将企业所需的数据和软硬件都存放在网络上,在任何时间和地点使用不同的设备互连,就能实现数据的存取和运算,而我们的生活方方面面都在不断产生着数据,无论是出行记录、消费记录、浏览记录还是发送的消息。
TiCDC 是一个通过拉取 TiKV 日志实现的 TiDB 增量数据同步工具,具有还原数据到与上游任意 TSO 一致状态的能力,同时提供开放数据协议,支持其他系统订阅数据变更。TiCDC 运行时是无状态的,借助 PD 内部的 etcd 实现高可用。TiCDC 集群支持创建多个同步任务,向多个不同的下游进行数据同步
通过将分散、孤立、异构的业务应用统一迁移到云计算环境,在空间和地理位置上,为数据共享创造外部条件。统一到云计算的旗帜下将有助于数据交换和迁移,云计算也因如此备受推崇,并逐渐演变为潮流和方向。
无主复制也适用于多数据中心操作,因其旨在更好的容忍并发写冲突、网络中断和延迟尖峰等。
本文由微众银行数据库负责人胡盼盼撰写,介绍了微众银行自 2014 年以来从传统 RDBMS 到 NewSQL 的架构演进,以及 TiDB 在微众银行核心批量场景的应用。
Streams Replication Manager(SRM)是一种企业级复制解决方案,可实现容错、可扩展且健壮的跨集群Kafka主题复制。SRM提供了动态更改配置的功能,并使Topic属性在高性能的集群之间保持同步。SRM还提供了自定义扩展,可促进安装、管理和监视,从而使SRM成为针对任务关键型工作负载而构建的完整复制解决方案。本文主要讨论SRM的主要用例和用例的实现架构。
同城异地灾备,主要是用来进行备份容灾的,从而当一个数据中心挂了,另外一个数据中心经过切换之后,能让服务迅速的恢复。
KunDB是公司研发的一款面向数据操作场景的分布式交易性数据库,主要用于支持操作性业务场景(如ERP、OA、HIS等)和高并发场景(如消费者的手机APP应用、健康码查询等)的核心数据系统的构建。
TiCDC 是一个通过拉取 TiKV 日志实现的 TiDB 增量数据同步工具,具有还原数据到与上游任意 TSO 一致状态的能力,同时提供开放数据协议,支持其他系统订阅数据变更。TiCDC 运行时是无状态的,借助 PD 内部的 etcd 实现高可用。TiCDC 集群支持创建多个同步任务,向多个不同的下游进行数据同步。
VXLAN是一种网络虚拟化技术,旨在解决传统以太网的限制,并提供更好的可扩展性和隔离性。VXLAN通过在现有的IP网络上创建一个虚拟的二层网络,将传统的以太网帧封装在UDP报文中进行传输。这种封装使得VXLAN可以在现有的网络基础设施上运行,而无需对网络进行大规模改造。
本文介绍了大数据分析平台在电网公司中的应用场景、分析模型和主要功能,通过具体案例展示了如何通过大数据分析技术提升电网公司的业务效率和智能化水平。
针对Openshift,大卫的同事任龙飞归纳了六个使用场景,并录制了六个视频。此外,如果有朋友想参与Openshift技术讨论,可以留下微信号,我会添加然后拉进讨论群。 视频中,操作的步骤非常详细,清
领取专属 10元无门槛券
手把手带您无忧上云