实现业务连续性的技术手段通常包括高可用性和灾备恢复两种,所以本文讲述的是在腾讯云上实现业务连续性的解决方案。
在云网融合大数据时代,数据已经成为重要的生产要素。特别是棱镜门、永恒之蓝、汶川大地震这类造成大规模数据丢失和泄漏的人为或自然灾害事件发生后,中国相继出台了一系列的法律法规,对各组织机构的数据安全保护条件进行限定,如 2016 年颁布的《中华人民共和国网络安全法》、 2021 年全国人民代表大会通过的《数据安全法》等。
鞠宏超,Rancher研发工程师。4年云计算领域经验,2018年加入Rancher Labs,先后参与了Longhorn产品研发,Rancher2.x产品研发,目前主要致力于Rancher企业版产品的设计与研发工作。
越来越多的企业在数字化转型和上云进程中选择混合云的形态(云+自建 IDC 或云+其他厂商云)来进行容灾建设,一方面不会过度依赖单一云厂商,另一方面还能充分利用已有的线下 IDC 资源。
云原生数据库TDSQL-C作为腾讯云架构平台部核心数据库产品之一,致力于为云上ToB用户和公司自研业务提供集高性能、低成本、大存储、低延迟、秒级扩缩容、极速回档、Serverless化七大特性于一体的企业级数据库服务。本文将给大家分享《TDSQL-C (原CynosDB)容灾的实践和探索》,主要内容有以下三个方面:
以下文章来源于鹅厂架构师 ,作者TDSQL-C 云原生数据库TDSQL-C作为腾讯云架构平台部核心数据库产品之一,致力于为云上ToB用户和公司自研业务提供集高性能、低成本、大存储、低延迟、秒级扩缩容、极速回档、Serverless化七大特性于一体的企业级数据库服务。本文将给大家分享《TDSQL-C (原CynosDB)容灾的实践和探索》,主要内容有以下三个方面: 1 云原生数据库和传统数据库的架构对比 2 MySQL数据库的容灾部署模型 3 TDSQL-C 异地容灾系统的实践 云原生数据库和传统数据
在上一篇:微软分布式云计算框架Orleans(1):Hello World,我们大概了解了Orleans如何运用,当然上一篇的例子可以说是简单且无效的,因为用了Orleans不可能只写一个Hello World吧,Orleans是为分布式和云计算而生的框架,那么今天我们就简单说一说容灾、集群、容灾与集群在Orleans中的运用。 集群是什么? 下面摘抄自百度百科: 集群(cluster)技术是一种较新的技术,通过集群技术,可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收
业务应用层是整个系统流量枢纽,核心业务存在单点或者自愈能力弱,都会造成严重影响业务稳定性。例如,核心业务模块和非核心业务模块高度耦合,从资源成本上来考虑,实际上并不是所有业务均需要做容灾建设,需要加入人力成本对业务进行改造;如果对于延时敏感业务,无法接受跨区延时,需要投入更多人力来进行架构和业务上改造。综上所述,本文从云平台视角出发阐述应用层业务容灾建设,主要分为方案设计考虑纬度、复杂度以及云上客户案例三个方面。
在互联网应用中,MySQL是最常用的关系型数据库之一。然而,数据表的损坏可能会导致数据丢失或无法正常访问,给业务运营带来严重影响。本文将讨论MySQL数据表容易损坏的情况,并提供相应的容灾解决方案。
企业业务敏感程度差异,对容灾指标RPO&RTO要求也不同。之前两篇文章主要介绍数据冷备,主要特点是数据备份存储非实时,备份系统存储数据通常昨天的数据,当灾难真正来临的时候,今天新产生的数据会丢失情况。对于企业核心业务来讲,业务恢复(RTO)可以接受小时级别,但是对于数据无法接受丢失,即RPO接近为“零”。结合腾讯云数据备份能力,本文重点介绍数据热备解决方案,旨在让客户上好云,用好云,管好云。
又赶上一年一度的金九银十的日子,这段期间的招聘岗位相对前几个月会多些,如果在目前公司没有进步、没有前途时,这段时间可以准备一下,去外面看看机会。不过在外面找工作时,可以提前在网上看看招聘信息,看看自己是否达到公司要求。如果多看下高薪资的技术人员招聘要求时,就会发现对三高都有一定的要求,比如下面一家公司的要求就对高并发、高负载和高可用性系统设计要有开发经验。
在业务系统上云的过程中,业务部署的高可用和容灾是一个要考虑的关键因素。如今很多系统都采用分布式的架构,从架构层面避免单点故障。分布式系统中,任意一个节点故障,其他节点可以快速接管业务,避免整个业务系统宕机。 这就对IaaS层资源提出了要求,即单节点故障,不影响其他节点。 由于公有云是一个多租户的环境,一台物理机上会运行多个虚拟机,如果分布式系统的多个虚拟机落到了同一台物理机上,当物理机发生故障时,多个分布式节点同时故障,就有可能造成整个系统宕机。 那么在公有云的IaaS层,如何才能保证分布式系统部署的高可用呢? 使用腾讯云的分散置放群组可以解决这个问题。
相信大家最近都听说了一件非常狗血的事情,微盟出现系统故障,原因是SaaS业务数据遭一名员工“人为破坏”。
周耀荣:感谢大家坚持到现在,我先介绍一下我自己,我叫周耀荣,曾经任职于腾讯、金蝶、华为,现在在珍爱网,也算是数据库DB运维的老兵。
对于金融企业来说,尤其是银行、证券、保险这些行业,在一个 IT 系统运行支撑业务的过程当中,考虑到硬件的故障、网络的故障,等一切可能会对业务产生影响的突发故障。那么,在过去漫长的 IT 发展的过程当中,大量的技术被应用在关于如何解决组件级的高可用,整个服务的容灾和灾备,包括如何保证整体业务的连续性。
文章主要介绍了分布式数据库在金融互联网场景下的设计和实现,包括DCDB的架构、基础环境、实例配置、功能、性能、以及扩展性。同时,还探讨了分布式数据库在云原生架构下的应用和挑战,以及TDSQL在金融云上的解决方案和案例。
阶段一:从无到有 2011.1.21 微信正式发布。这一天距离微信项目启动日约为2个月。就在这2个月里,微信从无到有,大家可能会好奇这期间微信后台做的最重要的事情是什么? 我想应该是以下三件事: 1确定了微信的消息模型 微信起初定位是一个通讯工具,作为通讯工具最核心的功能是收发消息。微信团队源于广硏团队,消息模型跟邮箱的邮件模型也很有渊源,都是存储转发。 📷 上图展示了这一消息模型,消息被发出后,会先在后台临时存储;为使接收者能更快接收到消息,会推送消息通知给接收者;最
其实,TencentDB已经和珍爱网“隐婚”数年了,请允许我正式向大家介绍我的“另一半”:
灾备,是企业中一项重要的技术应用,对于企业数据安全起到了很大的作用。 一般来说,灾备的级别可以分为数据级、应用级和业务级三个级别。
如上图,两地三中心的架构,是为了提高系统的容错、容灾的能力。当一个数据中心不可用时,能够将关键业务的流量切换到其他数据中心,可以抵御城市级的自然灾害。
TiCDC 是一个通过拉取 TiKV 日志实现的 TiDB 增量数据同步工具,具有还原数据到与上游任意 TSO 一致状态的能力,同时提供开放数据协议,支持其他系统订阅数据变更。TiCDC 运行时是无状态的,借助 PD 内部的 etcd 实现高可用。TiCDC 集群支持创建多个同步任务,向多个不同的下游进行数据同步
TiCDC 是一个通过拉取 TiKV 日志实现的 TiDB 增量数据同步工具,具有还原数据到与上游任意 TSO 一致状态的能力,同时提供开放数据协议,支持其他系统订阅数据变更。TiCDC 运行时是无状态的,借助 PD 内部的 etcd 实现高可用。TiCDC 集群支持创建多个同步任务,向多个不同的下游进行数据同步。
业务容灾是所有容灾中最复杂的一种场景,涉及到业务应用、中间件、数据库及底层的计算、存储、网络等资源。就云上业务容灾来讲整个容灾覆盖到IaaS、PaaS、SaaS层。在容灾方案确认并且实施落地之后,就需要进行容灾切换演练工作。下面主要介绍下容灾切换演练的流程及具体操作细节。
本文整理自美团技术沙龙第75期的主题分享《美团数据库攻防演练建设实践》,系超大规模数据库集群保稳系列(内含4个议题的PPT及视频)的第3篇文章。
在数字化转型的热潮中,业务数据无疑是企业的生命线。无论业务部署在IDC还是云平台,对数据备份都是有强烈诉求。随着共享经济的不断深化,越来越多企业将自身业务逐渐的搬迁到了云上。为了让企业能更好用好云平台的数据安全能力,本文重点云平台数据备份冷备能力,以腾讯云为例,主要从以下两个维度介绍:
MySQL:关系型数据库,主要面向OLTP,支持事务,支持二级索引,支持sql,支持主从、Group Replication架构模型(本文全部以Innodb为例,不涉及别的存储引擎)。
明确一点,这几种结构无论怎么变,无论是用MHA还是Orchestrator,还是什么第三方工具,核心点都是通过binlog event来传递数据给其他节点。
容灾体系能否第一时间恢复数据成为容灾体系是否合格的核心指标,对于业务连续性来说也至关重要。腾讯云数据库灾备解决方案的最佳复原时间目标(RTO)也降低到秒级,彻底解决单机房网络、光缆挖断等不可控故障给业务带来的长时间停服不可用。
FlinkX是一个基于Flink的批流统一的数据同步工具,既可以采集静态的数据,比如MySQL,HDFS等,也可以采集实时变化的数据,比如MySQL binlog,Kafka等,是全域、异构、批流一体的数据同步引擎,大家如果有兴趣,欢迎来github社区找我们玩~
当地时间1月11日,美国联邦航空管理局(FAA)发布停飞命令,短暂停止了境内所有航班起飞,停飞时长达90分钟,造成超过9700个航班延误,超过1300个航班被取消。 如此大规模事件的“罪魁祸首”是航空任务通知系统NOTAM的一个数据库文件发生了损坏,该系统用于向参与飞行操作的人员提供关键安全操作信息通知。 据了解,当前NOTAM系统太过老旧,但对其进行现代化改造又很痛苦,美国联邦航空局一直在努力更新NOTAM,预计两年内无法完成。而数据库是IT系统改造中的重中之重,正常运转时很容易让人忽视它的存在,但是一旦
1、 据 Windows Centra 报道,微软计划在本月晚些时候发布新款 Surface Pro 和 Surface Laptop 硬件产品,而这些产品将会作为微软首款人工智能 PC 推出。--oschina
7月8日,拥有60+全新特性,性能全面超越官方版本的腾讯云MySQL 8.0正式发布。在全新引擎的驱动下,腾讯云MySQL8.0数据库通过优化锁系统,事务系统等模块,进一步提升性能,使得QPS达到70w+。随着腾讯云MySQL 8.0的发布,将为电商、游戏、金融等行业带来更简化的业务开发模式、更安全的数据库管理服务、更丰富的应用场景,进一步加速客户产业升级。 1 打造MySQL 8.0全新引擎,性能跨越式提升 在当前新基建战略推动下,无论是政府、企业,还是其他组织机构都加快了上云的步伐,对云服务的高并
OceanBase是由蚂蚁集团完全自主研发的国产原生分布式数据库。它的设计初衷是为了满足日益增长的数据处理需求,特别是在金融、电商等对数据库性能、稳定性和扩展性有极高要求的行业中。OceanBase采用了分布式架构和一体化设计,兼具分布式架构的扩展性与集中式架构的性能优势,通过一套引擎同时支持OLTP(在线事务处理)和OLAP(在线分析处理)的混合负载。
之前发表过一篇ppt版的“PhxSQL设计与实现”,本文是在ppt的基础上,加上解说的文字内容,形成一篇详细版。
在日常开发中会经常遇到一些需要异步定时执行的业务诉求,典型的使用场景如:超时未支付订单关单、每隔 2h 更新好友排行榜、3.22 日 17 点《xx》剧上线等。目前业务侧多基于以下思路来快速搭建一个调度系统,mysql 或者 redis 队列存储待执行任务,通过 crontab 定时触发应用完成“捞取、计算、执行等操作”。不难看出存在几类亟待解决问题:
| 作者:杨壮壮 ,腾讯PCG运营开发工程师 ,目前主要从事 MDB(MySQL 云管平台)的后台开发与技术运营的工作,是一个做开发的DBA。熟悉腾讯自研数据库TDSQL的架构原理、集群管理维护、内核SQL优化等。MDB团队承载着整个PCG 关系型数据库的管理与运维工作,支撑着腾讯视频、看点等业务稳定运行。 1 Part1 前言 在今年的三月份,我们举办过一届数据库武林大会,在这场活动沙龙中,有辩手犀利地指出,数据库运维的薪资水平和数据库使用人数并不成正比,有数据表明一些小众但强大的数据库,其DBA的平均
“产品使用攻略”、“上云技术实践” 有奖征集啦~ be4048ad-32fc-4171-b332-5a60de7bc418.png 案例名称 案例简介 云数据库 MySQL两地三中心灾备建设 通过使用跨可用区部署实例和异地搭建灾备实例实现两地三中心的架构建设 读写分离扩展云数据库 MySQL 性能 通过代理集群中转访问数据库的主从节点,进行读写分离,降低主库的负载。 云数据库 TDSQL-C MySQL 版多可用区容灾 TDSQL-C MySQL 版引擎支持创建多可用区的集群,为数据库实例提供高可
腾讯云Status Page(Tencent Cloud Health Dashborad ),作为腾讯云官方的产品可用信息对外窗口,需要保障在极端的故障情形下,还能及时且正确地对外呈现关键信息,这要求在架构设计和部署上做到多地域级别的容灾效果。为了达到目标,我们除实施针对性的架构设计和部署外,还对各类故障场景做了故障演练验证。
在当今互联网行业,大多数人互联网从业者对"单元化"、"异地多活"这些词汇已经耳熟能详。而数据同步是异地多活的基础,所有具备数据存储能力的组件如:数据库、缓存、MQ等,数据都可以进行同步,形成一个庞大而复杂的数据同步拓扑。
为帮助开发者更好的了解和运用数据库,腾讯云数据库团队特出品《深入浅出理解云数据库》系列文章,从数据库的基本概念到云数据库特性及应用,从数据库基础原理知识到腾讯云经典实战案例解读,带你走进云数据库的世界。关注“腾讯云数据库”微信公众号,开启2020年的DB修炼之旅。 第一回请点击:数据库的基本概念和云数据库特性 第二回请点击:云数据库的市场应用及基础原理知识 1 PartⅠ 腾讯云数据库产品总览 接下来的章节中我们以腾讯云数据库为例,来详细解读云数据库的功能和特性等。 首先来让我们用一张表来看清楚腾讯
“ 2个月的开发时间,微信后台系统经历了从0到1的过程。从小步慢跑到快速成长,经历了平台化到走出国门,微信交出的这份优异答卷,解题思路是怎样的?本文由张文瑞,微信后台团队出品。 从无到有 2011.1.21 微信正式发布。这一天距离微信项目启动日约为2个月。就在这2个月里,微信从无到有,大家可能会好奇这期间微信后台做的最重要的事情是什么? 我想应该是以下三件事: 1 确定了微信的消息模型 微信起初定位是一个通讯工具,作为通讯工具最核心的功能是收发消息。微信团队源于广硏团队,消息模型跟邮箱的邮件模型也很有渊
今天,几乎绝大多数现代化企业的业务,都是一定程度上在处理数据。从处理大量用户的财务数据的金融机构,到处理每个用户手机 APP 上交易、娱乐、社交数据的个人,数据都在企业经营中发挥中重要的作用,数据安全是企业最重要的事情并不为过。就在几周前,大洋彼岸的美国发生全美航班停飞数小时的重大安全故障,此次全美航班停飞是 911 事件以来首次发生。据美国航空监管机构报道,这次事故原因是数据库文件受损,可见企业容灾备份的重要性。
容灾系统是指在相隔较远的异地,建立两套或多套功能相同的IT系统,互相之间可以进行健康状态监视和功能切换,当一处系统因意外(如火灾、地震等)停止工作时,整个应用系统可以切换到另一处,使得该系统功能可以继续正常工作。容灾技术是系统的高可用性技术的一个组成部分,容灾系统更加强调处理外界环境对系统的影响,特别是灾难性事件对整个IT节点的影响,提供节点级别的系统恢复功能。
水滴公司是中国互联网健康保险保障第一平台,用互联网科技助推广大人民群众有保可医,保障亿万家庭。截至2020年3月,水滴公司有超过3.1亿独立付费用户。 与死神赛跑的水滴筹业务,救援速度也在不断加速,在平台通过提现公示的求助项目中,95%以上24小时内完成打款,60%以上在8小时内完成打款。病情紧急、急需大量医疗资金的患者还可申请“极速打款绿色通道”,在6小时内即可收到款项。截至2020年5月,水滴筹累计帮助困难大病家庭筹集医疗资金超过300亿元,有9亿多人次的好心人在平台上献出爱心,帮助困难患病家庭
2、确保应用高可用性,消除计划外的停机时间,减少计划外的停机时间,提高业务连续性。
在上一期《数据掘金者》中,主要介绍的是有别于传统日志的腾讯专有云日志平台。本期给大家带来是专有云中不可或缺的保险机制——容灾管理系统。
导语:沃趣科技的QBackup数据库备份容灾云平台,是一套集合了CDP备份,历史数据秒级恢复,灾备保护等功能的一体化云平台。支持主流的Oracle、MySQL等数据库,可同时对大量数据库做集中式备份和管理,并对备份进行持续校验以确保数据的可恢复性。QBackup同时可用于应用测试、预发布、性能优化、POC等诸多应用场景。 继QBackup v4.0.0版本发布之后,沃趣科技持续深化对于数据库备份容灾产品的研发,于近日正式发布了QBackup v4.1.0版本,消除了旧版本中已知的风险点,同时增加了多项新功能
KunDB是公司研发的一款面向数据操作场景的分布式交易性数据库,主要用于支持操作性业务场景(如ERP、OA、HIS等)和高并发场景(如消费者的手机APP应用、健康码查询等)的核心数据系统的构建。
领取专属 10元无门槛券
手把手带您无忧上云