Streams Replication Manager（SRM）是一种企业级复制解决方案，可实现容错、可扩展且健壮的跨集群Kafka主题复制。SRM提供了动态更改配置的功能，并使Topic属性在高性能的集群之间保持同步。SRM还提供了自定义扩展，可促进安装、管理和监视，从而使SRM成为针对任务关键型工作负载而构建的完整复制解决方案。本文主要讨论SRM的主要用例和用例的实现架构。
👆点击“博文视点Broadview”，获取更多书讯 高可用是数据库永恒的话题，高可用方案也是最受数据库爱好者关注的重点技术之一。 在MySQL二十多年的发展历程中，针对MySQL的高可用方案百花齐放，各具特色，这也是这款开源数据库最能让人着迷的地方。例如，早些年著名的MMM、MHA等等。 随着MySQL官方的不断发力，在基于MySQL复制的基础上，推出了一系列的高可用方案，例如，主从半同步复制、InnoDB ReplicaSet、组复制（MGR）、InnoDB Cluster，及目前最新的InnoDB
随着互联网业务快速发展，多IDC的业务支撑能力和要求也逐步提升，行业内的“两地三中心”方案较为流行。
TDSQL是腾讯提供的一套完整的MySQL数据库集群化管理解决方案，作为私有云TStack平台重要的数据库产品能力，旨在解决高可用、高性能、分布式、配套设施等方面问题。 TDSQL除了在腾讯内部有大量的使用场景，在外部市场中也有诸多应用场景；2014年被WeBank选中，作为其核心交易系统的数据库解决方案，以私有云方式交付；2015年，在腾讯云上正式推出。目前已经为500+机构提供数据库的公有云及专有云服务，客户覆盖计费、第三方支付、银行、保险、互联网金融、物联网、互联网+、政务等领域。 TDSQL私有云版
实现业务连续性的技术手段通常包括高可用性和灾备恢复两种，所以本文讲述的是在腾讯云上实现业务连续性的解决方案。
本文参考了网上众多文章，把 Amazon Dynamo 架构汇总成文，为后续源码分析奠定基础。
腾讯数据库技术发展之路 我来自腾讯TEG计费平台部，一开始负责公司整个计费体系的存储系统研发，现在主要负责TDSQL数据库的研发。这是我们产品的几个发展阶段： 我是2007年进入公司的，在此之前公司业
有2年没有摸数据库了，重新学习下。数据库是IT系统的基石，小到一个个人站点，大到类似Google，阿里，腾讯这种大公司，里面都运行着各种各样的数据库，成千上万的人才还在继续开发和维护数据库。 数据库大牛stone breaker前两年还拿到了图领奖，了不起的成就。数据库理论这些年没啥大的突破，还是70年代提出来的关系模型，ACID等等。不过不表示数据库的发展停下来了，尤其是随着需要处理的数据和业务越来越大，数据库规模，性能越来越强。数据库的发展主要体现在工程能力，新硬件的使用上。 我个人理解就当前而言，技术
对于金融企业来说，尤其是银行、证券、保险这些行业，在一个 IT 系统运行支撑业务的过程当中，考虑到硬件的故障、网络的故障，等一切可能会对业务产生影响的突发故障。那么，在过去漫长的 IT 发展的过程当中，大量的技术被应用在关于如何解决组件级的高可用，整个服务的容灾和灾备，包括如何保证整体业务的连续性。
本文根据洪斌10月27日在「3306π」技术 Meetup - 武汉站现场演讲内容整理而成。
编辑手记：Oracle 12c新加入的GDS特性是针对复制数据库（使用复制技术，例如ADG，Ogg等）的完整自动化工作负载管理解决方案。 本文来自Oracle白皮书翻译。 为满足企业各种业务需求，如高可用性、灾难恢复、内容本地化和缓存、可扩展性等，许多组织在本地或远程的数据中心维护一个或多个生产数据库的复制。Oracle数据库一般通过Oracle ADG和Oracle GoldenGate技术策略用于完成数据库的复制。 1 业务需求与技术的局限性 在GDS之前，复制环境中的每个数据库都从应用程序和数据库管理
客户在集群中查看用户信息 list users 时，报错 Error from server:xxx 。其实是个简单的查看语句，但魔法失灵了？下面我们将集群中用户角色等信息的查看方式做一个统一的分析说明。
在参与公司几个多数据中心项目的容灾架构设计后，积累了一些高可用和多数据中心容灾的一些思考，总结和分享出来希望一起和大家学习。
云化数据中心，网络资源通过虚拟化技术形成资源池，实现业务与物理网络解耦，通过网络虚拟化，物理网络资源可以被分成多个虚拟网络资源，从而提高网络资源的使用效率。
蓝鲸的配置平台（CMDB）底层使用的是 Mongodb 作为数据存储，其优点不用多说，相信使用过的小伙伴应该都会觉得设计很灵活方便。
确定哪种类型的数据库或数据库服务最适合您的企业的最佳方法是什么？这完全取决于您需要什么类型的用例。在本文中了解更多信息。
相对于其他的数据库厂商大会，MySQL的的确寒酸，连幕头都没有，上来就直接讲，不过也符合MySQL一贯的风格。这次翻译的是 2023年MySQL summit -- MySQL high availability and disaster recovery。开始本次的讲解人是 MySQL的产品经理，明显和我之前听的MongoDB的两期差距较大，一看是不善言辞的人。
Vitess是用于部署，扩展和管理MySQL实例的大型群集的数据库解决方案。它在架构上可以像在专用硬件上一样有效地在公共或私有云架构中运行。它结合了NoSQL数据库的可伸缩性，并扩展了许多重要的MySQL功能。Vitess可以帮助您解决以下问题:
Raft 是一种分布式一致性算法，在Newsql代表性数据库TiDB 集群的多种组件中，PD 和TiKV 都通过Raft 实现了数据的容灾。
Microsoft Azure在华的第5个数据中心，既Azure 北3区域在2022年3月1日正式启用。随着新的 Azure 数据中心区域投入使用，Global Azure的一系列高级云服务将在2022年落地中国，其中包括：
导语 本文介绍了 Kafka 跨数据中心的两种部署方式，简要分析两种方式下的不同架构以及优缺点，对这些架构可能碰到的问题也提供了一些解决思路；同时也说明了 Kafka 跨数据中心部署的社区解决方案和商业化解决方案。 背景 Kafka 作为世界上最流行的消息中间件之一，一般是客户数据链路中的核心组件，高可用性是客户很关注的因素。近期在对接云上客户时发现，客户对 Kafka 的高可用也有需求，行业架构师也想了解 Kafka 高可用的方案细节；有些客户是需要云上 Kafka 的高可用能力，有些客户需要 IDC
本书大部分内容都在讨论单个kafka集群的配置、维护和使用。但是，在一些场景中，可能需要多集群架构。 在某些情况下，集群是完全分离的，他们属于不同部门的不同实例，没有理由将数据从一个集群复制到另外一个集群。有时，不同的SLA或者工作负载使得单个集群提供多个用例服务的集群很难调优。在某些时候，还有不同的安全需求。这些场景非常容易管理多个不同的集群，就像多次允许单个集群一样。 在其他场景中，不同的集群是互相依赖的，管理有要不断地在集群之间复制数据。在大多数数据库中，在数据库服务之间持续复制数据称为复制。由于我们使用复制来描述属于同一集群的kafka节点之间的数据移动，因此我们将把kafak集群之间的数据复制称之为镜像。Apache kafka内置的跨集群 的复制器称为mirrormaker。 在本章中，我们将讨论所有或者部分数据的跨集群镜像。我们将首先讨论跨集群的镜像的一些常用用例。然后我们将展示一些用于实现这些用例的架构，并讨论每种架构的优缺点。然后我们将讨论MirrorMaker本书以及如何使用它。我们将分享一些操作技巧，包括部署的性能调优。最后我们将讨论mirrorMaker的一些替代方案。
MySQL 8.0.22引入了异步复制连接自动故障转移。这个功能能够自动重建一个复制连接到另一个可用的源服务器，使得MySQL异步复制对源服务器连接失败具有容错性。如果多个数据中心中都有源服务器，用户还可以为它们之间的副本配置故障转移，在整个数据中心遇到故障时进行灾难恢复。数据库的可用性是利用在备用服务器中保留的数据来实现，服务器使用复制功能从源服务器连续接收数据。但在某些情况下，源服务器的连接会失败，复制的数据流会中断。
这篇博客文章是CDP中Cloudera的运营数据库（OpDB）系列文章的一部分。每篇文章都会详细介绍新功能。从该系列的开头开始，请参阅<CDP中的运营数据库>,<运营数据库系列之可访问性>。
对一款分布式数据库而言，数据如何分散存储在不同节点永远是个有趣的话题。你是否有时会期望能具体控制数据具体存储在哪些节点？
像Facebook、开心001、人人网、优酷、豆瓣、淘宝等高流量、高并发的网站，单点数据库很难支撑得住，WEB2.0类型的网站中使用MySQL的居多，要么用MySQL自带的MySQL NDB Cluster(MySQL5.0及以上版本支持MySQL NDB Cluster功能)，或者用MySQL自带的分区功能(MySQL5.1及以上版本支持分区功能)，我所知道的使用这两种方案的很少，一般使用主从复制，再加上MySQL Proxy实现负载均衡、读写分离等功能，在使用主从复制的基础上，再使用垂直切分及水平切分;或者不使用主从复制，完全使用垂直切分加上水平切分再加上类似Memcached的系统也可以解决问题。
Vitess，作为海外最为知名的分库分表产品，一直以来在国内声音不多。近期抽空了解下这个产品，特分享出来。本文部分内容取自Vitess官网https://vitess.io。
为帮助开发者更好地了解和学习分布式数据库技术，2020年3月，腾讯云数据库、云加社区联合腾讯TEG数据库工作组特推出为期3个月的国产数据库专题线上技术沙龙《你想了解的国产数据库秘密，都在这！》，邀请数十位鹅厂资深数据库专家每周二和周四晚上在线深入解读TDSQL、CynosDB/CDB、TBase三款鹅厂自研数据库的核心架构、技术实现原理和最佳实践等。三月为TDSQL专题月，本文将带来直播回顾第二篇《破解分布式数据库的高可用难题：TDSQL高可用方案实现》。
repmgr -f /etc/repmgr.conf standby switchover -U repmgr --verbose
Oracle GoldenGate是用于实时数据集成和复制的综合软件包。它支持高可用性解决方案，实时数据集成，事务性更改数据捕获，数据复制，转换以及运营和分析企业系统之间的验证。
作者简介：王龙，招商银行数据中心MySQL资深架构师，将MySQL引入招商银行，并从无到有建设MySQL生态，解决了MySQL在银行领域使用的诸多问题。
导语：SuperSQL是腾讯数据平台部自研的跨数据源、跨数据中心、跨执行引擎的统一大数据SQL分析平台/中间件，支持对接适配多类外部开源SQL执行引擎，如Spark、Hive等。 背景 SuperSQL是一款自研的跨数据源、跨数据中心、跨执行引擎的高性能大数据SQL中间件，满足对位于不同数据中心的不同类型数据源的数据联合分析/即时查询的需求。SuperSQL的目标是成为公司内部统一的SQL分析中间件，实现以下三点的价值： 解决业务数据孤岛，最大化数据的使用价值 执行引擎最优选择，提升业务使用数据效率 优化
导语：SuperSQL是腾讯数据平台部自研的跨数据源、跨数据中心、跨执行引擎的统一大数据SQL分析平台/中间件，支持对接适配多类外部开源SQL执行引擎，如Spark、Hive等。 背景 SuperSQL是一款自研的跨数据源、跨数据中心、跨执行引擎的高性能大数据SQL中间件，满足对位于不同数据中心的不同类型数据源的数据联合分析/即时查询的需求。SuperSQL的目标是成为公司内部统一的SQL分析中间件，实现以下三点的价值： 解决业务数据孤岛，最大化数据的使用价值 执行引擎最优选择，提升业务使用数据效率
作者：成臣（Sei Jin） PingCAP Marketing & Community
随着苏宁线下线上业务以及全产业、全业态规模式快速增长，特别是每年苏宁 818 大促、双 11 等大促节点，销售订单基本都呈现倍数级增长态势，需要进行大量资源扩容，单个数据中心的容量有限，已经无法支撑苏宁业务的快速发展。同时，单数据中心在高可用上存在不足，一旦数据中心发生故障，会导致业务受损，用户访问中断，带来严重的影响。针对以上问题，苏宁规划建设多数据中心解决方案迫在眉睫。
Consul是HashiCorp公司推出的开源软件，使用GO语言编写，提供了分布式系统的服务注册和发现、配置等功能，这些功能中的每一个都可以根据需要单独使用，也可以一起使用以构建全方位的服务网格。Consul不仅具有服务治理的功能，而且使用分布式一致协议RAFT算法实现，有多数据中心的高可用方案，并且很容易和Spring Cloud等微服务框架集成，使用起来非常的简单，具有简单、易用、可插排等特点。使用简而言之，Consul提供了一种完整的服务网格解决方案 。
Ceph将数据副本分布到不同的硬件，从而有效地避免由于硬件故障而导致数据丢失的问题，得以实现数据的高可用性。然而，这种分布式存储机制也导致传统的基于存储复制或CDP技术难以用于Ceph来实现跨数据中心的数据复制和恢复。
来源: https://martinfowler.com/articles/patterns-of-distributed-systems/
总结：Apache Kafka Mirrormaker V1的解决方案在提供企业管理的灾难恢复方面存在局限性。MM V2（KIP-382）针对MM V1 进行了扩展，并修复了MM V1的局限性，使其能够动态修改配置，并且能够将Topic在群集之间保持同步，同时尽可能地降低触发Rebalance的情况以提高性能。此外，Active-Active群集和Disaster Recover在MM V2中已经属于开箱即用（Out-of-the-box）功能。
该文介绍了万达网络科技集团利用 TiDB 实现实时风控平台的技术实践。通过对比 MySQL Galera Cluster、MySQL 主从复制、MySQL Proxy 等方案，作者认为 TiDB 是最适合万达网络科技集团业务需求的数据库。在实时风控平台中，TiDB 的高性能、高扩展性和高可靠性保证了业务的稳定运行，同时简化了业务应用开发和运维，提升了整体效率。
在自己工作的领域中，发现快乐是我坚持做技术的动力。而技术域其实就是一个画圆的过程，当你发现你的圈圈画得越大，需要求知的东西也就越多。每天必须保持一种持续学习，和与技术死磕的精神才能促使我们不断前行。我们不断前行，时代也在不断变化和发展。本文由变化看发展，从移动通讯发展的历程同步透视数据库能力的变迁，进而预测5G时代将会给数据库带来的重大变革。
无主复制也适用于多数据中心操作，因其旨在更好的容忍并发写冲突、网络中断和延迟尖峰等。
CouchBase是一款开源的、分布式的、面向文档的NoSQL数据库，主要用于分布式缓存和数据存储领域。能够通过manage cache提供快速的亚毫米级别的k-v存储操作，并且提供快速的查询和其功能强大的能够指定SQL-like查询的查询引擎。Couchbase是一个较新的、发展迅速的nosql数据库技术。2014年，viber宣布使用couchbase替换mongodb，以适应10亿级的用户量，目前，couchbase已大量运用于生产环境，国内使用的公司主要有新浪，腾讯等。
在金融应用场景下，经常会要求在同城多中心部署高可用数据库架构，以期实现在发生故障时能达到快速切换的目标。
腾讯云数据库国产数据库专题线上技术沙龙正在火热进行中，3月12日张文的分享已经结束，没来得及参与的小伙伴不用担心，以下就是直播的视频和文字回顾。
首先明确的是，这里的对比都是拿商业的分库分表方案与OB做对比，开源的MyCAT由于功能缺失太多，无可比性
在云网融合大数据时代，数据已经成为重要的生产要素。特别是棱镜门、永恒之蓝、汶川大地震这类造成大规模数据丢失和泄漏的人为或自然灾害事件发生后，中国相继出台了一系列的法律法规，对各组织机构的数据安全保护条件进行限定，如 2016 年颁布的《中华人民共和国网络安全法》、 2021 年全国人民代表大会通过的《数据安全法》等。
随着企业规模的扩大，对数据库可用性要求越来越高，更多企业采用两地三中心、异地多活的架构，以提高数据库的异常事件应对能力。 在数据库领域，我们常听的“两地三中心”、“异地多活”到底是什么呢？ “两地三中心”就是生产数据中心、同城灾备中心、异地灾备中心。这种模式下，两个地域的三个数据中心互联互通，当一个数据中心发生异常，其他数据中心可以正常运行并进行业务接管。 “异地多活”就是在多个地域建设多个数据中心， 业务数据能够在三个及以上的数据中心之间进行双向同步。异地多活架构具有更高的可用性，抗风险能力极强。 不
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
