在系列文章前面几篇中,介绍了 NSQ 改造的过程和几个基础特性,本文中我们继续介绍几个高级特性及其使用场景,这些都是结合有赞业务场景总结提炼出来的重要功能。
导语 本文整理自 Pulsar Summit Asia 2022 技术峰会上腾讯云中间件高级研发工程师韩明泽的分享《基于跨地域复制实现租户跨集群迁移》。本文主要介绍基于跨地域数据复制和订阅进度同步的实现及优化,以及腾讯云在跨集群迁移过程中遇到的问题及租户跨集群迁移解决方案。 作者简介 韩明泽 毕业于武汉大学,腾讯云中间件高级研发工程师,拥有多年消息中间件开发与运维经验,RoP (RocketMQ-on-Pulsar) Maintainer,Apache Pulsar 贡献者。 订阅进度同步的实现及优化
在上一篇中我们讲了通用优惠券系统的设计,这篇主要是以优惠券重构后,我们现有系统接入到该通用优惠券系统过程中遇到的数据迁移与一致性问题相关的思考与实践。我们早期的优惠券系统使用的是ckv的存储,后来为了统一,全部改为使用redis储存了,这里首先一个数据迁移点是 ckv----->redis的迁移,另一个数据迁移点是上海redis----->深圳redis。之所以会有redis --->redis的迁移,主要是刚开始我们redis是和别人混部,选择了一个上海的机房,由于整个服务几乎都部署在广深地区,所以需要迁回来,并且单独一个redis集群存储,不在混部。
作者 | Bo Ingram 译者 | 平川 策划 | Tina 本文最初发布于 Discord 官方博客。 2017 年,我们写了一篇关于我们如何存储数十亿条消息的博文,分享了我们开始时如何使用 MongoDB,但又将数据迁移到 Cassandra 的过程,因为我们正在寻找一个扩展性和容错性比较高而维护成本相对较低的数据库。我们确信自己会发展,而且我们确实做到了! 我们想要一个能随着我们的发展而演进的数据库,但又不希望它的维护需求会随着我们的存储需求而增长。遗憾的是,我们发现事实并非如此——我们
作者简介:吴夏,腾讯云 TDSQL 高级工程师,多年分布式数据库系统研发经验,目前主要负责 TDSQL 异构数据同步与迁移能力的建设,曾支持大量金融行业数据库迁移同步。 ---- 随着国家有关部门近年来陆续出台相关政策指导文件,推动探索安全可控的金融科技产品,加强银行业信息安全建设,国内众多金融政企机构开始探索借助数字化技术,来实现原有IT系统的转型升级,从而实现降本增效,已经成为行业发展的共识。 腾讯自研的金融级分布式数据库TDSQL的金融政企用户数已突破600家。作为一款安全可控的金融级数据库,TD
随着国家有关部门近年来陆续出台相关政策指导文件,推动探索安全可控的金融科技产品,加强银行业信息安全建设,国内众多金融政企机构纷纷开始探索改造原有IT系统,对国产化数据库的需求日益强烈。 腾讯自研的金融级分布式数据库TDSQL的金融政企用户数日前已突破600家。作为一款金融级国产化数据库,TDSQL不仅完全满足国家对金融安全可控的要求,也能解决过去传统金融数据库靠采购高端设备或进行资源堆砌才能解决的问题。
本文整理自李样兵在北京站 RocketMQ meetup分享美菜网使用 RocketMQ 过程中的一些心得和经验,偏重于实践。
腾讯云CKafka是基于Apache Kafka 的分布式、高可扩展以及高吞吐的云端Kafka服务。腾讯云CKafka针对开源Kafka进行了多种优化,其中包括无锁队列优化、异步刷盘优化、多版本支持以及GC优化等优化手段,对开源Kafka性能达到了数倍的提高。与用户自己部署Kafka相比,腾讯云CKafka无需用户关心Kafka集群细节,用户无需维护Kafka集群直接使用,同时为用户提供丰富的监控指标。由于腾讯云CKafka与社区Kafka的协议一致,用户只需要够买实例后便可无缝接入。再者,CKafka允许
停机迁移包括停服迁移与非停服迁移,停服迁移是选择某一时间点流量最少时停止所有服务,并在最短时间内完成数据迁移,此时需要注意停服时间;非停服迁移,即停止所有写数据服务,查询服务并不停止,同样要注意停服时间,防止对生产环境有较大影响。停机迁移完成后,还需要进行数据核对,通常首先要校验迁移前后数据量是否一致,其次还可对迁移前后数据逐条进行校验,还可进行流量回放,保证迁移前后业务表现完全一致。
Intel Security针对云计算部署的最新研究给企业同时带来了好消息和坏消息。好消息是,根据对1200多名IT决策者的调查显示,云技术相关的数据泄露事故发生频率很低。但坏消息是,这些决策者称迁移挑战是他们面临的最常见问题。从安全的角度来看,当转移工作负载和数据到云计算时肯定会有挑战,无论是从内部数据中心到云还是从云提供商到另一个云提供商。 第一个云迁移挑战是确保根据政策和数据分类要求只有适当类型的数据迁移到云端。很多企业发现敏感数据出现在云端,而他们并没有计划将其放在云中,这通常是因为与项目团队缺乏沟
Redis 3.0之后,节点之间通过去中心化的方式,提供了完整的sharding、replication(复制机制仍使用原有机制,并且具备感知主备的能力)、failover解决方案,称为Redis Cluster。即:将proxy/sentinel的工作融合到了普通Redis节点里。后面将介绍Redis Cluster这种模式下,水平拆分、故障转移等需求的实现方式。
不要惊讶,写这篇文章前,我特意去网上看了下分库分表的文章,很神奇的是,都在讲怎么进行分库分表,却不说分完以后,怎么部署上线的。这样在面试的时候就比较尴尬了。
https://kubemq.io/kubernetes-message-queue/
进程间通信(Inter-Process Communication,IPC)则是多进程协作的基础。一般而言,IPC至少需要两方(如两个进程)参与。根据信息流动的方向,这两方通常被称为发送者和接收者。在实际使用中,IPC经常被用于服务调用,因此参与IPC的两方又被称为调用者和被调用者,或者客户端和服务端。
在讲Redis集群架构之前,我们先简单讲下Redis单实例的架构,从最开始的一主N从,到读写分离,再到Sentinel哨兵机制,单实例的Redis缓存足以应对大多数的使用场景,也能实现主从故障迁移。
在Kubernetes容器化环境中,要高效地实现从单体到微服务的迁移,就要遵循以下最佳实践。
很多年前,读了子柳老师的《淘宝技术这十年》。这本书成为了我的架构启蒙书,书中的一句话像种子一样深埋在我的脑海里:“好的架构是进化来的,不是设计来的”。
为帮助开发者更好地了解和学习分布式数据库技术,2020年3月,腾讯云数据库、云加社区联合腾讯TEG数据库工作组特推出为期3个月的国产数据库专题线上技术沙龙《你想了解的国产数据库秘密,都在这!》,邀请数十位鹅厂资深数据库专家每周二和周四晚上在线深入解读TDSQL、CynosDB/CDB、TBase三款鹅厂自研数据库的核心架构、技术实现原理和最佳实践等。本文将带来直播回顾第五篇《银行核心海量数据无损迁移:TDSQL数据库多源异构迁移方案》。
腾讯云数据库国产数据库专题线上技术沙龙正在火热进行中,3月24日吴夏的分享已经结束,没来得及参与的小伙伴不用担心,以下就是直播的视频和文字回顾。 关注“腾讯云数据库”公众号,回复“0324吴夏”,即可下载直播分享PPT。 大家好,我是腾讯云TDSQL高级工程师吴夏,我今天的主题是关于TDSQL异构数据同步与迁移能力的建设以及应用方面的内容。整个内容分四个部分: 一是异构数据库方面包括数据分发迁移同步的背景——我们为什么要发展这一块的能力以及现在这部分服务的基本架构; 二是TDSQL异构迁移能力有哪些比较
大致思路就是,挂一个公告,半夜停机升级,然后半夜把服务停了,跑数据迁移程序,进行数据迁移。
控制台链接:https://console.tencentcloud.com/trocketmq
本文整理了阿里13个开源中件间产品的架构及功能介绍,结合阿里中间件团队的访谈及分享,涵盖了消息中间件、服务框架、数据层、应用服务器和大规模分布式稳定性平台等等。整体中间件在阿里生态中的分布,如下图所示:
云原生大潮风起云涌,企业不再停留在理念层面,目前已在多方面落地。消息队列作为关键技术基础设施之一,也在云原生时代面临着挑战和机会。本文从传统消息队列上云所面临的三大挑战说起,并以 Apache Pulsar 为技术案例,深入浅出地讲解了如何打造适配云原生的消息队列。希望本文能对大家提供参考。 PART ONE 背景介绍 如今,云原生的概念已经渗透到了软件开发的方方面面。云原生不再只是未来的设想,而是一个现在进行时。开发人员在开发设计之初就需要考虑未来如何在云原生环境上部署、运行服务,即如何“上云”。
转转二手交易网 —— 把家里不用的东西卖了变成钱,一个帮你赚钱的网站。由腾讯与 58 集团共同投资。为海量用户提供一个有担保、便捷的二手交易平台。转转是 2015 年 11 月 12 日正式推出的 APP,遵循“用户第一”的核心价值观,以“让资源重新配置,让人与人更信任”为企业愿景,提倡真实个人交易。
大量业务使用消息中间件进行系统间的解耦、异步化、削峰填谷设计实现。公司内部前期基于RabbitMQ实现了一套高可用的消息中间件平台。随着业务的持续增长,消息体量随之增大,对消息中间件平台提出了更高的要求,此外在运维过程中也遇到了高可用难以保障,功能特性不足等诸多问题。基于遇到的这些问题,决定引入RocketMQ进行替换。本文将介绍基于RocketMQ建设消息中间件平台并实现在线业务无感知的平滑迁移。
12月动态 消息队列 CKafka 版 【商业化】国内站专业版支持按小时后付费。 ★ 消息队列 RocketMQ 版 【商业化】虚拟集群正式商业化:TDMQ RocketMQ 共享版(虚拟集群)于 2022年12月28日结束公测,正式商业化开始计费,计费方式为按量付费(后付费)。 【新功能】虚拟集群收发消息调用API 限流:为了保证虚拟集群的稳定性,TDMQ RocketMQ版会以集群和 Topic 为维度进行限流,您可以在集群监控或者 Topic 监控页面查看对应的限流监控指标。 【新功能】虚拟集群支持元
由 StreamNative 主办的 Pulsar Meetup Beijing 2023 在2023年10月14日完美落幕,本次活动大咖云集,来自腾讯、滴滴、华为、智联招聘、RisingWave 和 StreamNative 的行业专家们一起,深入探讨 Pulsar 在生产环境中的最佳应用实践,共享 Pulsar 社区的最新发展和动态。
数据流处理面临四个基本问题(Tyler Akidau, Slava Chernyak & Reuven lax. Streaming Systems: The What, Where, When and How of Large-Scale Data Processing):
本文最初发表于 RedHat 的开发者站点,经原作者 Bilgin Ibryam 许可,由 InfoQ 中文站翻译分享。
Facebook Messenger 用户超10亿,可以即时分享文字、图片、视频,产品自身不断的发展,背后的系统也在不断改变,开始是一个单体服务,后来变为有专门的缓存服务支持读、Iris 系统来队列化写、存储服务来保存历史消息。
因为系统数据量持续性增大,腾讯云的MySQL已经达到瓶颈,无法进行升级操作,如果自己搭建一个分库分表系统,速度和可靠性上面都会很差,综合各方面考虑,最后决定采用阿里云的PolarDB-X分布式数据库。
并发量大了 =》 主从复制解决 =》主从稳定性 =》哨兵解决 =》单节点的写能力、存储能力、动态扩容都很麻烦 =》集群Cluster解决。
微服务越来越火。很多互联网公司,甚至一些传统行业的系统都采用了微服务架构。体会到微服务带来好处的同时,很多公司也明显感受到微服务化带来的一系列让人头疼的问题。本文是笔者对自己多年微服务化经历的总结。如果你正准备做微服务转型,或者在微服务化过程中遇到了困难。此文很可能会帮到你!
登录网络服务 (以下简称F服务)接进来一个用户,然后用户会连接到会话管理服务(以下简称D服务)
在上一篇中我们介绍了数据迁移的套路,但是没有介绍具体的方案,这篇着重介绍下具体的数据迁移方案
Kafka的数据目录可以配置一个或多个,通常这些目录是分布在不同的磁盘上用于提高K集群的读写性能,同时也可以提升消息的存储空间。
Streams Replication Manager(SRM)是一种企业级复制解决方案,可实现容错、可扩展且健壮的跨集群Kafka主题复制。SRM提供了动态更改配置的功能,并使Topic属性在高性能的集群之间保持同步。SRM还提供了自定义扩展,可促进安装、管理和监视,从而使SRM成为针对任务关键型工作负载而构建的完整复制解决方案。本文主要讨论SRM的主要用例和用例的实现架构。
本文主要介绍知乎订单系统后端语言栈的转型升级过程,包括其间踩过的一些坑和遇到的一些问题。一来是想通过本篇文章为其它应用服务转型提供借鉴经验,二来是总结对于订单系统的理解。鉴于文字功底不足,对于业务理解不充分的地方,欢迎留言交流。文章大纲如下:
继上次分享的Redis服务平台化之路,这次着重来分享下Redis Cluster浅析,欢迎大家互相多交流学习。
网上有很多文章讲 Redis 集群的,但是真正用来实战的很少。纯理论的文章看的太多了,缺乏实战。今天抽个时间,我们来把理论是实践一锅端了吧!
导语 熟悉Apache Kafka的同学都知道,当Kafka集群负载到达瓶颈或者出现突发流量需要紧急扩容时,新加入集群的节点需要经过数据迁移才能均分集群压力。而数据迁移会因为数据堆积量,节点负载等因素的影响,导致迁移时间较长,甚至出现迁移不动的情况。同时数据迁移也会增大当前节点的压力,可能导致集群进一步崩溃。本文将探讨应对需要紧急扩容的技术方案。 作者介绍 许文强 腾讯高级工程师 腾讯云CKafka研发负责人,Apache Kafka Contributor 拥有多年分布式系统研发经验,主要
下面我们有请腾讯云基础架构部高级工程师杨原给我们带来主题分享——腾讯云Kafka自动化运营实践。
从有赞双机房开始到金融云架构,针对业务方在多机房的应该部署以及消息发送订阅需求,需要 NSQ 针对双机房以及多机房部署提供消息发送与订阅服务。本文主要介绍了 NSQ 双机房以及多机房设计以及经验总结。
在进行架构转型与分库分表之前,我们一直采用非常典型的单体应用架构:主服务是一个 Java WebApp,使用 Nginx 并选择 Session Sticky 分发策略做负载均衡和会话保持;背后是一个 MySQL 主实例,接了若干 Slave 做读写分离。在整个转型开始之前,我们就知道这会是一块难啃的硬骨头:我们要在全线业务飞速地扩张迭代的同时完成架构转型,因为这是实实在在的”给高速行驶的汽车换轮胎”。
互联网和Web的蓬勃发展正在改变着我们的世界,随着互联网的不断发展和壮大,企业数据规模越来越大,并发量越来越高,关系数据库无法应对新的负载压力,随着Hadoop,Cassandra,MongoDB,Redis等NoSQL数据库的兴起,因其良好的可扩展性,弱化数据库的设计范式,弱化一致性要求,在解决海量数据和高并发的问题上明显优于关系型数据库。因而很快广泛应用于互联网业务中。 Redis作为基于K-V的NoSQL数据库,具有高性能、丰富的数据结构、持久化、高可用、分布式、支持复制等特性。从09年至今,经历8年
nova evacuate和热迁移很像。都是想实例从一个节点转移到另外一个节点。区别主要是热迁移在正常状态下进行的,疏散时在异常状态下进行的。用一个形象的比如就是热迁移发生在地震前从建筑物逃生出来,疏散发生在地震发生后,从被毁的建筑物里逃生出来。
今天早上彭博社消息微软已经确认收购 GitHub 了,这次收购可以说是已经板上钉钉的事了。关于微软收购 GitHub 的看法和消息,我就不过多的说了,这两天发了两篇相关文章进行了评论和说明。 今天我们
领取专属 10元无门槛券
手把手带您无忧上云