新春采购节 新春钜惠,爆款秒杀;企业用户专属,高配高性价比,助力企业轻松上云,腾讯云微服务新春大促重磅来袭! 不限新老用户 腾讯微服务平台 TSF、消息队列 CKafka 最低 4 折优惠 最高可省 30000+ 元! 更有爆款秒杀、代金券大礼包限量放送 点击【在看】先到先得! 点击【阅读原文】查看活动详情! 往期 推荐 《一天,把 Pulsar 客户端的性能提升3倍+!》 《超有料!万字详解腾讯微服务平台 TSF 的敏捷开发流程》 《火速围观!鹅厂中间件产品遭遇暴风吐槽!》 扫描
导语 2021年12月1日,腾讯云分布式消息队列 TDMQ Pulsar 版正式商业化。 金融级分布式消息中间件 消息队列 TDMQ Pulsar 版是一款基于 Apache Pulsar 自研的金融级分布式消息中间件,具备高一致、高可靠、高并发特性,可为分布式应用系统提供异步解耦和削峰填谷的能力,同时也具备互联网应用所需的海量消息堆积、高吞吐、可靠重试等特性。TDMQ Pulsar 版是一款经历了3年千亿级交易流水考验的消息队列,也是目前真正做到计算与存储分离的云消息队列,从架构上实现了云原
导语 PolarisMesh 是腾讯开源的百万级服务发现和治理中心,积累了腾讯从虚拟机到容器时代的分布式服务治理经验。作为分布式和微服务架构中的核心组件,PolarisMesh 提供服务寻址、流量调度、故障容错和访问控制等一系列能力,在K8s 和虚拟机环境中可以无差别使用,支持主流的开发模式,兼容grpc、spring cloud和servicemesh等开源生态,帮助用户快速构建扩展性强、可用性高的业务架构,实现从传统架构到云原生架构的转型。 Eureka是什么 Eureka是Netflix开源的一款基
导语 本文梳理笔者 MQ 知识,从消息中间件的基础知识讲起,在有了基础知识后,对市面上各主流的消息中间件进行详细的解析,包括 RabbitMQ、RocketMQ、Kafka、Pulsar,最后再横向对比这几款主流的消息中间件。 消息中间件历史 介绍 MQ 的文章网上千千万,最好的学习途径还是官方文档,文中介绍的这几款 MQ 都在努力推广自己,所以文档在权威性、全面性、专业性、时效性都是无人能及其左右,现在的官网文档甚至自己做竞品比对,比如 RocketMQ 就自己放了比对表格在首页。所以要学好哪一款MQ,
12月动态 消息队列 CKafka 版 【商业化】国内站专业版支持按小时后付费。 ★ 消息队列 RocketMQ 版 【商业化】虚拟集群正式商业化:TDMQ RocketMQ 共享版(虚拟集群)于 2022年12月28日结束公测,正式商业化开始计费,计费方式为按量付费(后付费)。 【新功能】虚拟集群收发消息调用API 限流:为了保证虚拟集群的稳定性,TDMQ RocketMQ版会以集群和 Topic 为维度进行限流,您可以在集群监控或者 Topic 监控页面查看对应的限流监控指标。 【新功能】虚拟集群支持元
11月动态 消息队列 RocketMQ 版 【新功能】支持调整节点规格和存储规格,如当前的集群规格不满足您的业务需求,可以在控制台上提升节点规格、节点数量和存储规格。 【新功能】支持公网带宽:专享集群已开启公网带宽计费,开启公网带宽后会新增单独的费用。虚拟集群当前暂未开启公网带宽计费,建议在测试、调试等不影响生产环境的场景下使用公网。 【新功能】支持在控制台快速发送测试消息,方便测试和调试。 【新功能】查看消息增加消费状态说明:查询消息时,在消息详情页面可以查看消息消费状态,并且支持重新发送消息和查看异常诊
腾讯金融科技(Tencent Financial Technology)是腾讯公司提供移动支付与金融服务的综合业务平台。业务领域包括移动支付、投资理财、民生服务和国际化等,作为支付业务的基石和底座,FiT 致力于建设和发展完善的支付平台能力,在微信支付、QQ 钱包等移动支付产品中持续进行功能和服务创新。
ckafka、TDMQ Pulsar版、TDMQ RocketMQ 版、TDMQ RabbitMQ 版和TDMQ CMQ 版功能上有啥区别
控制台链接:https://console.tencentcloud.com/trocketmq
腾讯云中间件 - 微服务团队产品2021年5月简报: 微服务平台 TSF 优优化用户体验:提供新手入门教程、新功能弹窗提醒、创建应用流程优化;支持全链路灰度发布的泳道中部署组的监控能力。优化监控能力,新增服务监控同环比;优化服务拓扑图,强化TSF监控能力。 消息队列 TDMQ 贡献开源代码,对外开源Pulsar RoP 组件,支持开源RocketMQ客户端接入Pulsar;集群版本更新至开源Pulsar 2.7.1,支持Pulsar 2.7.1诸多新特性,并简化接入方式;新版集群去除listene
《王者荣耀》是由腾讯游戏开发的一款运营在 Android、IOS 平台上的 MOBA 类手游,属于多人联机在线竞技类游戏,于2015年11月26日在 Android、IOS 平台上正式公测。上线以来受到广大手游玩家的热爱,目前该游戏在手游排行中处于 TOP 1 的位置。作为中国最火爆的手机游戏,“王者荣耀”,拥有亿级用户体量,千万级日活用户。
导语 Pulsar Summit Aisa 2021 将于2022年1月15-16日以线上直播的形式举办。 大会将分为主论坛和分论坛,汇聚技术大咖和行业先行者分享 Apache Pulsar 实践经验、用户案例、技术探究和运维故事,交流探讨 Pulsar 项目最新进展和动态,彼此切磋。 关于 Pulsar Summit Pulsar Summit 是由 StreamNative 组织的 Apache Pulsar 社区年度盛会。于此盛会,大家分享 Apache Pulsar 实践经验、用户案例、技术探究
导语 ApacheCon 是Apache软件基金会(ASF)的官方全球系列大会,作为久负盛名的开源盛宴,是开源界最具期待的大会之一。 关于ApacheCon Asia ApacheCon Asia 2022将于7月29日-31日在线举办,覆盖了数十个类别的Apache 项目内容,从流处理到消息队列、集成等皆有涉及。在今年会议中,Pulsar议题数量较2021年增长2.5倍,覆盖了技术探究、用户案例及生态集成等方向,可谓是精彩纷呈也紧跟热门趋势,欢迎大家在线观看这场Apache 技术盛宴。 消息系统分论
1. 腾讯微服务平台TSF:提供服务双注册发现能力;提供容器部署前的健康检查功能;多系统可使用同一个TraceID。
导语 Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案,支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。腾讯云内部 Pulsar工作组对 Pulsar 做了深入调研以及大量的性能和稳定性方面优化,目前已经在腾讯内部业务TDBank落地上线。本文是Pulsar技术系列中的一篇,主要介绍Pulsar 的 Message Deduplication 特性,供大家参考,避免在使用过程中踩坑。 Message Deduplication背景介绍 消息中间件产品设计中,对消
由 AscentStream 谙流科技和腾讯云中间件联合主办的 Pulsar Meetup 深圳 2024 将于 2024年04月27日 14:00-18:00 在深圳腾讯大厦2楼多功能厅,精彩呈现,期待大家多多报名!
之前琢磨了很久一直想写一篇pulsar相关的文章,但是一直知识储备不够,对于很多细节还是不了解,于是查了很多资料,总算是可以凑出一篇文章了。
导语 我们在之前的《深入解析Apache Pulsar系列之一 —— 客户端消息确认》中介绍过Apache Pulsar客户端的多种消息确认模式。这篇文章中,我们将介绍Broker侧对于消息确认的管理。 作者简介 林琳 腾讯云中间件专家工程师 Apache Pulsar PMC,《深入解析Apache Pulsar》作者。目前专注于中间件领域,在消息队列和微服务方向具有丰富的经验。负责TDMQ的设计与开发工作,目前致力于打造稳定、高效和可扩展的基础组件与服务。 客户端通过消息确认机制通知Bro
本文梳理笔者的MQ知识,从消息中间件的基础知识讲起,在有了基础知识后,对市面上各主流的消息中间件进行详细的解析,包括 RabbitMQ、RocketMQ、Kafka、Pulsar,最后再横向对比这几款主流的消息中间件。
导读 Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案,支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。数平 MQ 团队对 Pulsar 做了深入调研以及大量的性能和稳定性方面优化,目前已经在腾讯云消息队列 TDMQ 落地上线。本文主要简单梳理了 Pulsar 支持的一些传统消息队列应用场景,以及 Pulsar 新特性对更多场景的支持。 作者介绍 张超 腾讯数据平台部 MQ 团队高级工程师 Apache TubeMQ(incubating) PMC
自 2024年4月起,TDMQ Pulsar 版专业集群推出「固定并发规模 + 弹性存储」的产品形态,这种产品形态下,存储可按需使用、按量付费,保证在技术架构稳定领先的前提下,也可为用户降低存储成本。
随着互联网的高速发展,用户规模与业务并发量开始急剧增加,海量的请求需要接收和存储,业务需要中间件来实现削峰填谷;业务也在不断发展,企业内部的系统数量也在不断地增长,不同语言开发出来的系统需要统一的事件驱动;大数据、AI已经成为很多业务中不可或缺的技术,它们都需要统一的数据源。越来越多的场景离不开消息队列,稍具规模的业务,消息队列都是“标配”。
Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案,支持多租户、低延时、读写分离、跨地域复制(GEO replication)、快速扩容、灵活容错等特性。在很多场景下,用户需要通过 MQ 实现消息的重新推送能力,比如超时重推、处理异常时重推等,本文介绍 Apache Pulsar 提供的几种消息重推方案。
成熟系统的构建,最不能缺少的一环就是消息队列。消息队列的概念看似好懂,但落实到复杂问题的解决,则非常考验内功。比如:
腾讯云中间件 - 微服务团队产品2021年11月简报: API网关:支持参数流控插件、支持自定义响应体插件;支持直通TKE Pod,可通过API网关享受认证鉴权、流量控制、灰度分流等能力。 微服务引擎 TSE 注册配置中心 :Nacos组件实现客户端与控制台访问内网方式与外网方式解耦,用户自主通过开关控制。 微服务引擎 TSE 服务治理中心:PolarisMesh(北极星)治理中心支持多语言服务注册与发现、支持K8s service注册至PolarisMesh(北极星),同时增强了可观测性能力。
CKafka荣获最高级认证 今天,由中国信通院和混沌工程实验室联合举办的混沌工程技术沙龙--金融行业精品专场在北京召开。本次技术沙龙上发布了金融级产品稳定性测评成果,在分布式系统稳定性评估体系的获奖名单中,腾讯云消息队列CKafka通过首批消息队列服务稳定性认证,荣获最高级别“先进级”认证,这项认证肯定了CKafka在数据安全性、系统稳定性上的产品能力和技术实力。 根据混沌测试报告显示,CKafka已通过单项故障注入测试(服务器宕机、服务发现故障、服务暂停、网络故障、CPU负载高、内存负载高)和综
导语 | 消息队列是分布式系统中重要的中间件,在高性能、高可用、低耦合等系统架构中扮演着重要作用。本文对Kafka、Pulsar、RocketMQ、RabbitMQ、NSQ这几个消息队列组件进行了一些调研,并整理了相关资料,为业务对MQ中间件选型提供参考。 一、概述 消息队列是分布式系统中重要的中间件,在高性能、高可用、低耦合等系统架构中扮演着重要作用。分布式系统可以借助消息队列的能力,轻松实现以下功能: 解耦,将一个流程的上游和下游拆开,上游专注生产消息,下游专注处理消息。 广播,一个上游生产的消息轻松被
10月动态 消息队列 RocketMQ 版 【商业化】消息队列 RocketMQ 版专享集群正式商业化。基于开源RocketMQ打造,兼容社区SDK,具有低延迟、高性能、高可靠、万亿级消息吞吐等特点。专享版于 5 月开始在外部客户侧进行白名单开放和打磨,已经在多个外部客户落地,涉及教育、出行、游戏等多个行业。 购买指南: https://cloud.tencent.com/document/product/1493/61589 【新功能】专享集群支持死信消息查询,在消息查询页面,用户可以根据专享集群的 gr
https://cloud.tencent.com/document/product/1493/105501
导语 消息队列 RocketMQ 版(TDMQ for RocketMQ,简称 TDMQ RocketMQ 版)在今日正式公测!TDMQ RocketMQ 是TDMQ系列产品中的一款分布式高可用的消息队列服务,兼容 Apache RocketMQ 的各个组件与概念,RocketMQ 4.6及以上版本的客户端几乎零改造接入。欢迎大家扫描文末二维码使用体验! TDMQ RocketMQ 版的背景 RocketMQ作为典型的业务处理消息队列,主要用于处理订单,支付,积分等业务类型,对信息交换的准确性有极高的要求
云原生大潮风起云涌,企业不再停留在理念层面,目前已在多方面落地。消息队列作为关键技术基础设施之一,也在云原生时代面临着挑战和机会。本文从传统消息队列上云所面临的三大挑战说起,并以 Apache Pulsar 为技术案例,深入浅出地讲解了如何打造适配云原生的消息队列。希望本文能对大家提供参考。 PART ONE 背景介绍 如今,云原生的概念已经渗透到了软件开发的方方面面。云原生不再只是未来的设想,而是一个现在进行时。开发人员在开发设计之初就需要考虑未来如何在云原生环境上部署、运行服务,即如何“上云”。
这两年,圈子里关于海量数据、复杂业务场景的探讨越来越多,一方面是居安思危,另一方面是,大家对成熟系统的追求一直在升级。也难怪,毕竟现在高级工程师的门槛都上升到系统层面了,谁都不想落下。
上一篇我们用一个秒杀案例探讨了我们为什么需要消息队列。今天我们来回顾一下消息队列的发展历史。
由 AscentStream 谙流科技和腾讯云中间件联合主办的 Pulsar Meetup 深圳 2024 将于 2024年04月27日 14:00-18:00 在深圳腾讯大厦 2 楼多功能厅,精彩呈现,期待大家多多报名!
导语 | 事务是一个程序执行单元,里面的所有操作要么全部执行成功,要么全部执行失败。RocketMQ、Kafka和Pulsar都是当今业界应用十分广泛的开源消息队列(MQ)组件,笔者在工作中遇到关于MQ选型相关的内容,了解到关于“事务消息”这个概念在不同的MQ组件里有不同内涵。故借此文,试着浅析一番这三种消息队列(MQ)的事务消息有何异同,目的是形成关于消息队列事务消息的全景视图,给有类似业务需求的同学提供一些参考和借鉴。 一、消息队列演化 消息队列(Message Queue,简称MQ),是指在消息
作者|陈翔、王东松 在金融场景中,伴随着业务的扩展,应用系统也相应地增加更多的场景,这些新场景对消息系统提出更多样的需求,导致原有架构面临一系列挑战。在尝试使用 Apache Pulsar 后,平安证券决定在生产环境中进行实践。本文介绍了平安证券选择 Apache Pulsar 的原因,使用 Apache Pulsar 的场景,Apache Pulsar 实践应用中遇到的问题,以及使用 Apache Pulsar 的未来规划。 1 背景介绍 传统金融公司或券商一般会使用统一接入服务或组件来处理对外业务。
当消息队列遭遇英特尔傲腾持久内存会碰撞出怎样的火花?傲腾持久内存会对消息队列应用带来哪些革命性的变化。在2022存储峰会分布式存储论坛上,英特尔公司傲腾产品事业部云软件架构师胡风华进行了详细解读。
KEDA 的触发器支持 Apache Pulsar,即根据 Pulsar 消息队列中的未消费的消息数量进行水平伸缩,用法参考 KEDA Scalers: Apache Pulsar。
我之前写过一篇文章 我用消息队列做了个联机游戏 用 Pulsar 这款消息队列实现了一个比较简陋的炸弹人游戏
消息队列是当代分布式系统架构中非常重要的一部分,在应用解耦、流量削峰、异步通信等方面有非常多的应用场景。目前最为我们所熟知的消息队列有:ActiveMQ、Kafka、RabbitMQ、Pulsar和RocketMQ,他们都有哪些优势和劣势, 我们应该如何选择呢?相信这是摆在很多开发者面前的问题。
场景描述:2019 年 7 月,Apache Pulsar 正式发布了 2.4.0 版本,在 2.3.2 版本的基础上新增了诸多功能并修复了大量漏洞,包括存储端、Broker 端、Schema、安全、客户端、Pulsar Functions、Pulsar IO、Pulsar Kafka、Pulsar Flink 和 Pulsar Storm 等多方面。
由 AscentStream 谙流科技和腾讯云中间件联合主办的 Pulsar Meetup 深圳 2024 将于 2024年04月27日 周六 14:00-18:00 在深圳腾讯大厦2楼多功能厅,精彩呈现,期待大家多多报名!
腾讯云中间件 - 微服务团队产品2021年10月简报: API网关:正式发布云原生网关 ,完美兼容开源 Kong 网关,为您幅度降低网关建设成本;支持条件路由插件,支持自定义认证/请求体插件。 微服务引擎 TSE :发布子产品服务注册中心、配置中心、治理中心。支持一键创建、免运维、高可用、开源增强的组件托管服务。 消息队列 TDMQ: 支持开源RabbitMQ备用交换机能力;支持客户端代码声明功能,原Spring内置客户端使用MQ的客户可以无缝迁移至TDMQ; 支持独占消费、支持集群维度的数据统计
事务是一个程序执行单元,里面的所有操作要么全部执行成功,要么全部执行失败。RocketMQ、Kafka和Pulsar都是当今业界应用十分广泛的开源消息队列(MQ)组件,笔者在工作中遇到关于MQ选型相关的内容,了解到关于“事务消息”这个概念在不同的MQ组件里有不同内涵。故借此文,试着浅析一番这三种消息队列(MQ)的事务消息有何异同,目的是形成关于消息队列事务消息的全景视图,给有类似业务需求的同学提供一些参考和借鉴。
作者:anncdchen,腾讯 PCG 后台开发工程师 消息队列使用场景 消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,削峰填谷等问题。实现高性能、高可用、可伸缩和最终一致性架构。 解耦:多个服务监听、处理同一条消息,避免多次 rpc 调用。 异步消息:消息发布者不用等待消息处理的的结果。 削峰填谷:较大流量、写入场景,为下游 I/O 服务抗流量。当然大流量下就需要使用其他方案了。 消息驱动框架:在事件总线中,服务通过监听事件消息驱动服务完成相应动作。 消息队列模式 点对点模
作者:ruoyuliu刘若愚,腾讯 WXG 后台开发工程师 导语 事务是一个程序执行单元,里面的所有操作要么全部执行成功,要么全部执行失败。RocketMQ、Kafka 和 Pulsar 都是当今业界应用十分广泛的开源消息队列(MQ)组件,笔者在工作中遇到关于 MQ 选型相关的内容,了解到关于“事务消息”这个概念在不同的 MQ 组件里有不同内涵。故借此文,试着浅析一番这三种消息队列(MQ)的事务消息有何异同,目的是形成关于消息队列事务消息的全景视图,给有类似业务需求的同学提供一些参考和借鉴。 一、消息
作者 | 林琳、王小童 华为是全球领先的 ICT(信息与通信)基础设施和智能终端提供商。终端业务是华为三大业务之一,其产品全面覆盖手机、个人电脑和平板电脑、可穿戴设备、移动宽带终端、家庭终端和消费者云等。华为终端云服务是为华为终端用户提供围绕数据、应用、出行、娱乐等众多场景的数字生活体验的功能与服务的统称,其业务覆盖华为云空间、华为智能助手、华为应用市场、Huawei Pay、华为天际通、华为视频、华为音乐、华为阅读、华为主题和生活服务等智慧云服务。 华为云终端将消息系统从 Kafka 迁移到 Pulsa
领取专属 10元无门槛券
手把手带您无忧上云