腾讯云中间件的专栏-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯云中间件的专栏

专栏成员

273

文章

351422

阅读量

127

订阅数

Flink 基于 TDMQ for Apache Pulsar 的离线场景使用实践

pulsar 实践序列化 apache flink

Apache Flink 是一个开源的流处理和批处理框架，具有高吞吐量、低延迟的流式引擎，支持事件时间处理和状态管理，以及确保在机器故障时的容错性和一次性语义。Flink 的核心是一个分布式流数据处理引擎，支持 Java、Scala、Python 和 SQL 编程语言，可以在集群或云环境中执行数据流程序。它提供了 DataStream API 用于处理有界或无界数据流，DataSet API 用于处理有界数据集，以及 Table API 和 SQL 接口用于关系型流和批处理。目前 Flink 最新已经迭代至 1.20 版本，在此过程中不光是 Flink 框架，插件本身也有部分 API 以及配置存在变更，本文主要针对较高版本的 1.17 Flink Pulsar 插件进行测试验证，目前 Flink 版本如下：https://nightlies.apache.org/flink/

腾讯云中间件团队

2024-05-31

3140

腾讯云 TDMQ for Apache Pulsar 多地区高可用容灾实践

高可用实践 apache 腾讯云 pulsar

本文将从四个维度，深入剖析 Pulsar 在多可用区高可用领域的容灾策略。首先，我们将从整体架构的角度切入，洞察其设计之精髓；其次，我们将探寻 Pulsar 在云原生领域的努力；再者，我们将聚焦 Pulsar 在高可用方面的设计，展现其稳健可靠的特性；最后，我们延申拓展 Pulsar 在跨地区同步方面的未来规划。

腾讯云中间件团队

2024-05-22

1850

云原生消息流系统 Apache RocketMQ 在腾讯云的大规模生产实践

系统云原生 apache 腾讯云 rocketmq

本文将围绕 RocketMQ 5.x 的新特性展开探讨，详细解读其在腾讯云上的实际应用案例，并展望未来的发展规划。

腾讯云中间件团队

2024-03-14

2680

Apache RocketMQ 5.0 腾讯云落地实践

apache 存储腾讯云 rocketmq 实践

RocketMQ 最早诞生于淘宝的在线电商交易场景，经过了历年双十一大促流量洪峰的打磨，2016年捐献给 Apache 社区，成为 Apache 社区的顶级项目，并在国内外电商，金融，互联网等各行各业的广大客户落地验证，得到广泛认可。

腾讯云中间件团队

2023-12-09

6560

Apache Pulsar 技术系列 - 基于 Pulsar 的海量 DB 数据采集和分拣

apache db pulsar 数据数据采集

Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案，支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。本文是 Pulsar 技术系列中的一篇，主要介绍 Pulsar 在海量DB Binlog 增量数据采集、分拣场景下的应用。

腾讯云中间件团队

2023-11-16

3910

Apache Pulsar 在腾讯云上的最佳实践

apache 腾讯云 pulsar 集群最佳实践

由 StreamNative 主办的 Pulsar Meetup Beijing 2023 在2023年10月14日完美落幕，本次活动大咖云集，来自腾讯、滴滴、华为、智联招聘、RisingWave 和 StreamNative 的行业专家们一起，深入探讨 Pulsar 在生产环境中的最佳应用实践，共享 Pulsar 社区的最新发展和动态。

腾讯云中间件团队

2023-11-02

4600

Apache Pulsar 技术系列 - PulsarClient 实现解析

apache pulsar 客户端连接线程

Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案，支持多租户、低延时、读写分离、跨地域复制（GEO replication）、快速扩容、灵活容错等特性。同时为了达到高性能，低延时、高可用，Pulsar 在客户端也做了很多的优化，本文主要讲述 PulsarClient 基本原理和实现。

腾讯云中间件团队

2023-09-27

1.1K0

Apache pulsar 技术系列-- 消息重推的几种方式

apache pulsar 数据推送消息队列

Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案，支持多租户、低延时、读写分离、跨地域复制（GEO replication）、快速扩容、灵活容错等特性。在很多场景下，用户需要通过 MQ 实现消息的重新推送能力，比如超时重推、处理异常时重推等，本文介绍 Apache Pulsar 提供的几种消息重推方案。

腾讯云中间件团队

2023-08-03

6560

Apache Pulsar 技术系列 - GEO replication 中订阅状态的同步原理

apache geo replication 同步原理

Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案，支持多租户、低延时、读写分离、跨地域复制（GEO Replication）、快速扩容、灵活容错等特性，GEO Replication 可以原生支持数据和订阅状态在多个集群之间进行复制，GEO 目前在 Apache InLong 内部已经有长期稳定的实践，本文主要讲述 GEO 中的订阅状态的同步。

腾讯云中间件团队

2023-08-03

3960

Apache Pulsar 技术系列 - Pulsar 总览

apache 存储 pulsar 磁盘数据

导语 Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案，数据持久化依赖 Apache BookKeeper 实现，支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。本文将从以下几个方面为大家介绍 Apache Pulsar的设计原理和特性。 1、Apache Pulsar 架构 2、架构设计的优势 3、Pulsar 特性 4、总结 Apache Pulsar 架构存储计算分离 Apache Pulsar 是 Pub/Sub 模型的消息系统，并且从设计上做了存储和

腾讯云中间件团队

2023-03-24

1.2K1

详解 Apache Pulsar 消息生命周期

apache pulsar 生命周期数据压缩

文章摘要本文整理自 Pulsar Summit Asia 2022 腾讯云高级研发工程师冉小龙的演讲《Deep Dive into Apache Pulsar Lifecycle》。Apache Pulsar 中抽象了 Topic 来承载用户发送的消息，一条消息发送到 Topic 中之后会经过 Broker 的计算存储到 Bookie 中。本文将详细阐述消息是如何发送到 Broker 并经过 Broker 的计算以及元数据处理最终存储到 Bookie 中，然后会进一步阐述 Bookie 如何利用垃圾回收机

腾讯云中间件团队

2023-03-24

8010

腾讯云基于 Apache Pulsar 跨地域复制功能实现租户跨集群迁移

消息队列 CMQ 版 kafka 迁移 apache css

导语本文整理自 Pulsar Summit Asia 2022 技术峰会上腾讯云中间件高级研发工程师韩明泽的分享《基于跨地域复制实现租户跨集群迁移》。本文主要介绍基于跨地域数据复制和订阅进度同步的实现及优化，以及腾讯云在跨集群迁移过程中遇到的问题及租户跨集群迁移解决方案。作者简介韩明泽毕业于武汉大学，腾讯云中间件高级研发工程师，拥有多年消息中间件开发与运维经验，RoP (RocketMQ-on-Pulsar) Maintainer，Apache Pulsar 贡献者。订阅进度同步的实现及优化

腾讯云中间件团队

2023-02-24

1.1K0

云原生消息流系统 Apache Pulsar 在腾讯云的大规模生产实践

消息队列 CMQ 版 kafka apache unix 缓存

导语由 InfoQ 主办的 Qcon 全球软件开发者大会北京站上周已精彩落幕，腾讯云中间件团队的冉小龙参与了《云原生机构设计与音视频技术应用》专题，带来了以《云原生消息流系统 Apache Pulsar 在腾讯云的大规模生产实践》为主题的精彩演讲，在本篇内容中，将重点围绕腾讯云近期在 Apache Pulsar 稳定性和性能方面优化的工作展开介绍，为开发者提供参考。作者简介冉小龙腾讯云高级研发工程师 Apache Pulsar committer RoP maintainer Apache Pul

腾讯云中间件团队

2023-02-16

1.1K0

腾讯云中间件读者敬启：2022年热门技术文章集锦，建议收藏

微服务 spring cloud spring apache

各位读者：大家好！回望刚刚过去的2022年，发生了太多的事情，北京冬奥会、神舟十四号航天员首次出舱、重庆山火、泸定地震，一幕幕或激动人心或舍生忘死的场景彷佛还在眼前。技术领域的力量同样振奋人心，腾讯云中间件团队2022年在CCSA主导发布了国内首个微服务标准《分布式应用架构通用技术能力要求第1部分：微服务平台》以及《分布式中间件服务技术能力要求第2部分：分布式消息队列》、《分布式中间件服务技术能力要求第3部分：API网关》。在产品层面，微服务团队秉承持续创新的精神，升级微服务引擎，全新发布云原生A

腾讯云中间件团队

2023-01-10

6420

喜报！ TSF 荣获“InfoQ 2022年度十大云原生创新技术方案“和“CSDN 2022年度创新产品与解决方案“两大奖项

微服务 apache 企业开源

近期，由 InfoQ 发起的2022中国技术力量年度榜单评选活动落下帷幕，并揭晓了最终入围结果，腾讯云中间件-微服务团队申报的"腾讯微服务平台TSF”项目凭借着在项目成熟度、研发实力、市场格局等多维度的优异表现，入选“InfoQ 2022年度十大云原生创新技术方案”。奖项介绍由 InfoQ 主办的中国技术力量年度榜单，聚焦于为数字化转型做出实际贡献项目的评选。在本次榜单评选过程中，InfoQ 在邀请广大用户投票的同时，也组织了来自网易、华为、腾讯、阿里、信通院、百度等二十多位业内顶尖专家作为豪华评审团

腾讯云中间件团队

2022-12-30

1.2K0

Apache Pulsar 技术系列 – 基于不同部署策略和配置策略的容灾保障

费用中心 apache css 消息队列 CMQ 版 kafka

导语 Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案，支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。其原生支持了跨洲际级别的跨地域复制的解决方案，并结合其自身的 tenant 和 namespace 级别的抽象，可以灵活的支持不多种类，不同场景下的跨地域复制解决方案。作者简介范志会腾讯数平高级运维工程师目前腾讯公司内部业务在使用 Pulsar 的过程中，基于综合业务是否在线影响用户体检，是否产生营收影响，以及降本增效趋势下的成本考虑，会选择不同级别的

腾讯云中间件团队

2022-12-15

1.1K0

线上直播 | 云原生网关 Kong 在腾讯云的解决方案

云直播 api 云原生 API 网关 apache 微服务

导语由腾讯云中间件与Kong公司联合举办的线上技术直播将在12月21日晚上19：00进行，届时，对API网关感兴趣的开发者朋友们可以扫下方的二维码进入直播间观看。关于网关 API 网关是现代分布式云原生，微服务系统中的一个重要组成部分。作为世界上最流行的开源网关之一，Kong 具备云原生、平台无关、可扩展的重要特点，以其通过插件实现的高性能和可扩展性而著称。Kong具备的核心能力包括请求/响应转换、负载均衡、健康检查、认证鉴权、流量治理、API管理等。腾讯云原生网关 Kong 是腾讯云基于 Kong

腾讯云中间件团队

2022-12-09

2.1K0

Apache Pulsar 在微信大流量实时推荐场景下的实践

微信缓存网络安全存储 apache

导语本文整理自 8 月 Apache Pulsar Meetup 上，刘燊题为《Apache Pulsar 在微信的大流量实时推荐场景实践》的分享。本文介绍了微信团队在大流量场景下将 Pulsar 部署在 K8s 上的实践与优化、非持久化 Topic 的应用、负载均衡与 Broker 缓存优化实践与 COS Offloader 开发与应用。作者简介刘燊腾讯微信高级研发工程师 Apache Pulsar Contributor 在通信社交领域，微信已经成为国内当之无愧的社交霸主。用户人数在 2018

腾讯云中间件团队

2022-11-11

9260

社区盛会 | Pulsar Summit Asia 2022 议程全览

apache flink sql 大数据

导语 Pulsar Summit 是 Apache Pulsar 社区年度盛会，它将分布在世界各地的 Apache Pulsar 项目 Contributor、Committer 和各企业 CTO/CIO、开发者、架构师、数据科学家，以及消息和流计算社区的精英召集在一起。于此盛会，大家分享实践经验、交流想法、探讨关于 Pulsar 项目和社区的知识，切磋互动。大会介绍 Pulsar Summit Aisa 2022 将于 2022 年 11 月 19-20 日于线上举办。大会将分为主论坛和分论坛，汇聚技

腾讯云中间件团队

2022-11-09

8540

腾讯云消息队列产品10月产品动态

kafka 消息队列 CMQ 版消息队列 RocketMQ 版 apache 消息队列 RabbitMQ 版

10月动态消息队列 RocketMQ 版【商业化】消息队列 RocketMQ 版专享集群正式商业化。基于开源RocketMQ打造，兼容社区SDK，具有低延迟、高性能、高可靠、万亿级消息吞吐等特点。专享版于 5 月开始在外部客户侧进行白名单开放和打磨，已经在多个外部客户落地，涉及教育、出行、游戏等多个行业。购买指南： https://cloud.tencent.com/document/product/1493/61589 【新功能】专享集群支持死信消息查询，在消息查询页面，用户可以根据专享集群的 gr

腾讯云中间件团队

2022-11-02

3.3K0

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态