腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯云中间件的专栏

专栏作者

259

文章

323806

阅读量

127

订阅数

数据接入平台(DIP)系列文章之一|功能及架构浅析

tcp/ip 数据湖日志数据大数据消息队列 CKafka 版

导语腾讯云消息队列CKafka推出数据接入平台（Data Import Platform），旨在构建数据源和数据处理系统间的桥梁。为了让开发者们更加深入的了解数据接入平台（DIP），腾讯云消息队列团队将组织系列文章，为大家详解数据接入平台（DIP）的功能及架构。作者简介许文强腾讯高级工程师 Apache Kafka Contributor，腾讯云Kafka和数据接入平台DIP研发负责人。专注于中间件领域的系统设计和开发，在消息队列领域具有丰富的经验。数据实时接入和分析面临的挑战随着大

腾讯云中间件团队

2022-07-19

1.6K0

Message deduplication 这里的去重与你想的可能不一样|Apache Pulsar 技术系列

zookeeper 消息队列 CKafka 版 kafka apache 消息队列 CMQ 版

导语 Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案，支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。腾讯云内部 Pulsar工作组对 Pulsar 做了深入调研以及大量的性能和稳定性方面优化，目前已经在腾讯内部业务TDBank落地上线。本文是Pulsar技术系列中的一篇，主要介绍Pulsar 的 Message Deduplication 特性，供大家参考，避免在使用过程中踩坑。 Message Deduplication背景介绍消息中间件产品设计中，对消

腾讯云中间件团队

2022-01-20

8830

腾讯云CKafka重磅上线DataHub，让数据流转更简便

消息队列 CKafka 版消息队列 CMQ 版 kafka 编程算法 zookeeper

导语随着大数据时代的到来，各大互联网公司对于数据的重视程度前所未有，各种业务对数据的依赖也越来越重。有一种观点认为大数据存在 “3V” 特性：Volume, Velocity, Variety。这三个 “V” 表明大数据的三方面特征：量大，实时和多样。这三个主要特征对数据采集系统的影响尤为突出。多种多样的数据源，海量的数据以及实时高效的采集是数据采集系统主要面对的几个问题。我们想要在数据上创造价值，首先要解决数据获取的问题。因为在互联网发展中，企业内或不同企业之间建立了各种不同的业务系统，这些

腾讯云中间件团队

2021-12-22

1K0

喜报|CKafka荣获可信云消息队列服务稳定性先进级认证

消息队列 CMQ 版 kafka 消息队列 CKafka 版开源 apache

CKafka荣获最高级认证今天，由中国信通院和混沌工程实验室联合举办的混沌工程技术沙龙--金融行业精品专场在北京召开。本次技术沙龙上发布了金融级产品稳定性测评成果，在分布式系统稳定性评估体系的获奖名单中，腾讯云消息队列CKafka通过首批消息队列服务稳定性认证，荣获最高级别“先进级”认证，这项认证肯定了CKafka在数据安全性、系统稳定性上的产品能力和技术实力。根据混沌测试报告显示，CKafka已通过单项故障注入测试（服务器宕机、服务发现故障、服务暂停、网络故障、CPU负载高、内存负载高）和综

腾讯云中间件团队

2021-12-08

1.3K0

11月腾讯云微服务&中间件产品动态

消息队列 CMQ 版消息队列 TDMQ kafka 消息队列 CKafka 版 api

腾讯云中间件 - 微服务团队产品2021年11月简报： API网关：支持参数流控插件、支持自定义响应体插件；支持直通TKE Pod，可通过API网关享受认证鉴权、流量控制、灰度分流等能力。微服务引擎 TSE 注册配置中心：Nacos组件实现客户端与控制台访问内网方式与外网方式解耦，用户自主通过开关控制。微服务引擎 TSE 服务治理中心：PolarisMesh（北极星）治理中心支持多语言服务注册与发现、支持K8s service注册至PolarisMesh（北极星），同时增强了可观测性能力。

腾讯云中间件团队

2021-12-03

1.6K0

避坑指南：Kafka集群快速扩容的方案总结

消息队列 CKafka 版 kafka 微服务数据迁移

导语熟悉Apache Kafka的同学都知道，当Kafka集群负载到达瓶颈或者出现突发流量需要紧急扩容时，新加入集群的节点需要经过数据迁移才能均分集群压力。而数据迁移会因为数据堆积量，节点负载等因素的影响，导致迁移时间较长，甚至出现迁移不动的情况。同时数据迁移也会增大当前节点的压力，可能导致集群进一步崩溃。本文将探讨应对需要紧急扩容的技术方案。作者介绍许文强腾讯高级工程师腾讯云CKafka研发负责人，Apache Kafka Contributor 拥有多年分布式系统研发经验，主要

腾讯云中间件团队

2021-08-23

2.6K0

腾讯云中间件产品月报（2021年第6期）

消息队列 CMQ 版消息队列 CKafka 版 kafka 消息队列 TDMQ serverless

腾讯云中间件 - 微服务团队产品2021年6月简报：微服务平台 TSF 服务监控模块优化，新增微服务网关可扩展性；解决日志模块大索引与索引过多导致日志检索慢、超时问题。消息队列 CKafka 支持partition级别的监控；七月发布预览。消息队列 TDMQ 支持AMQP协议兼容；升级大规模延时消息架构；支持全资源级别的CAM鉴权。微服务引擎 TSE 子账号授权流程优化，默认多可用区部署，默认数据持久化；公网开通，后台监控运维系统发布。弹性微服务TEM 扩展各种场景下的部署管理能力；支持

腾讯云中间件团队

2021-06-30

1.7K0

腾讯云中间件产品月报（2021年第5期）

微服务开源消息队列 CKafka 版消息队列 CMQ 版

腾讯云中间件 - 微服务团队产品2021年5月简报：微服务平台 TSF 优优化用户体验：提供新手入门教程、新功能弹窗提醒、创建应用流程优化；支持全链路灰度发布的泳道中部署组的监控能力。优化监控能力，新增服务监控同环比；优化服务拓扑图，强化TSF监控能力。消息队列 TDMQ 贡献开源代码，对外开源Pulsar RoP 组件，支持开源RocketMQ客户端接入Pulsar；集群版本更新至开源Pulsar 2.7.1，支持Pulsar 2.7.1诸多新特性，并简化接入方式；新版集群去除listene

腾讯云中间件团队

2021-06-02

5980

腾讯云中间件产品月报（2021年第3期）

消息队列 CKafka 版弹性微服务微服务引擎 TSE 微服务平台 TSF 微服务

腾讯云中间件 - 微服务团队产品2021年3月简报：弹性微服务 TEM 新品发布腾讯微服务平台 TSF 支持原生应用无侵入接入；虚拟机部署应用支持存活检查、支持在控制台配置 start 和 stop 脚本；Mesh 应用支持控制台配置服务注册信息；新增 SideCar 运行状态监控；新增资源标签化管理功能消息队列 CKafka 支持设置消息动态保留策略；支持删除消费分组；支持定时升配功能；更多 bug 修复和体验优化腾讯微服务观测台 TSW 新增依赖拓扑图按分层展示功能；新增数据跨地域上报

腾讯云中间件团队

2021-04-01

7190

腾讯云中间件产品月报（2021年第2期）| 文末元宵好礼拼手速

微服务腾讯云微服务引擎 tse 微服务引擎 TSE 消息队列 CKafka 版

腾讯云中间件 - 微服务团队产品2021年2月简报：腾讯云微服务引擎 TSE 邀您内测消息队列 CKafka 支持跨可用区部署；支持实例升配展示进度；专业版全面放开公网路由接入；专业版现已加入免费试用序列邀您开通体验腾讯微服务观测台 TSW 新版本发布邀您内测，新增接口、实例维度的监控、统计、异常分析能力；新增 SQL/NoSQL 分析能力；新增服务依赖拓扑清爽过滤能力；支持调用链详情展示堆栈整理 by 中间件小Q妹产品最新动态 01 腾讯云微服务引擎 TSE ■ 什么是 TSE

腾讯云中间件团队

2021-03-24

8330

独家分享：Kafka集群间信息复制攻略来了！

消息队列 CKafka 版分布式

自2006年以来，曾就职于SonyEricsson、SAP等多家公司，历任软件开发工程师，数据开发工程师，解决方案架构师

腾讯云中间件团队

2021-03-24

1.9K0

腾讯云中间件产品月报（第5期）

jdk 分布式事务 dtf 分布式 go 消息队列 CKafka 版

自今日起，腾讯云中间件产品月报全新改版，每月月报文末都会有留言集赞赢礼品的活动，欢迎各位小伙伴积极参与，腾讯公仔等你来拿！

腾讯云中间件团队

2021-03-24

1.2K0

腾讯云消息队列 CKafka 监控最佳指南

消息队列 CMQ 版消息队列 CKafka 版 kafka

导语：本文介绍了腾讯云消息队列 CKafka 监控的最佳实践指南，帮助开发者免除繁琐的运维工作，并快速发现问题，提高工作效率。

腾讯云中间件团队

2021-03-24

2.9K0

腾讯云中间件产品月报（第1期）

分布式 kafka 消息队列 CKafka 版消息队列 CMQ 版任务调度

科技是推动社会发展的重要动力，技术是推动行业发展的重要支撑力量。为便于读者了解腾讯云中间件产品的最新动态，腾讯云中间件推出产品月报专栏，每月一期。本月的三项动态如下：

腾讯云中间件团队

2021-03-24

1K0

Kafka集群突破百万partition 的技术探索

html kafka 消息队列 CKafka 版

导语：本篇文章主要从元数据，controller 逻辑等方面介绍了如何解决支撑百万 partition 的问题，运营大规模集群其实还涉及到磁盘故障、冷读、数据均衡等数据方面的问题，监控和报警服务同样非常的重要。（编辑：中间件小Q妹）

腾讯云中间件团队

2021-03-24

2860

揭秘Kafka的硬盘设计方案，快速完成PB级数据扩容需求！

kafka 消息队列 CKafka 版存储云硬盘

导语：疫情期间，腾讯医疗为全国人民提供了及时精准的疫情信息服务。腾讯云kafka作为腾讯医疗大数据架构中的关键组件。在面对业务短时间内成倍的数据存储需求的情况下，如何快速响应、快速扩容以支持业务的稳定运行的呢本文将从Kafka集群底层物理机层面硬盘的设计方案，来讲解面对不同的业务需求场景，如何选择好合适的磁盘方案。（编辑：中间件小Q妹）

腾讯云中间件团队

2021-03-24

1K0

腾讯课堂百万师生同时在线，如何实现消息的稳定互动？

在线课堂消息队列 CMQ 版 kafka 消息队列 CKafka 版 node.js

导语：疫情期间，为了保障国内学子的正常学习进度，腾讯课堂积极响应国家“停工不停学”的号召，紧急上线疫情期间专用的“老师极速版”，使广大师生足不出户，即可快速便捷的完成线上开课。面对线上课堂百万量级的互动消息，如何保证消息的实时性和准确性无疑是一个技术挑战。那么如何解决问题呢？接下来，就和小编一起来看看腾讯云中间件CKafka如何为腾讯课堂百万级消息提供技术支撑。（编辑：中间件小Q妹）

腾讯云中间件团队

2021-03-24

1.4K0

蘑菇街千亿级消息Kafka上云实践

消息队列 CKafka 版 kafka 消息队列 CMQ 版 zookeeper

导语：Apache Kafka凭借其高吞吐、高可靠等特性在实时数据或流式数据架构中扮演着重要角色，受到了众多企业用户的青睐。但是随着云时代来临，公有云厂商纷纷推出消息队列服务，很多用户也逐渐从自建消息集群过渡到使用云上消息队列服务。本文将以蘑菇街Kafka服务迁移上云为例，阐述腾讯云消息队列CKafka如何对用户产生价值。（编辑：中间件小Q妹）

腾讯云中间件团队

2020-01-14

1.3K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态