首页标签消息队列 CKafka

#消息队列 CKafka

分布式的高吞吐量高可扩展性的消息系统

自建kafka迁移到云上Ckafka整体方案

邓愉悦

3. CKafka 消费端新起消费者,配置新的 CKafka 集群的 bootstrap-server,消费新的 CKafka 集群。

206110

【技术种草】CKafka调优笔记 消费堆积 服务CPU未跑满应该如何解决?

大鹅

腾讯 · 后台开发 (已认证)

Proxy服务负责消费CKafka消息并解析,并分发消息至不同的CKafka topic。近期发现Proxy服务消费CKafka有消息堆积,且服务所在CVM C...

231143

Ckafka 实现跨可用区容灾部署案例

邓愉悦

CKafka 专业版支持跨可用区部署,在拥有3个或3个以上可用区的地域购买 CKafka 实例时,可以任选其中两个可用区购买跨可用区实例。该实例分区副本会强制分...

7040

kafka丢失和重复消费数据

美食江湖

Kafka作为当下流行的高并发消息中间件,大量用于数据采集,实时处理等场景,我们在享受他的高并发,高可靠时,还是不得不面对可能存在的问题,最常见的就是丢包,重发...

9620

kafka压测工具及实践指南

邓愉悦

并发压测topic所有partition,比如topic ods_finder_log_19501_sec_i 总共300个partition,用20台机器压测...

18030

容灾案例:Kafka集群快速扩容的方案总结

邓愉悦

熟悉Apache Kafka的同学都知道,当Kafka集群负载到达瓶颈或者出现突发流量需要紧急扩容时,新加入集群的节点需要经过数据迁移才能均分集群压力。而数据迁...

20350

消息中间件之Kafka集群跨区容灾迁移实践案例

邓愉悦

Kafka作为当今一款最为流行的高性能消息中间件,确保其高可用性并具备跨区容灾能力是很多企业运维人员的职责之一。现在我们将我们平时帮客户做kafka集群跨区容灾...

20671

6、深潜kafka-consumer——consumer rebalance 协议详解

杨四正

在开始分析 KafkaConsumer 的具体实现之前,我们先来介绍一下 KafkaConsumer 涉及到的一些基础理论。在第一课时介绍 Consumer G...

30200

大数据开发:Kafka延迟队列

成都加米谷大数据

Kafka作为实时消息队列的一个重要框架,在大数据技术架构搭建层面,越来越得到重用。相应的,Kafka在大数据技术生态当中的地位,也越来越重要。今天的大数据开发...

48830

kafka0.10.1.0客户端导致0.9Server僵死问题排查

皮皮熊

腾讯 · 高级工程师 (已认证)

此时客户端发往服务端的请求是处于异常阶段,如果不能快速恢复的话,存在数据丢失的风险。

22140

阿里资深架构师仅用8个知识点带你参透Kafka!

Java程序猿

Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以...

16920

kafka消费组信息采集异常(hang住)排查

皮皮熊

腾讯 · 高级工程师 (已认证)

小组同学在使用kafka官方工具kafka-consumer-groups.sh批量导集群消费组详情时,发现某一个集群基于broker的某些消费组会出现异常,主...

55870

通过kafka/flink加载MySQL表数据消费 快速安装配置

用户7689089

说明:对于数据迁移工具来说,好多封装了kafka和flink的,出于好奇,个人试着去下载了一下kafka和flink试着部署一下,本次就简单的记录一下安装过程,...

29310

【玩转腾讯云】记一次容器服务日志处理过程

KaliArch

上海安畅网络科技有限公司 · Devops工程师 (已认证)

在目前小程序为主的大背景下,有客户大部分业务在腾讯云,使用的大部分为容器服务,在大规模的使用容器下,需要对容器内业务的日志采集及分析,在腾讯云对应容器服务的日志...

29310

TVP专家谈鹅厂中间件:创新前行 遇见未来

TVP官方团队

腾讯 · 产品经理 (已认证)

导语 | 3月21日,腾讯云TVP团队倾力打造的「TVP吐槽大会」第四季——腾讯云中间件专场落下帷幕,微服务和消息队列领域的资深TVP们在深度体验腾讯云中间件产...

19220

独家分享:Kafka集群间信息复制攻略来了!

腾讯云中间件团队

自2006年以来,曾就职于SonyEricsson、SAP等多家公司,历任软件开发工程师,数据开发工程师,解决方案架构师

57780

详解分布式锁原理

DB之路

首先分布式锁和我们平常讲到的锁原理基本一样,目的就是确保,在多个线程并发时,只有一个线程在同一刻操作这个业务或者说方法、变量。在一个进程中,也就是一个jvm或者...

11100

详解Kafka之谜

DB之路

这是性能优化的第一原则,当我们怀疑性能有问题的时候,应该通过测试,日志,profillig 来分析出哪里有问题,有的放矢,而不是凭感觉,撞运气。有可能是CPU,...

8710

腾讯云中间件产品面对疾风吧——TVP吐槽大会第4期

腾小云

为了更好地服务使用微服务架构进行软件设计的企业,腾讯云中间件产品基于腾讯在微服务、消息队列领域多年的技术积累,提供了功能强大、兼容并包、生态开放的云原生分布式微...

14740

腾讯云中间件产品面对疾风吧——TVP吐槽大会第4期

TVP官方团队

腾讯 · 产品经理 (已认证)

为了更好地服务使用微服务架构进行软件设计的企业,腾讯云中间件产品基于腾讯在微服务、消息队列领域多年的技术积累,提供了功能强大、兼容并包、生态开放的云原生分布式微...

27780

扫码关注云+社区

领取腾讯云代金券