#Kafka

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。

聊聊在springboot项目中如何配置多个kafka消费者

lyb-geek

不知道大家有没有遇到这样的场景,就是一个项目中要消费多个kafka消息,不同的消费者消费指定kafka消息。遇到这种场景,我们可以通过kafka的提供的api进...

6220

kafka系统了解

在下是首席架构师

6020

kafka安装部署

liliane

腾讯 · 后台开发 (已认证)

在kafka官网下载安装包:http://kafka.apache.org/ 解压安装 配置path环境变量 进入kafka文件夹,启动zookeeper: z...

9160

RabbitMQ GUI客户端工具(RabbitMQ Assistant)

用户3871926

RabbitMQ 是一个开源消息代理软件(有时称为面向消息的中间件),它最初实现了高级消息队列协议 (AMQP),后来扩展了一个插件架构以支持流式文本消息传递协...

10700

kafka小结以及搭建

用户8540127

kafka基本知识:https://km.woa.com/group/51596/articles/show/480932?from=iSearch

10430

最全Kafka核心技术学习笔记

星沉

腾讯 · 后台开发 (已认证)

B :kafka的水位概念:kafka的水位不是时间戳,与时间无关。他是和位置信息绑定的,它是用消息位移来表征的。 Kafka源码使用的表述是高水位。在Kafk...

16610

ClickHouse For Kafka

jasong

腾讯 · 高级工程师 (已认证)

可以看到ClickHouse 内置Kafka 消费引擎,不需要我们业务方写新的消费程序,再往ClickHouse 导入数据

281102

Kafka 负载均衡在 vivo 的落地实践

2020labs小助手

vivo · 技术编辑 (已认证)

无论是生产者还是消费者,Kafka 客户端内部已经帮我们做了负载均衡了,那我们还有讨论负载均衡的必要吗?答案是肯定的,因为Kafka负载不均的主要问题存在于服务...

8220

聊聊如何实现一个带幂等模板的Kafka消费者

lyb-geek

不知道大家有没有这样的体验,你跟你团队的成员,宣导一些开发时注意事项,比如在使用消息队列时,在消费端处理消息时,需根据业务场景,考虑一下幂等。后面走查代码的时,...

10920

Kafka 万亿级消息实践之资源组流量掉零故障排查分析

2020labs小助手

vivo · 技术编辑 (已认证)

为了让读者能与小编在后续的问题分析中有更好的共鸣,小编先与各位读者朋友对齐一下我们 Kafka 集群的部署架构及服务接入 Kafka 集群的流程。

6820

精华!一张图进阶 RocketMQ

三此君

本文是《一张图解析 RocketMQ》系列的第 1 篇,今天的内容主要分为三个部分:

16830

Kafka GUI客户端、可视化管理工具——Kafka Assistant

用户3871926

使用过kafka的小伙伴应该都知道kafka本身是没有管理界面的,所有操作都需要手动执行命令来完成。但有些命令又多又长,如果没有做笔记,别说是新手,就连老手也不...

1.4K42

kafka 保证分区数据顺序

用户6327222

13720

kafka源码之旅------Kafka元数据管理

conanma

我们往kafka集群中发送数据的时候,kafka是怎么感知到需要发送到哪一台节点中呢?其实这其中的奥秘就在kafka的Metadata中。这一篇我们就来看看ka...

11840

Kafka QUICKSTART

conanma

Kafka是一个分布式的事件流平台,可以让你跨多台机器读、写、存储和处理事件(在文档中也称为记录或消息)。

9920

Kafka副本机制详解

conanma

这些优点都是在分布式系统教科书中最常被提及的,但是有些遗憾的是,对于 ApacheKafka 而言,目前只能享受到副本机制带来的第 1 个好处,也就是提供数据冗...

12030

消息队列之kafka的重复消费

conanma

Kafka 是对分区进行读写的,对于每一个分区的消费,都有一个 offset 代表消息的写入分区时的位置,consumer 消费了数据之后,每隔一段时间,会把自...

16140

kafka拦截器实现队列插队效果

conanma

是早在Kafka 0.10.0.0中就已经引入的一个功能,Kafka一共有两种拦截器:生产者拦截器和消费者拦截器。

8420

消息队列之kafka-服务端

conanma

kafka依赖于ZooKeeper,如果以单机模式调试kafka,需要确保本机已经安装了ZooKeeper,并处于启动状态。

10540

如何把Kafka消息时延秒降10倍

conanma

如上图所示是模拟客户的业务网页构建的一个并发访问模型。用户在页面点击从而产生一个HTTP请求,这个请求发送到业务生产进程,就会启动一个投递线程(Deliver ...

13860

扫码关注腾讯云开发者

领取腾讯云代金券