Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。
前段时间,知识星球里一位同学给我分享了他对消息队列的理解,并且用一个故事形象的表述了消息队列的作用。看完他的表述,我觉得用故事来描述技术组件作用的方式很有意思,...
针对问题2,kafka 提供两类消息发送方式:同步(sync)发送和异步(async)发送,trpc-go 框架中kafka插件相关参数如下:
了解网络安全供应商 SecurityScorecard 如何利用数据流来增强其业务能力。
当前小红书消息引擎团队与 AutoMQ 团队正在深度合作,共同推动社区建设,探索云原生消息引擎的前沿技术。本文基于 OpenMessaging 框架,对 Aut...
Kafka 高水位(简称 HW)是 Kafka 中非常重要的一个概念,今天来聊一聊 HW。
ckafka这个消费者参数配置后, 为什么Kafka rebalance时间好长, 超过一个小时 还没有完成
Kafka 的消息存储会按照该 Topic 的 Partition 进行保存,即每个 Partition 都有属于自己的日志,在 Kafka 中被称为分区日志(...
消息队列老大哥Kafka在官网的介绍是这么说的,真是霸气:全球财富前100强公司有超过80%信任并使用Kafka。Kafka目前在GitHub目前也已经有sta...
众所周知,Kafka是一个开源分布式事件流平台,尤其以高吞吐、低延迟著称,并且已经被数千家企业用于高性能数据管道、流分析、数据集成和核心业务应用程序。
周五晚上电话轰炸,驻场人员反映某公安厅数据上报业务故障。究其原因是数据域Kafka集群不可用。经过排查发现虽然Kafka集群设置了3天数据过期时间(且Topic...
至此,kafka数据的端到端延迟的详细内容阐述完成。对于低延迟需求的kafka数据传输的调优提供思路!
本文详细讲述clickhouse-kafka-connect项目“有且仅有一次”语义的实现方案和案例实践总结。该项目基于Kafka connect框架和Clic...
在这篇文章中,我们将探讨Apache Kafka中关于消息顺序的挑战和解决方案。在分布式系统中,按正确顺序处理消息对于维护数据的完整性和一致性至关重要。虽然Ka...
注意:zookeeper默认占用端口号:2181,kafka占用9092,注意跑之前看看端口是否被占用,否则出现端口冲突问题。
Kafka是一种分布式的流处理平台,它通过文件存储机制来保证数据的可靠性,高效性和可扩展性。
第一次运行docker-compose会先下载obsidiandynamics/kafka和obsidiandynamics/kafdrop镜像,随后启动容器。
当我们使用一个软件的时候,经常都会问这个软件怎么监控、监控他的哪些指标?Kafka 的监控挺长时间都是一个老大难的问题,社区在监控方面一直没有投入太大的精力。如...
This is just a test setting of OAUTHBEARER for kafka.
只能另寻他法,之前不是刚在宿主机上安装了一个kafka客户端吗,我们可以修改客户端里面的配置文件,然后放到配置文件目录下,替换不就ok了吗。如果没有客户端,将k...