首页
学习
活动
专区
圈层
工具
发布

#kafka

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。

公交App上“还有2站,约5分钟”怎么实现?90%的人答错这道大厂面试题:GPS漂移、ETA不准、10万QPS热点读全拆透(附完整代码)

Rain的Java大神之路

这也是大厂后端面试的高频场景设计题:GPS 漂移、消息乱序、热点读放大、ETA 不准,个个是坑。本篇文章,从需求对齐、架构设计、数据模型讲到核心代码,建议先收藏...

19910

DataGrip 中查看 ES 文档、Kafka 消息与 Nacos 配置的操作记录

用户10976269

DataBridge 是我维护的 DataGrip 插件。它支持 Elasticsearch、Kafka、ZooKeeper、RabbitMQ、Nacos、Mi...

12010

Kafka 怎么保证消费只消费一次的?

程序员皮皮林

先说结论:Kafka 默认只能保证 At Least Once(至少一次,不丢但可能重复),“只消费一次”需要开发者在消费端做额外设计。

13210

【Kafka 源码手记】05 Broker 网络层与请求处理(上):线程全景、Acceptor 与安全握手

RobinXYuan

上一篇结尾,那条穿过 L4 代理的 MetadataRequest 终于抵达 Broker。门内发生了什么?谁来 accept 这条 TCP 连接、TLS 与 ...

13310

【Kafka 源码手记】04 客户端如何找到 Broker

RobinXYuan

上一篇结尾留下了一条悬念:Producer 「查元数据缓存」查到的那些 Leader 位置,最初是从哪来的?bootstrap.servers 明明只写了一个地...

14210

【Kafka 源码手记】03 Kafka 架构总览

RobinXYuan

上一篇我们聊了 Kafka Log 的结构,结尾留了一个问题:单机的 Log 设计得再优秀,受制于单机存储容量上限,一台机器难以装下一个公司的活动数据,也无法做...

11400

别再上来就堆 Redis!点赞系统从打挂数据库到 18w 写峰值,我把这套方案讲透了

Rain的Java大神之路

爆款视频瞬间涌进几十万点赞,按钮卡 3 秒,数据库行锁排到爆——这场景我真遇到过。这篇文章把高并发点赞&关注的完整方案讲透:瓶颈定位、架构演进、生产级代码、踩坑...

25910

百万并发直播弹幕系统设计全解:看懂了扇出,你就看懂了高并发的八成

Rain的Java大神之路

主播一句“来波 666”,背后是每秒十万级写入、一条弹幕送达百万人的残酷现实。逐条推送?10 万 QPS × 100 万在线 = 100 亿次/秒,物理上不可能...

23510

【Kafka 源码手记】01 从消息队列到 Event Streaming

RobinXYuan

写这个系列之前,我觉着有必要先搞清楚一件事:Kafka 出现之前,世界是什么样的。2010 年 LinkedIn 着手做 Kafka 的时候,ActiveMQ ...

11400

【Kafka 源码手记】01 从消息队列到 Event Streaming

RobinXYuan

写这个系列之前,我觉着有必要先搞清楚一件事:Kafka 出现之前,世界是什么样的。2010 年 LinkedIn 着手做 Kafka 的时候,ActiveMQ ...

11400

开源数据库管理工具 CloudDM 支持 Kafka、SAP HANA 数据源

ClouGence

CloudDM 是一款免费且开源的团队化数据库管理工具,提供统一 Web 数据库访问、权限控制、数据脱敏、SQL 审核、流程协同和数据库 CI/CD 等能力。

9100

Kafka生产端实际项目中的使用分析

静儿

Kafka原理和使用的文章网上很多了,这里只做总体性的概述,拉齐下知识背景。不是本文的重点。

13210

Kafka消费端怎样保证消息不丢失?真正的处理方式其他文章中竟然没有见过

静儿

之前kafka消费端采用的是standalone模式,使用的是单分片。消费端指定分片0。使用了zookeeper进行选主。只在主节点进行消费。这个选主的过程要几...

13310

Iceberg 把删除重做了三遍,v3 这一遍才算做完

用户12788355

九月底,Apache Iceberg 的 dev 邮件列表上挂出一个投票,标题是 [VOTE][SPEC] Forbid writing new equalit...

14810

Kafka 接入 AI 的三条路线:第一方 MCP Server 提案、Streams 会话记忆、Flink SQL 实时上下文,附选型对比与权限清单

程序员天天困

翻 Kafka 4.3 发布公告时我愣了一下:致谢名单里写着 Claude、Claude Sonnet 4.6 和 Copilot。一个消息队列的版本发布,贡献...

18510
领券