专栏首页运维之美28 张图带你体系化全面认识 Kafka

28 张图带你体系化全面认识 Kafka

Kafka 是主流的消息流系统,其中的概念还是比较多的,下面通过图示的方式来梳理一下 Kafka 的核心概念,以便在我们的头脑中有一个清晰的认识。

基础

Kafka 是一套流处理系统,可以让后端服务轻松的相互沟通,是微服务架构中常用的组件。

生产者消费者

生产者服务 Producer 向 Kafka 发送消息,消费者服务 Consumer 监听 Kafka 接收消息。

一个服务可以同时为生产者和消费者。

Topics 主题

Topic 是生产者发送消息的目标地址,是消费者的监听目标。

一个服务可以监听、发送多个 Topics。

Kafka 中有一个【consumer-group(消费者组)】的概念。

这是一组服务,扮演一个消费者。

如果是消费者组接收消息,Kafka 会把一条消息路由到组中的某一个服务。

这样有助于消息的负载均衡,也方便扩展消费者。

Topic 扮演一个消息的队列。

首先,一条消息发送了。

然后,这条消息被记录和存储在这个队列中,不允许被修改。

接下来,消息会被发送给此 Topic 的消费者。

但是,这条消息并不会被删除,会继续保留在队列中。

继续发送消息。

像之前一样,这条消息会发送给消费者、不允许被改动、一直呆在队列中。

(消息在队列中能呆多久,可以修改 Kafka 的配置)

Partitions 分区

上面 Topic 的描述中,把 Topic 看做了一个队列,实际上,一个 Topic 是由多个队列组成的,被称为【Partition(分区)】。

这样可以便于 Topic 的扩展。

生产者发送消息的时候,这条消息会被路由到此 Topic 中的某一个 Partition。

消费者监听的是所有分区。

生产者发送消息时,默认是面向 Topic 的,由 Topic 决定放在哪个 Partition,默认使用轮询策略。

也可以配置 Topic,让同类型的消息都在同一个 Partition。

例如,处理用户消息,可以让某一个用户所有消息都在一个 Partition。

例如,用户1发送了3条消息:A、B、C,默认情况下,这3条消息是在不同的 Partition 中(如 P1、P2、P3)。

在配置之后,可以确保用户1的所有消息都发到同一个分区中(如 P1)。

这个功能有什么用呢?

这是为了提供消息的【有序性】。

消息在不同的 Partition 是不能保证有序的,只有一个 Partition 内的消息是有序的。

架构

Kafka 是集群架构的,ZooKeeper是重要组件。

ZooKeeper 管理者所有的 Topic 和 Partition。

Topic 和 Partition 存储在 Node 物理节点中,ZooKeeper负责维护这些 Node。

例如,有2个 Topic,各自有2个 Partition。

这是逻辑上的形式,但在 Kafka 集群中的实际存储可能是这样的:

Topic A 的 Partition #1 有3份,分布在各个 Node 上。

这样可以增加 Kafka 的可靠性和系统弹性。

3个 Partition #1 中,ZooKeeper 会指定一个 Leader,负责接收生产者发来的消息。

其他2个 Partition #1 会作为 Follower,Leader 接收到的消息会复制给 Follower。

这样,每个 Partition 都含有了全量消息数据。

即使某个 Node 节点出现了故障,也不用担心消息的损坏。

Topic A 和 Topic B 的所有 Partition 分布可能就是这样的:

感谢阅读,希望对你有所帮助 :)

翻译整理自:

https://timothystepro.medium.com/visualizing-kafka-20bc384803e7

本文分享自微信公众号 - 运维之美(Hi-Linux),作者:Timothy Stepro

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2021-05-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 万字总结,体系化带你全面认识 Nginx !

    作为一名前端开发人员,你是不是经常碰到领导让你上服务器去修改 Nginx 配置,然而你会以“我是前端,这个我不会”为理由搪塞过去呢!今天就让我们一起告别这种尴尬...

    iMike
  • 万字总结,体系化带你全面认识 Linux 系统安全强化

    本指南旨在说明如何尽可能地加强 Linux 的安全性和隐私性,并且不限于任何特定的指南。

    iMike
  • 一文带你全面认识Excel催化剂系列功能

    因插件功能大部分是本人过去在工作中曾经开发过或曾经构想过在工作场景中有较大的使用率,同时也是其他主流插件未提供或提供的功能使用上略有欠缺的。

    心莱科技雪雁
  • 一文带你全面认识Excel催化剂系列功能

    因插件功能大部分是本人过去在工作中曾经开发过或曾经构想过在工作场景中有较大的使用率,同时也是其他主流插件未提供或提供的功能使用上略有欠缺的。

    BI佐罗
  • 李伟坚(Excel催化剂):带你全面认识《Excel催化剂》系列功能

    本次要介绍的是一款名叫《Excel催化剂》的 Excel 插件,也是目前国内技术含最高的 Excel 插件,共计80大类300个细分功能、180个自定义函数,涉...

    寒树Office与RPA
  • 陈新宇:CKafka在人脸识别PAAS中的应用

    我叫陈新宇,在格灵深瞳负责数据流的研发,首先特别感谢如今老师,他们把Kafka一个优秀的消息中间件写出来,也感谢腾讯云做了调优工作,现在就该到我们这些做应用的人...

    云加社区技术沙龙
  • 最全 14 张思维导图,带你构建 Python 编程的核心知识体系!

    本文是文末的号分享的主要涵盖了 Python 编程的核心知识(暂不包括标准库及第三方库)。

    开发者技术前线
  • 最全 14 张思维导图,带你构建 Java 编程思想的核心知识体系!

    没想到会有很多人留言要这个思维导图,一一回复有点累,放在 Github 上,方便大家下载。文章中的截图,并没有详尽说明这个思维导图笔记,比如很多note是没有截...

    开发者技术前线
  • 【真荐书】双11书单,我们一起共读 36 + 1 本书

    《Redis开发与运维》全面讲解 Redis 基本功能及其应用,并结合线上开发与运维监控中的实际使用案例,深入分析并总结了实际开发运维中遇到的“陷阱”,以及背后...

    kirito-moe

扫码关注云+社区

领取腾讯云代金券