专栏首页SAMshare一起揭开 Kafka 的神秘面纱

一起揭开 Kafka 的神秘面纱

Kafka是由Servers(服务器)Clients(客户端)组成的高吞吐量分布式发布订阅消息系统,可以部署在裸机、虚拟机以及云环境上。在我们接触的很多业务场景中都会看到很多Kafka的身影,今日来给大家分享一下Kafka的基本概念以及整体框架情况,首先先来了解一下几个专业名词。

Servers:Kafka作为一个集群运行在一个或多个服务器上,把一些服务器作为storage layer(存储层),称之为brokers,其他服务器则运行 Kafka Connect 去持续性地对数据以事件流的形式进行导出导入,与现有的系统进行交互集成。

Clients:允许我们编写分布式应用程序以及微服务,并行地读取、处理、写入大规模的事件流。

Producers:把事件publish(写入)到Kafka的客户端应用。

Consumers:从Kafka内subscribe(读或者处理)事件的客户端应用。

Topics:为了分门别类,把相关主题的事件数据都放在一起,可以简单理解Topics为文件夹,event就是里面的文件,一个Topic允许有0个、1个或多个Producers或Consumers。

Consumer Group:每个Consumer属于一个特定的Consumer Group,同时记得一个Group内的Consumer数量不要大于分区数量,因为1个Consumer可以消费多个分区,但1个分区只能给1个Consumer消费

Kafka的整体架构图可以看看下图:

Kafka-打横看高清图

Reference

  1. Kafka官方文档

http://kafka.apache.org/

本文分享自微信公众号 - SAMshare(gh_8528ce7b7e80),作者:Samshare

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2021-10-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 一起揭开 YARN 的神秘面纱

    我们知道MapReduce1.0,是把计算框架和资源调度框架都弄在一起了,所以Master端的JobTracker会大包大揽去执行任务,存在很多问题,比如资源分...

    Sam Gor
  • 一起揭开 PySpark 编程的神秘面纱

    Spark 是 UC Berkeley AMP lab 开发的一个集群计算的框架,类似于 Hadoop,但有很多的区别。最大的优化是让计算任务的中间结果可以存储...

    Sam Gor
  • 一起揭开 PySpark 编程的神秘面纱

    在开始讲解PySpark程序启动原理之前,我们先来了解一下Spark的一些概念和特性。

    Python数据科学
  • 一起揭开 Hive 编程的神秘面纱

    Hadoop实现了一个特别的计算模型,就是MapReduce,可以将我们的计算任务分拆成多个小的计算单元,然后分配到家用或者服务器级别的硬件机器上,从而达到降低...

    Sam Gor
  • 揭开Spark Streaming神秘面纱⑥ - Spark Streaming结合 Kafka 两种不同的数据接收方式比较

    DirectKafkaInputDStream 只在 driver 端接收数据,所以继承了 InputDStream,是没有 receivers 的

    codingforfun
  • 揭开神秘的面纱

    打开f12检查页面后,刷新一下页面,点击Network,再点击下面的XHR,查看动态数据,会发现如下图所示,有两行数据。

    公众号guangcity
  • 让我们一起揭开算法的神秘面纱

    其实我一直想写一篇揭秘算法的文章,因为,据我所见,大多数写算法的软件工程师,其实,就是普通程序员,并非高人一等。

    Kiba518
  • 揭开NFV神秘的面纱

    网络功能虚拟化(NFV)的正确实现,还需一段时间的研究与发展,因为NFV不仅要实现自动化、融合于现有的管理系统中,还需要更加的轻便。 ? NFV能够采用简单易用...

    SDNLAB
  • 揭开GANs的神秘面纱

    这篇文章中,作者通过将生成对抗网络(GANs,以下均简称GANs)运用到图片生成任务中向我们解释了其的原理。GANs是无监督学习中少有的成功的技术,一经提出,将...

    昱良
  • 揭开 LVS 神秘的面纱

    耕耘实录
  • 揭开HTTPS的神秘面纱

    在说HTTP前,一定要先介绍一下HTTP,这家伙应该不用过多说明了,大家每天都在用,每一次HTTP请求,都是一次TCP连接。遗憾的是,请求的内容在TCP报文中是...

    烟草的香味
  • 揭开 Kubernetes 的神秘面纱

    “容器”已成为最新的流行语之一。但是,这个词到底意味着什么呢?说起“容器”,人们通常会把它和 Docker 联系起来,Docker 是一个被定义为软件的标准化单...

    用户8639654
  • 揭开 Monad 的神秘面纱

    我们知道 Swift 语言支持函数式编程范式,所以函数式编程的一些概念近来比较火。有一些相对于OOP来说不太一样的概念,比如 Applicative, Func...

    JoeyBlue
  • 揭开MySQL“锁”的神秘面纱

    在实验环境MySQL5.6、存储引擎:InnoDB中,揭开“锁”的神秘面纱,捋一捋我对这几个概念的想法

    孙玄@奈学教育
  • 揭开神经网络的神秘面纱

    未经训练的神经网络模型很像新生儿: 他们被创造出来的时候对世界一无所知(如果考虑到认识论理论的话),而且只有通过接触这个世界,也就是后天的知识,才会慢慢提高它们...

    商业新知
  • 一文揭开AI芯片的神秘面纱

    今天一朋友咨询我AI芯片怎么样?我是搞软件的,历来计算机系专业学生里搞软件的不懂硬件,但是要聊到AI芯片,它真的很简单,哈哈。

    用户1594945
  • 带你揭开WebSocket的神秘面纱!

    在揭开webSocket的神秘面纱之前,有言在先,我在写文章之前对webSocket一无所知,由于公司业务用到,故此研究记录一下,班门弄斧之处,请大佬批评指正...

    用户7413032
  • Spark Streaming + Kakfa 编程指北

    本文简述如何结合 Spark Streaming 和 Kakfa 来做实时计算。截止目前(2016-03-27)有两种方式:

    codingforfun
  • 一文揭开操作系统的神秘面纱

    在如今的世界里,绝大多数人都会对Windows,Linux及MacOS等操作系统有一定的使用经验,但是很多时候对操作系统本身并没有太多感知。毕竟与用户直接打交道...

    Bug开发工程师

扫码关注云+社区

领取腾讯云代金券