首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

再谈卡夫卡Kafka

再谈卡夫卡Kafka

大家好,这一期呢,我们再继续来研究一下卡夫卡Kafka。

有一期我们粗略的谈了一下Kafka的特点和工作方式。这一期我们先来谈一下Kafka里面的一些基本的概念。

Producer即生产者, 是那些向卡夫卡发送消息的应用程序。这里的消息是指包含小型到中型大小的数据块的包裹。

打个比方说,你如果想向卡夫卡发送一个文本文件的话。首先你需要一个生产者应用程序,这个应用程序发送的消息,就是包含这个文件一行行的字节数据。直至把整个文件发送完成。

另外一个例子就是对数据库的访问。你可以用生产者应用程序,发送包含每行数据的消息,直至发送完成整个查询。

Consumer即消费者,是那些接收Kafka发送过来的消息的应用程序。

相信到这里你也看出来了,Kafka的生产者不会直接向消费者发送消息。

换句话就是生产者不知道哪些消费者会使用自己发送的数据,而消费者只需要知道找卡夫卡要数据就可以了。

以上面的文本文件传输为例,消费者程序会从消息中读取一行一行的数据,直到没有后续消息发送过来。

Broker即经纪人,就是卡夫卡的服务器, 这个角色就是从生产方接收数据,然后向接受方发送出去。

Cluster即集群,是一组完成共同目标的计算机。这是一个分布式系统的概念。在整套系统中会有多个卡夫卡的服务器也就是经纪人。而负责管理这些经纪人的我们称之为zookeeper,就像动物园的管理员一样。

Topic即为主题,是用来标记数据的唯一性。比方说消费者向卡夫卡要数据。卡夫卡无法提供数据,因为不知道消费者要什么数据。卡夫卡可能在管理很多的生产者,所以当消费者索要数据的时候必须指明什么样的数据是他想要的。这就是为什么必须在消息中设定topic的原因。

Topic的特点是唯一性,他可能是一个随机数,也可能是一个guid。

多个生产者可能发出具有相同topic信息,当然了,也可能多个消费者来处理具有相同topic的信息。

Partition即分区,分区的概念就是当一段数据非常庞大的时候,需要把它分成几个部分,然后把这几部分分发给不同的计算机, 而卡夫卡本身它就是一个计算机集群。

分区的数量不是由卡夫卡集群来决定的,而是由我们自己来决定的。在创建一个topic的时候,就制定了是否要进行分区,以及分多少个区。

这些分区发送出去以后会分别保存在不同的服务器上。这些小的分区在单独的服务器上,以后不能再进行分解。

Offset即位移,就是在分区中设定的序列号,这些号码一旦设定,不会被改变。

我们在定位一个消息的时候,我们需要三个要素:一个是主题名字,一个是分区号,一个是位移也就是序号。

Consumer groups即消费者组,是指一组消费者表现为一个单独的逻辑单元。当我们有多个生产者在提供数据,同时卡夫卡这边有多个服务器在存储数据和分发数据的时候,消费者这边也要相应的提供多个计算机来处理这样庞大的数据流,打个比方说,kafka的集群发来了100个分区,我们可以让消费者的每台电脑处理两个分区,这样我们需要50个消费者作为一个整体。如果每个消费者可以处理10个分区,那我们只需要10个消费者作为一组就可以了。

如果每个消费者只处理一个分区的话,那我们在这个组里需要100个消费者了。

这里有一个细节我们需要注意,卡夫卡系统是不允许两个消费者读取一个分区的。这个限制主要是防止重复读取同一块数据。

以上是我对这个话题一点心得看法。仅供参考,欢迎讨论, 欢迎拍砖。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20190826A0C32Z00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券