Kafka可以说是必知必会的了，首先面试大数据岗位的时候必问kafka，甚至现在java开发岗位也会问到kafka一些消息队列相关的知识点。先来看看有哪些最新的Kafka相关面试点：
1.1 Introduction Kafka is a distributed streaming platform. What exactly does that mean? kafka是一个分布式
我们知道，生产者发送消息到主题，消费者订阅主题（以消费者组的名义订阅），而主题下是分区，消息是存储在分区中的，所以事实上生产者发送消息到分区，消费者则从分区读取消息，那么，这里问题来了，生产者将消息投递到哪个分区？消费者组中的消费者实例之间是怎么分配分区的呢？接下来，就围绕着这两个问题一探究竟。
--bootstrap-server，连接的Kafka Broker主机名称和端口号。
Kafka的前身是由LinkedIn开源的一款产品，2011年初开始开源，加入了 Apache 基金会，2012年从 Apache Incubator 毕业变成了 Apache 顶级开源项目。同时LinkedIn还有许多著名的开源产品。如：
kafka是一个分布式的，支持多分区、多副本，基于 Zookeeper 的分布式消息流平台，它同时也是一款开源的基于发布订阅模式的消息引擎系统。
本篇主要介绍kafka的分区和副本，因为这两者是有些关联的，所以就放在一起来讲了，后面顺便会给出一些对应的配置以及具体的实现代码，以供参考~
JMS干什么用：用来异构系统 集成通信，缓解系统瓶颈，提高系统的伸缩性增强系统用户体验，使得系统模块化和组件化变得可行并更加灵活
Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每个实例(server)成为broker。无论是kafka集群，还是producer和consumer都依赖于zookeeper来保证系统可用性集群保存一些meta信息。
分区中的所有副本统称为 AR（Assigned Replicas）。所有与 leader 副本保持一定程度同步的副本（包括 leader 副本在内）组成ISR（In-Sync Replicas），ISR 集合是 AR 集合中的一个子集。
版权声明：本文为博主原创，欢迎转载，转载请标明出处 Blog Address:http://blog.csdn.net/jsjsjs1789 https://blog.csdn.net/jsjsjs1789/article/details/89067747
Kafka是一种高吞吐量的分布式发布订阅消息系统，使用Scala编写。 对于熟悉JMS（Java Message Service）规范的同学来说，消息系统已经不是什么新概念了(例如ActiveMQ，RabbitMQ等)。 Kafka拥有作为一个消息系统应该具备的功能，但是确有着独特的设计。可以这样来说，Kafka借鉴了JMS规范的思想，但是确并没有完全遵循JMS规范。 kafka是一个分布式的，分区的消息(官方称之为commit log)服务。它提供一个消息系统应该具备的功能，但是确有着独特的设计。 首先，让我们来看一下基础的消息(Message)相关术语： Topic: Kafka按照Topic分类来维护消息 Producer： 我们将发布(publish)消息到Topic的进程称之为生产者(producer) Consumer： 我们将订阅(subscribe)Topic并且处理Topic中消息的进程称之为消费者(consumer) Broker： Kafka以集群的方式运行，集群中的每一台服务器称之为一个代理(broker)。 因此，从一个较高的层面上来看，producers通过网络发送消息到Kafka集群，然后consumers来进行消费，如下图：
(后续的视频会在 公众号[全套视频首发]、CSDN、B站等各平台同名号[石臻臻的杂货铺]上上传 )
Kafka 是由 LinkedIn 开发的一个分布式的消息系统，使用 Scala 编写，它以可水平扩展和高吞吐率而被广泛使用。
已知，Kafka 集群中有两个 kafka broker ，id 分别为 200、201 。
在Apache Kafka中，确定哪个Consumer消费哪个Partition的数据是由Kafka的Group Coordinator和Partition Assignment策略来管理的。以下是一些关于这个过程的详细解释：
配置启动类--zookeeper xxxx:2181 --topics-to-move-json-file config/move-json-file.json --broker-list "0,1,2,3" --generate
前几天有个群友问我: kafka如何修改优先副本？ 他们有个需求是, 想指定某个分区中的其中一个副本为Leader
1 指定Topic指定分区用重新PREFERRED：优先副本策略 进行Leader重选举
（3）查看/kafka/brokers/topics/first/partitions/0/state 路径上的数据。
比如，有100条有序数据，生产者发送到kafka集群，kafka的分片有4个，可能的情况就是一个分片保存0-25，一个保存25-50......这样消息在kafka中存储是局部有序了。严格说，kafka是无法保证全局消息有序的，没有这个机制，只能局部有序。
Kafka也是一款消息队列中间件，与ActiveMQ和RabbitMQ不同的是，它不是基于JMS和AMQP规范开发的，而是提供了类似JMS的特性，同时Kafka比较重量级，天然支持集群分布式搭建以及数据分片备份，由Scala和Java编写，因其高性能和高吞吐量的特点被广泛用于大数据的传输场景。简单而言，Kafka就是一款适用于大数据场景下的消息队列。
Kafka 命令行操作 Kafka基础架构 📷 主题命令行操作 1）查看操作主题命令参数 bin/kafka-topics.sh -参数 -描述 –bootstrap-server <String: server toconnect to> 连接的 Kafka Broker 主机名称和端口号。 –topic <String: topic> 操作的 topic 名称。 –create 创建主题。 –delete 删除主题。 –alter 修改主题。 –list 查看所有主题。 –describe 查看主题详细
团队在日常工作中，一般情况下使用的消息队列是腾讯云 CKafka。CKafka 提供了高可靠的开箱即用消息队列能力，让我们在日常能够放心使用，减少花在运维上的投入。不过即便如此，我们还是需要学习 Kafka 的一些基本概念和功能，从而在实际应用中嗯能够充分高效、高质量地利用 Kafka 的能力。
>bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic topic1 --partitions 2
支持正则表达式匹配Topic来进行删除,只需要将topic 用双引号包裹起来 例如: 删除以create_topic_byhand_zk为开头的topic;
先定义一下名词: 迁移前的Broker： OriginBroker 、 迁移后的副本 TargetBroker
在Kafka集群资源使用已超出系统配置的资源时，需要通过扩容Kafka节点来实现Kafka集群的资源扩容。新增的Kafka节点，只有在创建新的Topic才会参与工作，对于之前其它Broker节点上的分区是不会自动均衡的，不能达到负载的效果。这时需要在Broker之间重新分配分区，本篇文章Fayson主要介绍如何重新分配Topic的partition。
注：partitions指定topic分区数，replication-factor指定topic每个分区的副本数。
在进行分区副本重分配之前,最好是用下面方式获取一个合理的分配文件; 编写move-json-file.json文件; 这个文件就是告知想对哪些Topic进行重新分配的计算
如果你不想看文章,可以直接看配套的视频; (后续的视频会在 公众号、CSDN、B站等各平台同名号石臻臻的杂货铺上上传 )
需要注意的是–zookeeper后面接的是kafka的zk配置, 假如你配置的是localhost:2181/kafka 带命名空间的这种,不要漏掉了
Kafka是什么 Kafka最初由Linkedin公司开发，是一个分区、多副本、多订阅者、且基于zookeeper协调的分布式日志系统(也可以当做MQ系统)，常用于web/nginx日志、访问日志，消息服务等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。 1.前言 一个商业化消息队列文件存储机制设计，是衡量其技术水平的关键指标之一。 下面将从Kafka文件存储机制和物理结构角度，分析Kafka如何实现高效文件存储，及实际应用效果。 2.Kafka文件存储机制 Kafka部分名词
这些参数是用于操作和管理Apache Kafka主题的命令行工具参数，通常用于kafka-topics.sh工具。以下是每个参数的描述：
PS: 当某个Topic的分区少于指定的分区数时候,他会抛出异常;但是不会影响其他Topic正常进行;
bin/kafka-server-start.sh <path>/server.properties Ctrl + C 关闭
上一篇跟大家描述了 Kafka 集群扩容的方案与过程，这次就跟大家详细描述 Kafka 分区重分配的实现细节。
有想进滴滴LogI开源用户群的加我个人微信: jjdlmn_ 进群(备注：进群) 群里面主要交流 kakfa、es、agent、LogI-kafka-manager、等等相关技术; 群内有专人解答你的问题 对~ 相关技术领域的解答人员都有; 你问的问题都会得到回应
本文内容主要来自两个方面：一是网上的分享，二是自研的随手记。日记月累，收录kafka各种命令，会持续更新。
Step 1: 下载代码 http://kafka.apache.org/downloads.html 0.10.0.0是最新版本。 当前的稳定版本是0.10.0.0。 下载0.10.0.0版本并且解压它。 > tar -zxvf kafka_2.10-0.10.0.0.tgz > cd kafka_2.11-0.10.0.0 Step 2: 启动服务 运行kafka需要使用Zookeeper，所有你需要先启动一个Zookeeper服务器，如果你没有Zookeeper，你可以使用kafka自带打包
当我们kafka启动运行以后，就会在zookeeper上初始化kafka相关数据，主要包括六大类：
我是一条消息，从我被生产者发布到topic的时候，我就清楚自己的使命：被消费者获取消费。但我一直很纳闷，把我直接推送给消费者不就行了，为什么一定要先推送到类似队列的topic中呢，消息队列的作用到底是什么呢？ 在消息队列出现以前，服务之间的矛盾由来已久，服务A调用服务B，经常要等待服务B处理完后续流程再返回结果，因此服务A常常抱怨服务B接收处理能力太慢，服务B也常常把某些责任推卸给服务A，于是，消息队列出现了，让服务A只管往队列里面放消息，后续的处理流程都不用管，而服务B负责往队列里面取消息，通过巧妙
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
