推荐【Kafka教程】https://bigbird.blog.csdn.net/article/details/108770504 推荐【rabbitmq教程】https://bigbird.blog.csdn.net/article/details/81436980 推荐【Flink教程】https://blog.csdn.net/hellozpc/article/details/109413465 推荐【SpringBoot教程】https://blog.csdn.net/hellozpc/article/details/107095951 推荐【SpringCloud教程】https://blog.csdn.net/hellozpc/article/details/83692496 推荐【Mybatis教程】https://blog.csdn.net/hellozpc/article/details/80878563 推荐【SnowFlake教程】https://blog.csdn.net/hellozpc/article/details/108248227 推荐【并发限流教程】https://blog.csdn.net/hellozpc/article/details/107582771 推荐【JVM面试与调优教程】https://bigbird.blog.csdn.net/article/details/113888604
Apache Kafka 是一款开源的消息系统。可以在系统中起到“肖峰填谷”的作用，也可以用于异构、分布式系统中海量数据的异步化处理。 系统包括四个主要API:
Kafka是当前分布式系统中最流行的消息中间件之一，凭借着其高吞吐量的设计，在日志收集系统和消息系统的应用场景中深得开发者喜爱。本篇就聊聊Kafka相关的一些知识点。主要包括以下内容：
Kafka 是最初由 Linkedin 公司开发，是一个分布式、分区的、多副本的、多订阅者，基于 zookeeper 协调的分布式日志系统（也可以当做 MQ 系统），常见可以用于 web/nginx 日志、访问日志，消息服务等等，Linkedin 于 2010 年贡献给了 Apache 基金会并成为顶级开源项目。
消息引擎系统（Message Broker System）是一种中间件软件或服务，用于在分布式系统中进行异步消息传递。它提供了可靠的消息传输、消息路由和消息处理的功能，使不同的应用程序和组件能够通过发送和接收消息进行通信。
Apache Kafka是消息引擎系统，也是一个分布式流处理平台（Distributed Streaming Platform）
我们先看一下维基百科是怎么说的： Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”，[这使它作为企业级基础设施来处理流式数据非常有价值。此外，Kafka可以通过Kafka Connect连接到外部系统（用于数据输入/输出），并提供了Kafka Streams——一个Java流式处理库。看完这个说法，是不是有点一脸蒙蔽， 再看看其他大神的理解：Kafka 是由 Linkedin 公司开发的，它是一个分布式的，支持多分区、多副本，基于 Zookeeper 的分布式消息流平台，它同时也是一款开源的基于发布订阅模式的消息引擎系统。 总的来说就是他就是发布订阅消息的引擎系统，在做集群的时候需要依靠zookeeper。
进入Kafka Eagle目录，进入conf目录修改system-config.properties配置文件内容如下
Kafka是一个分布式的、分区的、冗余的日志提交服务。它使用了独特的设计，提供了所有消息传递系统所具有的功能。
Flink出来已经好几年了，现在release版本已经发布到1.10.0（截止2020-05-05），统一了批处理和流处理，很多大公司也都用到生实际务中，跑得也很high。这些大家都知道，但是当我开始考虑怎么在工作中落地flink的时候，我不知道怎么入手。公司比较小，目前没有实时计算，但是etl任务跑得比较慢，效率上有些跟不上。我的思路是想先试着用Flink来处理一些离线任务，看看能不能提升效率，同时为落地实时计算做准备。全网找了半天资料，文章倒是很多，包括一些付费资源，大部分的实例代码都跑不通，真的是跑不通。当然有部分原因是因为我对flink了解太少，但是完整的跑通除了word count之外的代码不应该是一件比较麻烦的事。
消息队列一般包含两种模式，一种是点对点的模式，一种是发布订阅的模式。前文提到过 kafka 是一款基于发布订阅的消息队列。那么kafka是怎么去发布消息，怎么去保存消息，订阅消息的呢？首先我们从kafka的发布订阅模型开始分析。
注意：Zookeeper中保存Broker id和消费者offsets等信息，但是没有生产者信息。
如上图所示： 一个典型的 Kafka 集群中包含若干 Producer（可以是 web 前端产生的 Page View，或者是服务器日志，系统 CPU、Memory 等）； 若干 broker（Kafka 支持水平扩展，一般 broker 数量越多，集群吞吐率越高），若干 Consumer Group，以及一个 Zookeeper 集群； Kafka 通过 Zookeeper 管理集群配置，选举 leader，以及在 Consumer Group 发生变化时进行 rebalance； Producer 使用 push 模式将消息发布到 broker，Consumer 使用 pull 模式从 broker 订阅并消费消息；
脚本 kafka]$ bin\kafka-console-producer.sh 命令选项
Kafka是一个高性能、分布式的消息队列系统，它的出现为大规模的数据处理提供了一种可靠、快速的解决方案。我们先初步了解Kafka的概念、特点和使用场景。
参考文章：https://www.cnblogs.com/angelyan/p/10800739.html
重新分配分区后，新增分区要等几分钟后才可被触发使用 多分区场景下，kafka服务端lag 有负数情况，目前官方修复为最多-1,此bug并不影响数据的准确性，客户端消费依然是正常
Kafka 是由 Linkedin 公司开发的，它是一个分布式的，支持多分区、多副本，基于 Zookeeper 的分布式消息流平台，它同时也是一款开源的基于发布订阅模式的消息引擎系统。
Kafka Stream背景 Kafka Stream是什么 Kafka Stream是Apache Kafka从0.10版本引入的一个新Feature。它是提供了对存储于Kafka内的数据进行流式处理和分析的功能。 Kafka Stream的特点如下： Kafka Stream提供了一个非常简单而轻量的Library，它可以非常方便地嵌入任意Java应用中，也可以任意方式打包和部署 除了Kafka外，无任何外部依赖 充分利用Kafka分区机制实现水平扩展和顺序性保证 通过可容错的state store实
Topic：每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处）
