“流媒体”：发布者（“生产者”）经常发送的大量消息（想想数万或数十万）。许多订阅者（“消费者”）经常进行消息轮询。
Flink内置了一些基本数据源和接收器，并且始终可用。该预定义的数据源包括文件，目录和插socket，并从集合和迭代器摄取数据。该预定义的数据接收器支持写入文件和标准输入输出及socket。
# **kafka release reviews: what happen from kafka 0.10 to 2.6*
每个企业都离不开数据，我们接收数据、分析数据、加工数据，并将数据输出。每个应用程序都在创造数据，无论是日志消息、指标、用户活动、输出消息或者其他。每个字节的数据背后都有一些潜在线索，一个重要的线索会带来下一步的商机。为了更好的得到这些信息，我们需要将数据从创建的地方获取出来加以分析。我们每天都能在亚马逊上看到这样的场景：我们点击了感兴趣的项目，一小会之后就会将建议信息推荐给我们。 我们越是能快速的做到这一点，我们的组织就会越敏捷，反应越是灵敏。我们在移动数据上花费的时间越少，我们就越能专注于核心业务。这就是为什么在数据驱动的企业中，数据管道是核心组件的原因。我们如何移动数据变得和数据本身一样重要。
本译文自Jean-Paul Azar 在 https://dzone.com 发表的 Kafka Detailed Design and Ecosystem ，文中版权，图像代码的数据均归作者所有。为
之前的版本：0.7.x，0.8.0，0.8.1.X，0.8.2.X，0.9.0.X，0.10.0.X。
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。Kafka是一种消息队列，主要用来处理大量数据状态下的消息队列，一般用来做日志的处理。
问题要从一次 Kafka 的宕机开始说起。笔者所在的是一家金融科技公司，但公司内部并没有采用在金融支付领域更为流行的 RabbitMQ，而是采用了设计之初就为日志处理而生的 Kafka，所以我一直很好奇 Kafka 的高可用实现和保障。
本文最初发表于 Medium 博客，经原作者 Natan Silnitsky 授权，InfoQ 中文站翻译并分享。
导读：笔者所在的是一家金融科技公司，但公司内部并没有采用在金融支付领域更为流行的RabbitMQ，而是采用了设计之初就为日志处理而生的Kafka。
Kafka是分布式发布-订阅消息系统，它最初是由LinkedIn公司开发的，之后成为Apache项目的一部分，Kafka是一个分布式，可划分的，冗余备份的持久性的日志服务，它主要用于处理流式数据。
Streams Replication Manager（SRM）是一种企业级复制解决方案，可实现容错、可扩展且健壮的跨集群Kafka主题复制。SRM提供了动态更改配置的功能，并使Topic属性在高性能的集群之间保持同步。SRM还提供了自定义扩展，可促进安装、管理和监视，从而使SRM成为针对任务关键型工作负载而构建的完整复制解决方案。本文主要讨论SRM的主要用例和用例的实现架构。
Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目。
Streams Replication Manager（SRM）是一种企业级复制解决方案，可实现容错、可扩展且健壮的跨集群Kafka主题复制。SRM提供了动态更改配置的功能，并使Topic属性在高性能的集群之间保持同步。SRM还提供了自定义扩展，可促进安装、管理和监视，从而使SRM成为针对任务关键型工作负载而构建的完整复制解决方案。Streams Replication Manager由两个主要组件组成：流复制引擎和流复制管理服务。
Kafka是⼀个分布式、分区的、多副本的、多⽣产者、多订阅者，基于zookeeper协调的分布式⽇志系统（也可以当做MQ系统），常⻅可以⽤于web/nginx⽇志、访问⽇志，消息服务等等。 Kafka主要应⽤场景：⽇志收集系统和消息系统
经过上次 Kafka 日志集群某节点重启失败导致某个主题分区不可用的事故之后，这篇文章专门对分区不可用进行故障重现，并给出我的一些骚操作来尽量减少数据的丢失。
每个集群都有一个broker是集群控制器（自动从集群的活跃成员中选举出来） 控制器负责管理工作： 将分区分配给broker 监控broker 集群中一个分区属于一个broker，该broker称为分区首领。 一个分区可以分配给多个broker，此时会发生分区复制。 分区的复制提供了消息冗余，高可用。副本分区不负责处理消息的读写。
2016 年的文章中，我们详细介绍过 rabbitmq，他是一种实现了 AMQP 队列协议的消息队列，具有非常强大的多种功能： rabbitmq 实战
Kafka生态-Kafka Core，Kafka Streams，Kafka Connect，Kafka REST Proxy和Schema Registry Kafak的核心主要有Broker，Topic，日志，分区和集群。该核心还包括相关的工具，如MirrorMaker。 Kafka生态系统由Kafka Core，Kafka Streams，Kafka Connect，Kafka REST Proxy和Schema Registry组成。Kafka生态系统的大多数附件来自Confluent，而不是Apa
在本次实验中，您将使用 Streams Replication Manager (SRM) 跨集群复制 Kafka 主题。
Kafka最初是由Linkedin公司开发的，是一个分布式的、可扩展的、容错的、支持分区的（Partition）、多副本的（replica）、基于Zookeeper框架的发布-订阅消息系统，Kafka适合离线和在线消息消费。它是分布式应用系统中的重要组件之一，也被广泛应用于大数据处理。Kafka是用Scala语言开发，它的Java版本称为Jafka。Linkedin于2010年将该系统贡献给了Apache基金会并成为顶级开源项目之一。
我们中的许多人都经历过无可奈何地挖掘多个服务器上的日志文件以解决严重生产问题的感觉。我们可能都同意这远非理想。在处理实时处理应用程序时，查找和搜索日志文件更具挑战性，因为调试过程本身对时间非常敏感。
Kafka 2.0.0引入了线程协议的变化。通过遵循下面建议的滚动升级计划，您可以保证在升级期间不会出现停机。但是，请在升级之前查看2.0.0中的重大更改。
根据 Gartner 的预测，预计在 2021 年，全球终端用户在公共云服务上的支出将在 2020 年的 2700 亿美元基础上增长 23%，达到 3320 亿美元。
3.1.0 版本包含许多改进和新功能。我们将在这篇博文中重点介绍一些更突出的功能，但请参阅发行说明以获取完整的更改列表。
今天的 IT 系统正在生成、收集和处理比以往更多的数据。而且，他们正在处理高度复杂的流程（正在自动化）以及跨越典型组织边界的系统和设备之间的集成。同时，预计 IT 系统的开发速度更快、成本更低，同时还具有高可用性、可扩展性和弹性。 为了实现这些目标，开发人员正在采用架构风格和编程范式，例如微服务、事件驱动架构、DevOps 等。正在构建新的工具和框架来帮助开发人员实现这些期望。 开发人员正在结合事件驱动架构 (EDA) 和微服务架构风格来构建具有极强可扩展性、可用、容错、并发且易于开发和维护的系统。 在本文
作者 | Elad Leev 译者 | 王强 策划 | Tina 本文最初发布于 leevs.dev 网站，经原作者授权由 InfoQ 中文站翻译并分享。 根据 Gartner 的预测，预计在 2021 年，全球终端用户在公共云服务上的支出将在 2020 年的 2700 亿美元基础上增长 23%，达到 3320 亿美元。 Kafka 的市场增长趋势也是一样的。世界各地的组织都在使用 Kafka 作为主要的流处理平台来大规模收集、处理和分析数据。随着组织的发展和壮大，数据规模也在增长，随之而来的云成本同样
便于大家对本章内容的理解，我重新整理了一下Kafka中的部分重要概念，以表格的方式呈现出来，请见下表所示：
Debezium是一个分布式平台，它将您现有的数据库转换为事件流，因此应用程序可以看到数据库中的每一个行级更改并立即做出响应。Debezium构建在Apache Kafka之上，并提供Kafka连接兼容的连接器来监视特定的数据库管理系统。Debezium在Kafka日志中记录数据更改的历史，您的应用程序将从这里使用它们。这使您的应用程序能够轻松、正确、完整地使用所有事件。即使您的应用程序停止(或崩溃)，在重新启动时，它将开始消耗它停止的事件，因此它不会错过任何东西。
原文地址：https://dzone.com/articles/kafka-detailed-design-and-ecosystem
Producer将消息发送到集群指定的主题中存储，同时也自定义算法决定将消息记录发送到哪个分区?
bin/kafka-topics.sh --list --zookeeper localhost:2181
以下是Kafka 2.6.0版本中解决JIRA问题的摘要，有关该版本的完整文档，入门指南以及关于该项目的信息，请参考Kafka官方文档。
在Apache Kafka简介的前半部分，您使用Kafka开发了几个小规模的生产者/消费者应用程序。从这些练习中，您应该熟悉Apache Kafka消息传递系统的基础知识。在下半部分，您将学习如何使用分区来分布负载并横向扩展应用程序，每天处理多达数百万条消息。您还将了解Kafka如何使用消息偏移来跟踪和管理复杂的消息处理，以及如何在消费者失败时保护您的Apache Kafka消息传递系统免于失败。我们将从第1部分开发用于发布 - 订阅和点对点用例的示例应用程序。
Kafka是一个现在听到很多的话......许多领先的数字公司似乎也在使用它。但究竟是什么呢？
Apache Kafka是一个事件流平台，其结合了三个关键的功能，使你可以完成端到端的事件流解决方案。
事件溯源作为一种应用程序体系结构模式越来越流行。事件源涉及将应用程序进行的状态更改建模为事件的不可变序列或“日志”。事件源不是在现场修改应用程序的状态，而是将触发状态更改的事件存储在不可变的日志中，并将状态更改建模为对日志中事件的响应。我们之前曾写过有关事件源，Apache Kafka及其相关性的文章。在本文中，我将进一步探讨这些想法，并展示流处理（尤其是Kafka Streams）如何帮助将事件源和CQRS付诸实践。
Confluent提供了业界唯一的企业级事件流平台，Confluent Platform通过将来自多个源和位置的数据集成到公司的单个中央事件流平台中，可以轻松构建实时数据管道和流应用程序。Confluent平台使您可以专注于如何从数据中获取业务价值，而不必担心诸如在各种系统之间传输或处理数据的基本机制。具体来说，Confluent平台简化了将数据源连接到Kafka，使用Kafka构建应用程序以及保护，监视和管理Kafka基础架构的过程。
Kafka 是由 Linkedin 公司开发的，它是一个分布式的，支持多分区、多副本，基于 Zookeeper 的分布式消息流平台，它同时也是一款开源的基于发布订阅模式的消息引擎系统。
Apache Kafka 已成为跨微服务异步通信的主流平台。它有很多强大的特性，让我们能够构建健壮、有弹性的异步架构。
kafka是一款基于发布与订阅的消息系统。它一般被称为“分布式提交日志”或者“分布式流平台”。文件系统或者数据库提交日志用来提供所有事物的持久化记录，通过重建这些日志可以重建系统的状态。同样地，kafka的数据是按照一定顺序持久化保存的，可以按需读取。
所谓的消息幂等性就是如何保证消息只消费一次不重复消费。这需要从Kafka的多个角度去回答该问题一是要包含Kafka自身的机制，还需要考虑客户端自己的重复处理。
Apache Kafka 是一个分布式开源流平台，被广泛应用于各大互联网公司。Kafka 设计之初被用于消息队列，自 2011 年由 LinkedIn 开源以来，Kafka 迅速从消息队列演变为成熟的事件流处理平台。
kafka相关概念图 重点： kafka里的副本针对的是分区来做的， 副本不提供对外的服务，只记录消息数据，kafka通过对topic分区来实现消息系统的负载。
在 2 月10 号下午大概 1 点半左右，收到用户方反馈，发现日志 kafka 集群 A 主题 的 34 分区选举不了 leader，
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
