Kafka被广泛认为是一种强大的消息总线，可以可靠地传递事件流，是流式处理系统的理想数据来源。流式处理系统通常是指一种处理实时数据流的计算系统，能够对数据进行实时的处理和分析，并根据需要进行相应的响应和操作。与传统的批处理系统不同，流式处理系统能够在数据到达时立即进行处理，这使得它们特别适合需要实时响应的应用程序，例如实时监控和警报、实时推荐、实时广告投放等。
Apache Kafka 是由 Apache 软件基金会开发的开源分布式流处理平台。最初是由 LinkedIn 团队开发，用于处理该公司产生的大量实时数据。Kafka 的设计旨在处理大型数据流并提供实时数据处理能力。
可靠的数据传输是系统的属性之一，不能在事后考虑，就像性能一样，它必须从最初的白板图设计成一个系统，你不能事后把系统抛在一边。更重要的是，可靠性是系统的属性，而不是单个组件的属性，因此即使在讨论apache kafka的可靠性保证时，也需要考虑其各种场景。当谈到可靠性的时候，与kafka集成的系统和kafka本身一样重要。因为可靠性是一个系统问题，它不仅仅是一个人的责任。每个卡夫卡的管理员、linux系统管理员、网络和存储管理员以及应用程序开发人员必须共同来构建一个可靠的系统。 Apache kafka的数据传输可靠性非常灵活。我们知道kafka有很多用例，从跟踪网站点击到信用卡支付。一些用例要求最高的可靠性，而另外一些用例优先考虑四度和简单性而不是可靠性。kafka被设计成足够可配置，它的客户端API足够灵活，允许各种可靠性的权衡。 由于它的灵活性，在使用kafka时也容易意外地出现错误。相信你的系统是可靠的，但是实际上它不可靠。在本章中，我们将讨论不同类型的可靠性以及它们在apache kafka上下文中的含义开始。然后我们将讨论kafka的复制机制，以及它如何有助于系统的可靠性。然后我们将讨论kafka的broker和topic，以及如何针对不同的用例配置它们。然后我们将讨论客户，生产者、消费者以及如何在不同的可靠性场景中使用它们。最后，我们将讨论验证系统可靠性的主体，因为仅仅相信一个系统的可靠是不够的，必须彻底的测试这个假设。
在这篇文章中，我将解释Kafka Streams抑制的概念。尽管它看起来很容易理解，但还是有一些内在的问题/事情是必须要了解的。这是我上一篇博文CDC分析的延续。
副本： 本质就是一个只能追加写消息的提交日志。根据 Kafka 副本机制的定义，同一个分区下的所有副本保存有相同的消息序列，这些副本分散保存在不同的 Broker 上，从而能够对抗部分 Broker 宕机带来的数据不可用。
随着各行各业移动互联和云计算技术的普及发展，大数据计算已深入人心，最常见的比如 flink、spark 等。这些大数据框架，采用中心化的 Master-Slave 架构，依赖和部署比较重，每个任务也有较大开销，有较大的使用成本。RocketMQ Streams 着重打造轻量计算引擎，除了消息队列，无额外依赖，对过滤场景做了大量优化，性能提升 3-5 倍，资源节省 50%-80%。
本译文自Jean-Paul Azar 在 https://dzone.com 发表的 Kafka Detailed Design and Ecosystem ，文中版权，图像代码的数据均归作者所有。为
问题导读 1.DStreams的含义是什么？ 2.DStreams提供哪两种类型的操作？ 3.Transformations操作分为哪两种类型？ 4.本文说了哪些输入源？ 5.什么是batch？ 本篇做了一些细节优化，防止初学者在看到的时候，造成误解.如有问题，欢迎交流 RDD与job之间的关系 Spark Streaming是构建在Spark上的实时流计算框架，扩展了Spark流式大数据处理能 力。Spark Streaming将数据流以时间片为单位分割形成RDD，使用RDD操作处理每一块数 据
Apache Kafka 是一个分布式开源流平台，被广泛应用于各大互联网公司。Kafka 设计之初被用于消息队列，自 2011 年由 LinkedIn 开源以来，Kafka 迅速从消息队列演变为成熟的事件流处理平台。
Kafka 具有四个核心 API，借助这些 API，Kafka 可以用于以下两大类应用：
Kafka 设计之初被用于消息队列，自 2011 年由 LinkedIn 开源以来，Kafka 迅速从消息队列演变为成熟的事件流处理平台。
在本次实验中，您将使用 Streams Replication Manager (SRM) 跨集群复制 Kafka 主题。
Kafka的Producer发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程——main线程和Sender线程，以及一个线程共享变量——RecordAccumulator。main线程将消息发送给RecordAccumulator，Sender线程不断从RecordAccumulator中拉取消息发送到Kafka broker。
所谓的副本机制（Replication），也可以称之为备份机制，通常是指分布式系统在多台网络互联的机器上保存有相同的数据拷贝。副本机制有什么好处呢？
前不久在工作过程中用到了kafka中间件，简单来说是个消息队列，除了支持高吞吐量、发布订阅等功能外，它还支持回放，我可以通过修改偏移量重新获取数据，这个功能是一个非常常见的使用场景，也是我选择kafka的一个重要原因。
Kafka生态-Kafka Core，Kafka Streams，Kafka Connect，Kafka REST Proxy和Schema Registry Kafak的核心主要有Broker，Topic，日志，分区和集群。该核心还包括相关的工具，如MirrorMaker。 Kafka生态系统由Kafka Core，Kafka Streams，Kafka Connect，Kafka REST Proxy和Schema Registry组成。Kafka生态系统的大多数附件来自Confluent，而不是Apa
之前的版本：0.7.x，0.8.0，0.8.1.X，0.8.2.X，0.9.0.X，0.10.0.X。
消息从生产者客户端发送至broker服务端topic，需要ack确认。acks与min.insync.replicas是两个配置参数.其中acks是producer的配置参数，min.insync.replicas是Broker端的配置参数，这两个参数对于生产者不丢失数据起到了很大的作用
5.kafka中的 zookeeper 起到什么作用，可以不用zookeeper么
纵观 Kafka 的发展脉络，它的确是从消息引擎起家的，但正如文章标题所问，Apache Kafka 真的只是消息引擎吗？通常，在回答这个问题之前很多文章可能就要这样展开了：那我们先来讨论下什么是消息引擎以及消息引擎能做什么事情。算了，我还是直给吧，就不从“唐尧虞舜”说起了。这个问题的答案是，Apache Kafka 是消息引擎系统，也是一个分布式流处理平台（Distributed Streaming Platform）。如果你通读全篇文字但只能记住一句话，我希望你记住的就是这句。再强调一遍，Kafka 是消息引擎系统，也是分布式流处理平台。
1.bootstrap.servers 指定Kafka集群所需的broker地址清单，默认“”
通过Kafka的快速入门 https://www.cnblogs.com/tree1123/p/11150927.html
这篇博客将会记录Structured Streaming + Kafka的一些基本使用(Java 版)
腾讯云流计算 Oceanus 是大数据实时化分析利器，兼容 Apache Flink 应用程序。新用户可以 1 元购买流计算 Oceanus(Flink) 集群，欢迎读者们体验使用。
•Kafka Stream 提供了一个非常简单而轻量的 Library，它可以非常方便地嵌入任意Java应用中，也可以任意方式打包和部署•除了 Kafka 外，无任何外部依赖•充分利用 Kafka 分区机制实现水平扩展和顺序性保证•通过可容错的 state store 实现高效的状态操作（如 windowed join 和aggregation）•支持正好一次处理语义•提供记录级的处理能力，从而实现毫秒级的低延迟•支持基于事件时间的窗口操作，并且可处理晚到的数据（late arrival of records）•同时提供底层的处理原语 Processor（类似于 Storm 的 spout 和 bolt），以及高层抽象的DSL（类似于 Spark 的 map/group/reduce）
kafka 传统上被视为一个强大的消息总线，能够处理事件流，但是不具备对数据的处理和转换能力。kafka可靠的流处理能力，使其成为流处理系统的完美数据源，Apache Storm，Apache Spark streams,Apache Flink,Apache samza 的流处理系统都是基于kafka构建的，而kafka通常是它们唯一可靠的数据源。 行业分析师有时候声称，所有这些流处理系统就像已存在了近20年的复杂事件处理系统一样。我们认为流处理变得更加流行是因为它是在kafka之后创建的，因此可以使用kafka做为一个可靠的事件流处理源。日益流行的apache kafka,首先做为一个简单的消息总线，后来做为一个数据集成系统，许多公司都有一个系统包含许多有趣的流数据，存储了大量的具有时间和具有时许性的等待流处理框架处理的数据。换句话说，在数据库发明之前，数据处理明显更加困难，流处理由于缺乏流处理平台而受到阻碍。 从版本0.10.0开始，kafka不仅仅为每个流行的流处理框架提供了更可靠的数据来源。现在kafka包含了一个强大的流处理数据库作为其客户端集合的一部分。这允许开发者在自己的应用程序中消费，处理和生成事件，而不以来于外部处理框架。 在本章开始，我们将解释流处理的含义，因为这个术语经常被误解，然后讨论流处理的一些基本概念和所有流处理系统所共有的设计模式。然后我们将深入讨论Apache kafka的流处理库，它的目标和架构。我们将给出一个如何使用kafka流计算股票价格移动平均值的小例子。然后我们将讨论其他好的流处理的例子，并通过提供一些标准来结束本章。当你选择在apache中使用哪个流处理框架时可以根据这些标准进行权衡。本章简要介绍流处理，不会涉及kafka中流的每一个特性。也不会尝试讨论和比较现有的每一个流处理框架，这些主题值得写成整本书，或者几本书。
Apache Kafka是一款开源的消息引擎系统，也是一个分布式流处理平台。除此之外，Kafka还能够被用作分布式存储系统（极少）。
Kafka在0.10.0.0版本以前的定位是分布式，分区化的，带备份机制的日志提交服务。而kafka在这之前也没有提供数据处理的顾服务。大家的流处理计算主要是还是依赖于Storm，Spark Streaming，Flink等流式处理框架。
Storm，Spark Streaming，Flink流处理的三驾马车各有各的优势.
上篇文章说了，broker的消息设计，采用紧凑的byteBuffer，存储设计主要包含attribute后三个表示压缩类型，还有crc效验，以及key和value，后面新增了时间戳。
telegraf 整个包非常大，在这个方案只用了statsd插件部分的修改，所以更具体的需要根据自己需要进行学习，如果只是使用本方案就可以略过。
3.1.0 版本包含许多改进和新功能。我们将在这篇博文中重点介绍一些更突出的功能，但请参阅发行说明以获取完整的更改列表。
作者 | 吴惠君，吕能，符茂松 责编 | 郭芮 【导语】本文对比了Heron和常见的流处理项目，包括Storm、Flink、Spark Streaming和Kafka Streams，归纳了系统选型的要点。此外实践了Heron的一个案例，以及讨论了Heron在这一年开发的新特性。 在今年6月期的“基础篇”中，我们通过学习Heron[1][2][3]的基本概念、整体架构和核心组件等内容，对Heron的设计、运行等方面有了基本的了解。在这一期的“应用篇”中，我们将Heron与其他流行的实时流处理系统（Apach
3.max.poll.interval.ms 指定拉取消息线程最长空闲时间，默认300000ms
对于 单队列，单进程的queue， 是满足先入先出的特点的，本身是有序的，但是如果有多个队列或多个消费者线程的时候，可能会产生乱序的问题。
了解了什么是kafka（ https://www.cnblogs.com/tree1123/p/11226880.html）以后
目前一些互联网公司会使用消息队列来做核心业务，因为是核心业务，所以对数据的最后一致性比较敏感，如果中间出现数据丢失，就会引来用户的投诉，年底绩效就变成325了。之前和几个朋友聊天，他们的公司都在用kafka来做消息队列，使用kafka到底会不会丢消息呢？如果丢消息了该怎么做好补偿措施呢？本文我们就一起来分析一下，并介绍如何使用Go操作Kafka可以不丢失数据。
# **kafka release reviews: what happen from kafka 0.10 to 2.6*
复制功能是 Kafka 架构的核心功能，在 Kafka 文档里面 Kafka 把自己描述为 一个分布式的、可分区的、可复制的提交日志服务。复制之所以这么关键，是因为消息的持久存储非常重要，这能够保证在主节点宕机后依旧能够保证 Kafka 高可用。副本机制也可以称为备份机制(Replication)，通常指分布式系统在多台网络交互的机器上保存有相同的数据备份/拷贝。
Kafka是分布式发布-订阅消息系统，它最初是由LinkedIn公司开发的，之后成为Apache项目的一部分，Kafka是一个分布式，可划分的，冗余备份的持久性的日志服务，它主要用于处理流式数据。
译者注：本文介绍了两大常用的流式处理框架，Spark Streaming和Kafka Stream，并对他们各自的特点做了详细说明，以帮助读者在不同的场景下对框架进行选择。以下是译文。 流式处理的需求每天都在增加，仅仅对大量的数据进行处理是不够的。数据必须快速地得到处理，以便企业能够实时地对不断变化的业务环境做出反应。 流式处理是持续而又并发地对数据进行实时处理。流式处理是处理数据流或传感器数据的理想平台，而“复杂事件处理”（CEP）则利用了逐个事件处理和聚合等技术。 对于实时数据处理功能，我们有很多选择可
点击上方“芋道源码”，选择“设为星标” 管她前浪，还是后浪？ 能浪的浪，才是好浪！ 每天 10:33 更新文章，每天掉亿点点头发... 源码精品专栏 原创 | Java 2021 超神之路，很肝~ 中文详细注释的开源项目 RPC 框架 Dubbo 源码解析 网络应用框架 Netty 源码解析 消息中间件 RocketMQ 源码解析 数据库中间件 Sharding-JDBC 和 MyCAT 源码解析 作业调度中间件 Elastic-Job 源码解析 分布式事务中间件 TCC-Transaction
文章有点长，但是写的都挺直白的，慢慢看下来还是比较容易看懂，从Kafka的大体简介到Kafka的周边产品比较，再到Kafka与Zookeeper的关系，进一步理解Kafka的特性，包括Kafka的分区和副本以及消费组的特点及应用场景简介。
Kafka 2.0.0引入了线程协议的变化。通过遵循下面建议的滚动升级计划，您可以保证在升级期间不会出现停机。但是，请在升级之前查看2.0.0中的重大更改。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
