什么是Kafka Apache Kafka是一个基于分布式日志提交机制设计的发布订阅系统。数据在kafka中持久化，用户可以随时按需读取。另外数据以分布式的方式存储，提高容错性，易于扩展。 Message和Batches Kafka中最基本的数据单元是消息message，如果使用过数据库，那么可以把Kafka中的消息理解成数据库里的一条行或者一条记录。消息是由字符数组组成的，kafka并不关系它内部是什么，索引消息的具体格式与Kafka无关。消息可以有一个可选的key，这个key也是个字符数组，与消息
当消息写入不同分区时需要可控，可以用到键，如对键进行一致性hash。第3章将详细介绍键的用法。
在这一部分中，我们将探讨RabbitMQ和Apache Kafka以及它们的消息传递方法。每种技术在设计的每个方面都做出了截然不同的决定，每种方面都有优点和缺点。我们不会在这一部分得出任何有力的结论，而是将其视为技术的入门，以便我们可以深入探讨该系列的后续部分。
Kafka是一个开源的，轻量级的、分布式的、具有复制备份、基于zooKeeper协调管理的分布式消息系统。
Apache Kafka是消息引擎系统，也是一个分布式流处理平台（Distributed Streaming Platform）
作者:Sijie Guo 来源:https://streaml.io/blog/pulsar-streaming-queuing
Kafka 的基本数据单元被称为 message(消息)，为减少网络开销，提高效率，多个消息会被放入同一批次 (Batch) 中后再写入。
用生产者客户端 API 向 Kafka 生产消息，用消费者客户端 API 从 Kafka 读取这些消息。
PartitionStateMachine，分区状态机负责管理Kafka分区状态的转换，类似ReplicaStateMachine。
Kafka是⼀个分布式、分区的、多副本的、多⽣产者、多订阅者，基于zookeeper协调的分布式⽇志系统（也可以当做MQ系统），常⻅可以⽤于web/nginx⽇志、访问⽇志，消息服务等等。 Kafka主要应⽤场景：⽇志收集系统和消息系统
在本系列的Pulsar和Kafka比较文章中，我将引导您完成我认为重要的几个领域，并且对于人们选择强大，高可用性，高性能的流式消息传递平台至关重要。消息传递模型(Messaging model)是用户在选择流式消息传递系统时应首先考虑的事情。消息传递模型应涵盖以下3个方面：
每个集群都有一个broker是集群控制器（自动从集群的活跃成员中选举出来） 控制器负责管理工作： 将分区分配给broker 监控broker 集群中一个分区属于一个broker，该broker称为分区首领。 一个分区可以分配给多个broker，此时会发生分区复制。 分区的复制提供了消息冗余，高可用。副本分区不负责处理消息的读写。
Kafka在可配置数量的服务器上复制每个主题分区的日志（您可以逐个主题地设置此复制因子）。这允许在群集中的服务器发生故障时自动故障转移到这些副本，以便在出现故障时消息仍然可用。
kafka是用来干嘛的？ 一个系统通常拥有许多的应用场景，比如聊天，购物，前端交互等，每个场景的数据进行单独分析的时候需要有各自的队列来搜集数据，然后分发给各自的后台来处理数据，各自的维护成本大，kafka则可以用来解决这些问题，它提供了多个数据的入口，并可以分发给下游多个地方消费
Kafka生产者 Kafka生产者将记录发送到主题。记录有时被称为消息。 生产者选择哪个分区将记录发送到每个主题。生产者可以轮循发送记录。根据记录的优先级，生产者可以基于向某些分区发送记录来实现优先
来源 | http://r6d.cn/b2u2p Apache Kafka 已成为跨微服务异步通信的主流平台。它有很多强大的特性，让我们能够构建健壮、有弹性的异步架构。 同时，我们在使用它的过程中也需要小心很多潜在的陷阱。如果未能提前发现可能发生（换句话说就是迟早会发生）的问题，我们就要面对一个容易出错和损坏数据的系统了。 在本文中，我们将重点介绍其中的一个陷阱：尝试处理消息时遭遇失败。首先，我们需要意识到消息消费可能会，而且迟早会遭遇失败。其次，我们需要确保在处理此类故障时不会引入更多问题。 Kafka
Apache Kafka是一个事件流平台，其结合了三个关键的功能，使你可以完成端到端的事件流解决方案。
在过去的几年里，软件架构领域发生了巨大的变化。人们不再认为所有的系统都应该共享一个数据库。微服务、事件驱动架构和CQRS（命令查询的责任分离 Command Query Responsibility Segregation）是构建当代业务应用程序的主要工具。除此以外，物联网、移动设备和可穿戴设备的普及，进一步对系统的近实时能力提出了挑战。
其实回答这类问题，说白了，起码不求你看过那技术的源码，起码你大概知道那个技术的基本原理，核心组成部分，基本架构构成，然后参照一些开源的技术把一个系统设计出来的思路说一下就好
作为一个有丰富经验的微服务系统架构师，经常有人问我，“应该选择RabbitMQ还是Kafka？”。基于某些原因， 许多开发者会把这两种技术当做等价的来看待。的确，在一些案例场景下选择RabbitMQ还是Kafka没什么差别，但是这两种技术在底层实现方面是有许多差异的。
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。--百度百科
Apache Kafka 已成为跨微服务异步通信的主流平台。它有很多强大的特性，让我们能够构建健壮、有弹性的异步架构。
其实回答这类问题，说白了，不求你看过那技术的源码，起码你要大概知道那个技术的基本原理、核心组成部分、基本架构构成，然后参照一些开源的技术把一个系统设计出来的思路说一下就好。
本文翻译自国外论坛 medium，原文地址：https://medium.com/better-programming/rabbitmq-vs-kafka-1ef22a041793
通常在生产环境新增业务主题，我们都需要提前预测到，然后做好充分的准备，本文将介绍在生产环境中创建Topic时需要考虑的所有参数。
Apache Kafka 是什么？干什么用的？本文试图从基本元素等微观角度去剖析Apache Kafka的原理机制。作为一个分布式的基于发布/订阅模式的消息队列(Message Queue)，主要应用于大数据实时处理领域，由 LinkedIn 开发，基于Scala 编写，Apache Kafka以可水平扩展和高吞吐率而被广泛使应用于各行各业，是大型分布式系统不可缺少的中间件产品。
按消息键保序策略：一旦消息被定义了 Key，那么你就可以保证同一个 Key 的所有消息都进入到相同的分区里面，由于每个分区下的消息处理都是有顺序的，故这个策略被称为按消息键保序策略
其实从候选人的角度来看这个问题，大部分人一上来可能回懵逼的状态。平常很少涉及这个问题，一般平时只要知道怎么使用，了解一些其中比较重要的原理。根本很少去从全局的角度去考虑这个问题，想一些它背后的东西。类似这样的问题其实有很多，比如：如果让你设计一个Spring框架你会怎么做，让你涉及一个Dubbo RPC远程调用框架你怎么设计？让你设计一个MyBatis框架你会怎么去设计？这样的问题其实核心的点也不要你完全看过它核心的源码。只要你大致知道实现它的技术原理、核心技术组成、以及一些关键问题的解决思路是如何的。按着这种方式把链路串起来回答就好。
本文是一个系列文章的第一部分，阐述了如何基于事件溯源的理念在不影响既有业务的情况下，对单体式的 CRUD 应用进行改造。
数据流 在当今的数据环境中，没有一个系统可以提供所有必需的观点来提供真正的洞察力。从数据中获取完整含义需要混合来自多个来源的大量信息。 与此同时，我们不耐烦地立即获得答案;如果洞察时间超过10毫秒，那么该值就会丢失 - 高频交易，欺诈检测和推荐引擎等应用程序不能等待。这通常意味着在数据进入记录数据库之前分析数据的流入。为数据丢失增加零容忍，挑战变得更加艰巨。 Kafka和数据流专注于从多个消防软管摄取大量数据，然后将其路由到需要它的系统 - 过滤，汇总和分析途中。 本文介绍了Apache Kafka，
在 Kafka 中，客户端和服务器之间的通信是通过简单，高性能，语言无关的TCP协议完成的。此协议已版本化并保持与旧版本的向后兼容性。Kafka 提供 Java 客户端，但客户端有多种语言版本。
Kafka 是一个分布式流媒体平台，kafka官网：http://kafka.apache.org/
摘抄自官网首页的一段话: Apache Kafka 是一个开源分布式事件流平台，被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用程序。
Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。 优势：
你有没有对某一个消息队列做过较为深入的原理的了解，或者从整体了解把握住一个消息队列的架构原理。
Kafka 起初是 由 LinkedIn 公司采用 Scala 语言开发的一个多分区、多副本且基于 ZooKeeper 协调的分布式消息系统，现已被捐献给 Apache 基金会。目前 Kafka 已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。目前越来越多的开源分布式处理系统如 Cloudera、Storm、Spark、Flink 等都支持与 Kafka 集成。
在Kafka中，每一个客户端和服务器的连接都以一种简单的，高性能的，语言无关的TCP协议完成。这个协议的版本能够向后维护来兼容旧版本。我们提供了一个Java客户端，但是客户端其实在很多语言中都可用。
使用kafka可以对系统解耦、流量削峰、缓冲，可以实现系统间的异步通信等。在活动追踪、消息传递、度量指标、日志记录和流式处理等场景中非常适合使用kafka。这篇文章主要介绍下kafka中的基本概念。
本文介绍了Kafka主题的架构，并讨论了分区，如何做故障切换和并行处理。 Kafka Topic，日志和分区 回想一下，Kafka Topic是一个命名的记录流。Kafka将Topic存储在日志中。Topic日志被分解成分区。 Kafka将日志的分区扩展到多个服务器或磁盘。将Topic视为类别，流名称或Feed。 主题是固有的发布和订阅风格的信息。主题可以有零个或多个用户称为消费者组。主题因速度，可扩展性和大小等因素被分解成多个分区。 Kafka Topic分区 Kafka将Topic日志分解成分区
在大数据和实时流处理的领域，Apache Kafka凭借其高性能、高吞吐量和可扩展性，成为了业界广泛使用的分布式消息队列系统。然而，在诸多应用场景中，消息的顺序性往往是一个至关重要的需求。无论是金融交易、日志记录还是其他需要精确时间线的业务场景，消息的顺序消费都显得尤为关键。
上篇聊了Kafka概况，包含了Kafka的基本概念、设计原理，以及设计核心。本篇单独聊聊Kafka的生产者，包括如下内容：
kafka学习之路（一）——入门 Kafka学习之路... 一、入门.. 1、 简介 2、 主题（Topics）、日志（Logs） 3、 分布式（Distribution） 4、 生产者（Producers） 5、 消费者（Consumers） 一、入门 1、简介 Kafka 是linkedin 公司用于日志处理的分布式消息队列，同时支持离线和在线日志处理。kafka 对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka 集群有多个kafka 实
被概括为“开源分布式消息代理”，用Erlang编写，有助于在复杂的路由方案中有效地传递消息，可以通过服务器上启用的插件进行扩展，高可用（队列可以在集群中的机器上进行镜像）
Apache Kafka 是一个分布式的流处理平台（分布式的基于发布/订阅模式的消息队列【Message Queue】）。
kafka是一款基于发布与订阅的消息系统。它一般被称为“分布式提交日志”或者“分布式流平台”。文件系统或者数据库提交日志用来提供所有事物的持久化记录，通过重建这些日志可以重建系统的状态。同样地，kafka的数据是按照一定顺序持久化保存的，可以按需读取。
日常开发中，相信大家都对 Kafka 有所耳闻，Kafka 作为一个分布式的流处理平台，一般用来存储和传输大量的消息数据。在 Kafka 中有三个重要概念，分别是 topic、partition 和 offset。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
