前言 在日常开发过程中使用kafka来实限流削峰作用但是往往kafka会存放多份副本来防止数据丢失，那你知道他的机制是什么样的吗？本篇文章就带给大家讲解下。 ?...3.3 零拷贝 Kafka 所有数据的写入和读取都是通过零拷贝来实现的。...Exception: Replication factor: 3 larger than available brokers: 1. 4.2 分区数据保留规则 保留数据是 Kafka...的一个基本特性， 但是 Kafka 不会一直保留数据，也不会等到所有消费者都读取了消息之后才删除消息。...相反， Kafka 为每个主题配置了数据保留期限，规定数据被删除之前可以保留多长时间，或者清理数据之前可以保留的数据量大小。
所以为了提高读写硬盘的速度，Kafka使用顺序I/O，来减少了寻址时间：收到消息后Kafka会把数据插入到文件末尾，每个消费者（Consumer）对每个Topic都有一个offset用来表示读取的进度。...因为顺序写入的特性，所以Kafka是无法删除数据的，它会将所有数据都保留下来。 Page Cache 为了优化读写性能，Kafka使用操作系统缓存——Page Cache，而不是JVM空间内存。...零拷贝并不是Kafka特有的机制，而是一种操作系统的底层支持，在NIO和Netty中都有应用，可以查看博客《NIO效率高的原理之零拷贝与直接内存映射》与《彻底搞懂Netty高性能之零拷贝》 批量压缩 Kafka...linger.ms：这个设置是配合batch.size一起来设置，可避免消息长时间凑不满单位的Batch，导致消息一直积压在内存里发送不出去的情况。默认大小是0ms（就是有消息就立即发送）。...补充 消息写的过程 ? 生产者发送批量压缩的数据到broker。 broker通过直接内存映射，直接将数据写入Page Cache中。
但是，如果任何节点失败，我们还使用Zookeeper从先前提交的偏移量中恢复，因为它做周期性提交偏移量工作。 6. 没有ZooKeeper可以使用Kafka吗？...Apache Kafka是分布式流处理平台吗？如果是，你能用它做什么？ 答：毫无疑问，Kafka是一个流处理平台。...另外，我们可以用Kafka构建一个实时流处理平台，它可以对数据快速做出反应。 15. 在Kafka集群中保留期的目的是什么？ 答：保留期限保留了Kafka群集中的所有已发布记录。...此外，可以通过使用保留期的配置设置来丢弃记录。而且，它可以释放一些空间。 16. 解释Kafka可以接收的消息最大为多少？ 答：Kafka可以接收的最大消息大小约为1000000字节。...offset 消费者组 + 主题 + 分区 决定 offset, 消费者连接 Kafka 可以顺序写磁盘， 零拷贝技术 38. Range 分区?
关于为什么使用MQ（为什么使用消息队列）可参考文章：对线面试官-为什么要使用MQ流式处理：比如：storm/Spark流式处理引擎Kafka的架构是怎么样的Kafka的架构是整体设计比较简单，是显示的分布式架构...处理不好的话，broker上的一个消息可能会被消费多次消息持久化：Kafka会把消息持久化到本地文件系统中，并且保持极高的效率消息有效期：Kafka会长久保留其中的消息，以便consumer可以多次消费...：Kafka使用零拷贝技术来避免了数据的拷贝操作性能问题，降低了内存和CPU的使用率，提高了系统的性能磁盘顺序写入：Kafka把消息存储在磁盘上，且以顺序的方式写入数据。...避免了随机读写带来的性能损耗，提高了磁盘的使用效率页缓存：Kafka将其数据存储在磁盘中，但在访问数据时，它会先将数据加载到操作系统中的页缓存中，并在页缓存中保留一份副本，从而实现快速的数据访问。...我正在参与2024腾讯技术创作特训营第五期有奖征文，快来和我瓜分大奖！
Broker单个实例下所有的队列共用一个日志数据文件CommitLog来存储。而Kafka采用的是独立型的存储结构，每个队列一个文件。...主流的MQ都会使用零拷贝技术，来提升IO： Kafka：record 的读和写都是基于 FileChannel。index 的读写则基于 MMAP。...RocketMQ 使用存储时长作为消息存储的依据，即每个节点对外承诺消息的存储时长。在存储时长范围内的消息都会被保留，无论消息是否被消费；超过时长限制的消息则会被清理掉。...延长消息存储时长，可以为紧急故障恢复、应急问题排查和消息回溯带来更多的可操作空间。...如果还想了解更多，欢迎关注下一期内容。
分区中的记录每个都被分配一个称为偏移的顺序ID号，它唯一地标识分区中的每个记录。 ? Kafka集群持久地保留所有已发布的记录 - 无论它们是否已被消耗 - 使用可配置的保留期。可以配置这个时间。...Kafka的性能在数据大小方面实际上是恒定的，因此长时间存储数据不是问题。 ? 每个消费者保留的唯一元数据是该消费者在日志中的偏移或位置。...在这个领域，Kafka可与传统的消息传递系统（如ActiveMQ或 RabbitMQ）相媲美。...零拷贝技术 客户端应用epoll 所以kafka部署在linux上性能更高。...一旦leader replica所在的broker宕机，会选出新的leader。 kafka保证一个partition的多个replica一定不会分配到同一台broker上。
Kafka®用于构建实时数据管道和流式应用程序。它具有水平可扩展性、容错性、速度极快，并在数千家公司投入生产。...分区中的记录每个都被分配一个称为偏移的顺序ID号，它唯一地标识分区中的每个记录。 ? Kafka集群持久地保留所有已发布的记录 - 无论它们是否已被消耗 - 使用可配置的保留期。可以配置这个时间。...Kafka的性能在数据大小方面实际上是恒定的，因此长时间存储数据不是问题。 ? 每个消费者保留的唯一元数据是该消费者在日志中的偏移或位置。...在这个领域，Kafka可与传统的消息传递系统（如ActiveMQ或 RabbitMQ）相媲美。...一旦leader replica所在的broker宕机，会选出新的leader。 kafka保证一个partition的多个replica一定不会分配到同一台broker上。
Kafka是分布式发布-订阅消息系统，它最初是由LinkedIn公司开发的，之后成为Apache项目的一部分，Kafka是一个分布式，可划分的，冗余备份的持久性的日志服务，它主要用于处理流式数据。...Zero-copy 零拷技术减少拷贝次数 Batching of Messages 批量量处理。合并小的请求，然后以流的方式进行交互，直顶网络上限。...此外，它允许对主题的流数据进行连续处理。由于它的广泛使用，它秒杀了竞品，如ActiveMQ，RabbitMQ等。 Kafka集群中保留期的目的是什么？ 保留期限保留了Kafka群集中的所有已发布记录。...此外，可以通过使用保留期的配置设置来丢弃记录。而且，它可以释放一些空间。 Kafka和Flume之间的主要区别是什么？ 工具类型 Apache Kafka 是面向多个生产商和消费者的通用工具。...没有zookeeper可以使用Kafka吗？ 绕过Zookeeper并直接连接到Kafka服务器是不可以的，所以答案是否定的。
1 kafka broker 1.1 kafka broker 工作流程 这一部分大体了解下kafka Broker的工作流程，看一下zookeeper在kafka broker工作中发挥的作用...（相当于关闭）；当设置为1G时，表示日志文件最大值 具体的保留日志策略有三种： 基于时间策略 日志删除任务会周期检查当前日志文件中是否有保留时间超过设定的阈值来寻找可删除的日志段文件集合...如果应用只关心 key对应的最新 value值，则可以开启 Kafka相应的日志清理功能，Kafka会定期将相同 key的消息进行合并，只保留最新的 value值。...4）页缓冲和零拷贝 Kafka的producer生产数据，要写入到log文件中，写的过程是一直追加到文件末端，为顺序写。...1.3.2 零拷贝技术 零拷贝并不是不需要拷贝，而是减少不必要的拷贝次数，通常使用在IO读写过程中。
4.2 kafka的好处 1、可靠性：分布式的，分区，复制和容错。 2、可扩展性：kafka消息传递系统轻松缩放，无需停机。...kafka非常快：保证零停机和零数据丢失 Kafka的补充说明： kafka消息保留在磁盘上，并在集群内复制以防止数据丢失（不能提高数据的读取效率）。 消费端为拉模型来主动拉取数据。...1、Consumer Group：每一个Consumer属于一个特定的Consumer Group（可以为每个Consumer指定 groupName） 2、Broker：kafka集群中包含一个或者多个服务实例...Consumer：消息消费者,向kafka的broker中读取消息的客户端 Consumer Group：每一个Consumer属于一个特定的Consumer Group（可以为每个Consumer指定...IO，kafka是一个高吞吐量的消息系统，这个情况不允许发生）所以不会在零个broker中启动。
2.1 日志删除 在 Kafka 的日志、管理器中会有一个专门的日志删除任务来周期性地检测和删除不符合保留条件的 日志分段文件，这个周期可以通过 broker端参数 log.retention.check.interval.ms...当前日志分段的保留策略有 3 种 : 基于时间的保留策略 日志删除任务会检查当前日志文件中是否有保留时间超过设定的阈值来寻找可删除的日志分段文件集合。...基于 志大小的保留策略 日志删除任务会检查当前日志的大小是否超过设定的阈值来寻找可删除的日志分段的文件集合。...基于日志大小的保留策略与基于时间的保留策略类似，首先计算日志文件的总大小 size和 retentionSize 的差值 di筐，即计算需要删除的日志总大小，然后从日志文件中的第一个日志分段 开始进行查找可删除的日志分段的文件集合...零拷贝是针对内核模式而言的，数据在内核模式下实现了零拷 贝 。 3、时间轮算法 Kafka中存在大量的延时操作，比如延时生产、延时拉取和延时删除等。
基于时间 日志删除任务会检查当前日志文件中是否有保留时间超过设定的阈值（retentionMs）来寻找可删除的日志分段文件集合（deletableSegments）retentionMs 可以通过 broker...单个日志分段的大小由 broker 端参数 log.segment.bytes 来限制，默认值为1073741824，即 1GB。 这个删除操作和基于时间的保留策略的删除操作相同。...收集完可删除的日志分段的文件集合之后的删除操作同基于日志大小的保留策略和基于时间的保留策略相同 聊一聊你对Kafka的Log Compaction的理解 日志压缩（Log Compaction）：针对每个消息的...零拷贝 除了消息顺序追加、页缓存等技术，Kafka 还使用零拷贝（Zero-Copy）技术来进一步提升性能。所谓的零拷贝是指将数据直接从磁盘文件复制到网卡设备中，而不需要经由应用程序之手。...聊一聊Kafka控制器的作用 在 Kafka 集群中会有一个或多个 broker，其中有一个 broker 会被选举为控制器（Kafka Controller），它负责管理整个集群中所有分区和副本的状态
可与linger.ms配合使用。...，通常可设置范围到`5~100ms`` acks: NetworkClient发送请求消息到kafka cluster后cluster的应答机制，取值可以为0, 1, -1或all，其中-1和all是一样的...零拷贝 【linux】图文并茂|彻底搞懂零拷贝（Zero-Copy）技术 具体体现在broker网络IO数据持久化到磁盘(Producer->broker)中以及broker消息发送到网络IO...中(broker->Consumer) 在收到生产者的消息后，正常不采用零拷贝的话需要经过4次数据拷贝，4次用户态内核态的切换。...Kafka 在这里采用的方案是通过 NIO 的 transferTo/transferFrom 调用操作系统的 sendfile 实现零拷贝。
Kafka 0.8 以前，是没有 HA 机制的，就是任何一个 broker 宕机了，那个 broker 上的 partition 就废了，没法写也没法读，没有什么高可用性可言。...，之前消费过吗？...消费端弄丢了数据 唯一可能导致消费者弄丢数据的情况，就是说，你消费到了这个消息，然后消费者那边自动提交了 offset，让 Kafka 以为你已经消费好了这个消息，但其实你才刚准备处理这个消息，你还没处理...Kafka 弄丢了数据 这块比较常见的一个场景，就是 Kafka 某个 broker 宕机，然后重新选举 partition 的 leader。...我们生产环境就是按照上述要求配置的，这样配置之后，至少在 Kafka broker 端就可以保证在 leader 所在 broker 发生故障，进行 leader 切换时，数据不会丢失。
至今已有十余年，仍然是大数据领域不可或缺的并且是越来越重要的一个组件。 Kafka 适合离线和在线消息，消息保留在磁盘上，并在集群内复制以防止数据丢失。kafka构建在zookeeper同步服务之上。...它与 Flink 和 Spark 有非常好的集成，应用于实时流式数据分析。 Kafka特点： 可靠性：具有副本及容错机制。 可扩展性：kafka无需停机即可扩展节点及节点上线。...性能：kafka具有高吞吐量。达到TB级的数据，也有非常稳定的性能。 速度快：顺序写入和零拷贝技术使得kafka延迟控制在毫秒级。 Kafka 底层原理 先看下 Kafka 系统的架构 ?...group（可以为每个consumer指定 groupName）； .log：存放数据文件； .index：存放.log文件的索引数据。...kafka主题始终是支持多用户订阅的；也就是说，一 个主题可以有零个，一个或者多个消费者订阅写入的数据； 在kafka集群中，可以有无数的主题； 生产者和消费者消费数据一般以主题为单位。
至今已有十余年，仍然是大数据领域不可或缺的并且是越来越重要的一个组件。 Kafka 适合离线和在线消息，消息保留在磁盘上，并在集群内复制以防止数据丢失。kafka构建在zookeeper同步服务之上。...它与 Flink 和 Spark 有非常好的集成，应用于实时流式数据分析。 Kafka特点： 可靠性：具有副本及容错机制。 可扩展性：kafka无需停机即可扩展节点及节点上线。...性能：kafka具有高吞吐量。达到TB级的数据，也有非常稳定的性能。 速度快：顺序写入和零拷贝技术使得kafka延迟控制在毫秒级。...Kafka 底层原理 先看下 Kafka 系统的架构 kafka支持消息持久化，消费端是主动拉取数据，消费状态和订阅关系由客户端负责维护，消息消费完后，不会立即删除，会保留历史消息。...kafka主题始终是支持多用户订阅的；也就是说，一 个主题可以有零个，一个或者多个消费者订阅写入的数据； 在kafka集群中，可以有无数的主题； 生产者和消费者消费数据一般以主题为单位。
低延时，可扩展 2....零拷贝 Kafka中存在大量的网络数据持久化到磁盘（Producer到Broker）和磁盘文件通过网络发送（Broker到Consumer）的过程。这一过程的性能直接影响Kafka的整体吞吐量。...offset, 消费者连接 Kafka 可以顺序写磁盘， 零拷贝技术 9 是什么确保了Kafka中服务器的负载平衡？...在Kafka集群中保留期的目的是什么？ 答：保留期限保留了Kafka群集中的所有已发布记录。它不会检查它们是否已被消耗。此外，可以通过使用保留期的配置设置来丢弃记录。而且，它可以释放一些空间。...Kafka中的数据日志是什么？ 答：我们知道，在Kafka中，消息会保留相当长的时间。此外，消费者还可以根据自己的方便进行阅读。
Kafka里的ZooKeeper主要有一下几个作用： Broker注册，当有Broker故障的时候能及时感知。...消息TTL 消息TTL表示一条消息的生存时间，如果消息发出来后，在TTL的时间内没有消费者进行消费，消息队列会将消息删除或者放入死信队列中。 Kafka根据设置的保留期来删除消息。...消息保留期与消息TTL之间的区别在于：消息保留期作用于标记为已确认并设置为已删除的消息，而TTL作用于未ack的消息。上面的图例中说明了Pulsar中的TTL。...作为一种企业级的消息系统，Pulsar的多租户能力按照设计可满足下列需求： 确保严苛的SLA可顺利满足。 保证不同租户之间的隔离。 针对资源利用率强制实施配额。 提供每租户和系统级的安全性。...部分用户误以为Pulsar使用了很多组件，因此需要很多服务器来实现与Kafka相匹敌的性能。
9）Zookeeper：Kafka 通过Zookeeper来存储集群中的 meta 消息 2、Kafka 性能高原因 利用了 PageCache 缓存 磁盘顺序写 零拷贝技术 pull 拉模式 3、...消费者检查：对于指定的主题集和消费者组，可显示主题、分区、所有者 15、Kafka 中消费者与消费者组的关系与负载均衡实现 Consumer Group 是Kafka独有的可扩展且具有容错性的消费者机制...26、Kafka 可接收的消息最大默认多少字节，如何修改 Kafka可以接收的最大消息默认为1000000字节，如果想调整它的大小，可在Broker中修改配置参数：Message.max.bytes的值...32、Kafka 的日志保留期与数据清理策略 概念 保留期内保留了Kafka群集中的所有已发布消息，超过保期的数据将被按清理策略进行清理。...Kafka 是一个分布式流处理平台，它的高吞吐量、低延时、高可靠性、容错性、高可扩展性都使得Kafka非常适合作为流式平台。
领取专属 10元无门槛券
手把手带您无忧上云
