首页
学习
活动
专区
工具
TVP
发布
您找到你想要的搜索结果了吗?
是的
没有找到

00 Confluent_Kafka权威指南-前言部分

kafka的流式处理能力让你用更少的代码就可以实现对数据的动态流式计算。这些差异让kafka自成体系,简单的只是认为kafka是另外一种消息队列是没有任何意义的。...另外一个关于kafka的观点,也是我们设计和开发kafka的初衷之一,我们可以把kafka看成一个实时版本的hadoop。...— Jay Kreps Preface 前言 Cofounder and CEO at Confluent 对于技术类书籍的作者,你能给予的最大的赞美就是“这是我在开始学习这门课程的时候所希望看到的书”...本书包括如何安装和配置kafka,以及如何使用kafka API,我们还致力于对kafka的设计原则和可靠性担保、探索kafka让人入胜的架构细节:副本协议、控制层、存储层。...你越是理解kafka内部的工作机制,就越是能对kafka的需对权衡做出更好的选择。

67930

02 Confluent_Kafka权威指南 第二章:安装kafka

CHAPTER 2 Installing Kafka kafka的安装配置 本章节描述了如何安装apache kafka的broker,以及如何设置apache zookeeper,zookeeper被用于存储...本章的安装步骤主要对linux环境安装kafka进行讨论。因为这是安装kafka最常见的操作系统。这也是一般kafka所推荐的操作系统。...下面示例在/usr/local/kafka中安装kafka,在zookeeper启动之后,进行配置。...消息存储在/tmp/kafka-logs: # tar -zxf kafka_2.11-0.9.0.1.tgz # mv kafka_2.11-0.9.0.1 /usr/local/kafka # mkdir...kafka有许多配置参数可以对kafka进行设置和调优。许多选项可以使用默认配置,在kafka的调优方面,你只有在一个特定的使用例或者将这些设置调整为特定值。

1.2K20

01 Confluent_Kafka权威指南 第一章:初识kafka

CHAPTER 1 Meet Kafka 初识kafka 每个企业都离不开数据,我们接收数据、分析数据、加工数据,并将数据输出。...Enter Kafka 进入kafka apache kafka是一个旨在解决此类问题的发布订阅消息系统。它通常被叫做“分布式日志系统”,最近又被称为“分布式流平台”。...Kafka’s Origin kafka起源 kafka最初是为了解决linkedin数据管道问题而设计的。...2014年秋天,jay kreps,neha narkhede 和 jun rao 离开linkedin成立了confluent公司,这是一家致力于为apache kafka提供开发、企业支持和培训的公司...Getting Started with Kafka 现在我们已经了解了kafka和它的历史,我们可以下载并构建我们自己的数据管道。在下一章,我们将继续介绍如何安装和配置kafka

1.1K40

10 Confluent_Kafka权威指南 第十章:监控kafka

监控kafka Apache Kafka有许多针对其操作的度量,这些度量指标非常多,会让人混淆哪些是重要的,哪些是可以忽略的。...如果你使用相同的系统来监视kafka本身,你可能永远不会值得kafka什么时候坏掉。因为你的监视系统的数据流也会坏掉。...有许多方法可以解决这个问题,一种方式是为kafka使用独立的监控系统,不依赖于kafka。如果有多个数据中心,另外一种方法是确保kafka集群的指标在数据中心A被产生到数据中心B,反之亦然。...打开kafka.log.LogCleaner。kafka.log.LogCleaner和kafka.log.LogCleanerManager默认的日志级别是DEBUG,将输出线程状态信息。...此外,者意味着如果你复杂允许的kafka集群而不是客户机,那么限制还必须监视所有的客户机。你真正需要知道的是: 我可以想kafka集群写入消息吗? 我可以消费kafka集群中的消息吗?

1.9K31

05 Confluent_Kafka权威指南 第五章: kafka内部实现原理

何时开始compacted Summary 概要 CHAPTER 5 Kafka Internals kafka内部原理 为了在生产环境中运行kafka或者编写使用它的应用程序,并不一定要理解kafka...然而,理解kafka的工作原理,有助于故障排查,理解kafka的工作行为。...具体代码实现细节本书不做深入描述,但是,kafka有关的从业人员,必须关注如下三个内容: kafka的副本机制是如何工作的 kafka如何处理来自生产者和消费者的请求 kafka的数据存储,如文件格式和索引...例如在过去kafka的消费者使用apache zookeeper来跟踪它们从kafka中收到的补偿。...另外一个用例可以是使用kafka存储其当前状态的应用程序。每次状态改变时,应用程序都会将新状态写入kafka。当从崩溃中恢复时,应用程序从kafka读取这些消息来恢复它的最新状态。

71230

11 Confluent_Kafka权威指南 第十一章:流计算

我们认为流处理变得更加流行是因为它是在kafka之后创建的,因此可以使用kafka做为一个可靠的事件流处理源。...我们将其存储在kafka中,以便稍后我们可以从该数据重写填充到本地缓存。kafka对这些topic使用日志压缩来实现。...每个名称必须是唯一的kafka流应用程序与相同的kafka集群一起工作。...kafka Streams的应用程序总是从kafka的topic读取数据,并将其输出写入到kafka的topic中,正如我们稍后将讨论的,kafka流应用程序也使用kafka的协调器。...Kafka Streams: Architecture Overview kafka流架构概述 上一节的示例中演示了如何使用kafka流API来实现一些著名的流处理设计模式。

1.5K20

07 Confluent_Kafka权威指南 第七章: 构建数据管道

kafka connect使用转换器来支持kafka中存储的不同格式的数据对象。json格式支持是kafka的一部分。Confluent的模式注册中心提供了avro的转换器。...默认是使用apache kafka中包含的JSON converter的json格式,也可以设置为Avro Converter,它是Confluent 模式注册表的一部分。..."}, {"class":"io.confluent.connect.elasticsearch.ElasticsearchSinkConnector"}, {"class":"org.apache.kafka.connect.file.FileStreamSinkConnector..."}, {"class":"io.confluent.connect.jdbc.JdbcSourceConnector"}] 我们可以看代,现在我们的connect集群中有了额外的连接器插件。...confluent维护了我们所知的所有连接器列表,包括由公司和社区编写和支持的连接器。你可以在列表中选择你希望使用的任何连接器。

3.4K30

Kafka和Flink双剑合璧,Confluent收购Immerok引起业内广泛讨论

2023年开年开源界就出了一个大新闻,1月6日Kafka的商业化公司Confluent创始人宣布签署了收购 Immerok 的最终协议,而Immerok是一家为 Apache Flink 提供完全托管服务的初创公司...无论是Kafka还是Flink,都是大数据领域内非常重要的开源软件,被成千上万的企业所应用,两者的结合可谓是“双剑合璧”,更加重要的是Immerok的创始团队正是Apache Flink的创始人所在的团队...Confluent可能因此腾飞! Kafka的成功自不必赘述,Confluent靠着Kafka上市以后最高触达了94亿美元的市值。Flink出现以后在实时计算领域可谓突飞猛进,风头正盛。...Kafka作为消息队列更多承担的流存储的功能,在流计算方面还不算特别突出,Kafka Streaming项目一直都是不温不火,这也是Confluent无奈的地方,这次收购了Immerok,就恰恰补足了流式计算的短板...就连Confluent的创始人也表示,收购了Immerok后,将可以向Confluent Cloud 添加完全托管的 Flink 产品,这对于 Confluent 来说,是非常令人兴奋的一步。

48830
领券