学习
实践
活动
专区
工具
TVP
写文章
  • 广告
    关闭

    新年·上云精选

    热卖云产品新年特惠,2核2G轻量应用服务器9元/月起,更多上云必备产品助力您轻松上云

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    00 Confluent_Kafka权威指南-前言部分

    kafka的流式处理能力让你用更少的代码就可以实现对数据的动态流式计算。这些差异让kafka自成体系,简单的只是认为kafka是另外一种消息队列是没有任何意义的。 另外一个关于kafka的观点,也是我们设计和开发kafka的初衷之一,我们可以把kafka看成一个实时版本的hadoop。 — Jay Kreps Preface 前言 Cofounder and CEO at Confluent 对于技术类书籍的作者,你能给予的最大的赞美就是“这是我在开始学习这门课程的时候所希望看到的书” 本书包括如何安装和配置kafka,以及如何使用kafka API,我们还致力于对kafka的设计原则和可靠性担保、探索kafka让人入胜的架构细节:副本协议、控制层、存储层。 你越是理解kafka内部的工作机制,就越是能对kafka的需对权衡做出更好的选择。

    42030

    01 Confluent_Kafka权威指南 第一章:初识kafka

    CHAPTER 1 Meet Kafka 初识kafka 每个企业都离不开数据,我们接收数据、分析数据、加工数据,并将数据输出。 Enter Kafka 进入kafka apache kafka是一个旨在解决此类问题的发布订阅消息系统。它通常被叫做“分布式日志系统”,最近又被称为“分布式流平台”。 Kafka’s Origin kafka起源 kafka最初是为了解决linkedin数据管道问题而设计的。 2014年秋天,jay kreps,neha narkhede 和 jun rao 离开linkedin成立了confluent公司,这是一家致力于为apache kafka提供开发、企业支持和培训的公司 Getting Started with Kafka 现在我们已经了解了kafka和它的历史,我们可以下载并构建我们自己的数据管道。在下一章,我们将继续介绍如何安装和配置kafka

    53840

    10 Confluent_Kafka权威指南 第十章:监控kafka

    监控kafka Apache Kafka有许多针对其操作的度量,这些度量指标非常多,会让人混淆哪些是重要的,哪些是可以忽略的。 如果你使用相同的系统来监视kafka本身,你可能永远不会值得kafka什么时候坏掉。因为你的监视系统的数据流也会坏掉。 有许多方法可以解决这个问题,一种方式是为kafka使用独立的监控系统,不依赖于kafka。如果有多个数据中心,另外一种方法是确保kafka集群的指标在数据中心A被产生到数据中心B,反之亦然。 打开kafka.log.LogCleaner。kafka.log.LogCleaner和kafka.log.LogCleanerManager默认的日志级别是DEBUG,将输出线程状态信息。 此外,者意味着如果你复杂允许的kafka集群而不是客户机,那么限制还必须监视所有的客户机。你真正需要知道的是: 我可以想kafka集群写入消息吗? 我可以消费kafka集群中的消息吗?

    1.2K31

    05 Confluent_Kafka权威指南 第五章: kafka内部实现原理

    何时开始compacted Summary 概要 CHAPTER 5 Kafka Internals kafka内部原理 为了在生产环境中运行kafka或者编写使用它的应用程序,并不一定要理解kafka 然而,理解kafka的工作原理,有助于故障排查,理解kafka的工作行为。 具体代码实现细节本书不做深入描述,但是,kafka有关的从业人员,必须关注如下三个内容: kafka的副本机制是如何工作的 kafka如何处理来自生产者和消费者的请求 kafka的数据存储,如文件格式和索引 例如在过去kafka的消费者使用apache zookeeper来跟踪它们从kafka中收到的补偿。 另外一个用例可以是使用kafka存储其当前状态的应用程序。每次状态改变时,应用程序都会将新状态写入kafka。当从崩溃中恢复时,应用程序从kafka读取这些消息来恢复它的最新状态。

    30130

    07 Confluent_Kafka权威指南 第七章: 构建数据管道

    kafka connect使用转换器来支持kafka中存储的不同格式的数据对象。json格式支持是kafka的一部分。Confluent的模式注册中心提供了avro的转换器。 默认是使用apache kafka中包含的JSON converter的json格式,也可以设置为Avro Converter,它是Confluent 模式注册表的一部分。 "}, {"class":"io.confluent.connect.elasticsearch.ElasticsearchSinkConnector"}, {"class":"org.apache.kafka.connect.file.FileStreamSinkConnector "}, {"class":"io.confluent.connect.jdbc.JdbcSourceConnector"}] 我们可以看代,现在我们的connect集群中有了额外的连接器插件。 confluent维护了我们所知的所有连接器列表,包括由公司和社区编写和支持的连接器。你可以在列表中选择你希望使用的任何连接器。

    43830

    关注

    腾讯云开发者公众号
    10元无门槛代金券
    洞察腾讯核心技术
    剖析业界实践案例
    腾讯云开发者公众号二维码

    相关产品

    • 消息队列 CKafka

      消息队列 CKafka

      CKafka(Cloud Kafka)是一个分布式的、高吞吐量、高可扩展性的消息系统,100%兼容开源 Kafka API(0.9版本)。Ckafka 基于发布/订阅模式,通过消息解耦,使生产者和消费者异步交互,无需彼此等待。Ckafka 具有数据压缩、同时支持离线和实时数据处理等优点,适用于日志压缩收集、监控数据聚合等场景。

    相关资讯

    热门标签

    活动推荐

    扫码关注腾讯云开发者

    领取腾讯云代金券