kafka学习线路指导入门:包括理论、部署、实战知识汇总整理

每个人有每个人的学习思路,这里根据自己的思路来总结汇总下 思路: 1.什么是kafka,kafka基础理论知识 2.部署实践 3.实战相关知识 1.什么是kafka,kafka基础理论知识 对于kafka,如果接触过,我们知道他是用来传输数据的。里面的一些概念也还是懂得的。这里简单说下个人的一些认识,如有错误,欢迎指正交流。 在大数据里面,分区【partition】,很多人其实还是不理解的。我个人理解,分区其实就是对数据的一个分类。也就是众多的数据中,对数据进行整理归类。kafka中,还有一个概念就是topic,这个topic可能我们也创建过,但是topic是什么,还是模糊的,这里引用下面内容,感觉说的还是比较清楚的。

消息发送时都被发送到一个topic,其本质就是一个目录,而topic由是由一些Partition Logs(分区日志)组成

通过上面相信你对topic有了一些了解。 了解基本概念之后,可以在深入些,这里只说下个人的经验,一些可能误解的地方: kafka在传输数据的过程中,Kafka什么时候删除数据,消费完是否接着就删除数据,这个不是的。Kafka只有过期的数据才会被自动清除以释放磁盘空间。 除了数据删除,可能误解。一些比较难理解的或则容易混淆的地方: 比如Consumergroup与消息消费的关系,如何设置partition值需要考虑的因素等问题 Consumergroup:各个consumer可以组成一个组,每个消息只能被组中的一个consumer消费,如果一个消息可以被多个consumer消费的话,那么这些consumer必须在不同的组。 关于如何设置partition值需要考虑的因素。一个partition只能被一个消费者消费(一个消费者可以同时消费多个partition),因此,如果设置的partition的数量小于consumer的数量,就会有消费者消费不到数据。所以,推荐partition的数量一定要大于同时运行的consumer的数量。 更多内容,可参考下面文章: Kafka 设计与原理详解 http://www.aboutyun.com/forum.php?mod=viewthread&tid=15812 Kafka入门经典教程 http://www.aboutyun.com/forum.php?mod=viewthread&tid=12882 kafka入门:简介、使用场景、设计原理、主要配置及集群搭建 http://www.aboutyun.com/forum.php?mod=viewthread&tid=9341 分布式消息系统 Kafka 简介:特点、架构、设计、应用场景 http://www.aboutyun.com/forum.php?mod=viewthread&tid=11914 —————————————————————————— 上面是比较经典的内容,下面内容可随便看看,仅供参考: Kafka入门 http://www.aboutyun.com/forum.php?mod=viewthread&tid=11888 分布式消息系统:Kafka介绍 http://www.aboutyun.com/forum.php?mod=viewthread&tid=9038 Kafka文档:基本介绍(Getting Start) http://www.aboutyun.com/forum.php?mod=viewthread&tid=14732 Kafka【过期数据】清理策略删除和压缩 http://www.aboutyun.com/forum.php?mod=viewthread&tid=15909 kafka在zookeeper中存储结构 http://www.aboutyun.com/forum.php?mod=viewthread&tid=9941 分布式发布订阅消息系统 Kafka 架构设计 http://www.aboutyun.com/forum.php?mod=viewthread&tid=8960 kafka详解一、Kafka简介 kafka详解三:开发Kafka应用 kafka详解四:Kafka的设计思想、理念 Kafka详解五、Kafka Consumer的底层API- SimpleConsumer Kafka设计解析(一)- Kafka背景及架构介绍 http://www.aboutyun.com/forum.php?mod=viewthread&tid=18894 Kafka设计解析(二)- Kafka HA高可用(上) http://www.aboutyun.com/forum.php?mod=viewthread&tid=18903 Kafka设计解析(三)- Kafka HA高可用(下) http://www.aboutyun.com/forum.php?mod=viewthread&tid=18904 Kafka设计解析(四)- Kafka Consumer设计解析 http://www.aboutyun.com/forum.php?mod=viewthread&tid=18921 kafka资源: kafka系列解读-文档 http://www.aboutyun.com/forum.php?mod=viewthread&tid=11928 2.集群部署: 对于集群的部署,其实对于很多大数据集群都是差不多的,下面推荐几篇文章: kafka2.9.2的分布式集群安装和demo(java api)测试 http://www.aboutyun.com/forum.php?mod=viewthread&tid=8919 构建安全的Kafka集群 http://www.aboutyun.com/forum.php?mod=viewthread&tid=13246 Kafka详解二、如何配置Kafka集群 Kafka实战-Kafka Cluster http://www.aboutyun.com/forum.php?mod=viewthread&tid=13807 3.实战内容 Kafka 一般都是与其它框架整合,比如spark,storm,flume等下面文档可参考 flume+storm+kafka+mysql架构设计整合及介绍 http://www.aboutyun.com/forum.php?mod=viewthread&tid=13442 Spark(1.2.0) Streaming 集成 Kafka 总结 http://www.aboutyun.com/forum.php?mod=viewthread&tid=11536 Kafka实战-实时日志统计流程 http://www.aboutyun.com/forum.php?mod=viewthread&tid=13788 Kafka实战-简单示例 http://www.aboutyun.com/forum.php?mod=viewthread&tid=13801 Kafka+Spark Streaming+Redis实时计算整合实践 http://www.aboutyun.com/forum.php?mod=viewthread&tid=13368 用Apache Kafka构建流数据平台 http://www.aboutyun.com/forum.php?mod=viewthread&tid=11802 详解整合Kafka到Spark Streaming【推荐】 http://www.aboutyun.com/forum.php?mod=viewthread&tid=14664 Storm读取Kafka数据是如何实现的 http://www.aboutyun.com/forum.php?mod=viewthread&tid=19403

原文发布于微信公众号 - about云(wwwaboutyuncom)

原文发表时间:2016-09-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大史住在大前端

webpack4.0各个击破(10)—— Integration篇

webpack在工具链中的角色定位是非常清晰的,那么为了与其他流程进行合作,就需要使用任务管理工具来启动webpack,本文介绍两种常见的方法。

1033
来自专栏carven

yarn -- 新型包管理器

随着nodejs的出现,另外两个东西也进入了前端大众的视野–CommonJS规范、node 包管理器。

850
来自专栏文渊之博

迁移数据库数据到SQL Server 2017

概述 本篇我们将利用DMA一步一步实现SQL Server 的迁移。帮助大家理解现在的SQL Server与新版本的融合问题,同时需要我们做哪些操作来实现新版本...

6096
来自专栏JAVA高级架构

大型网站技术架构

早期的网站为了节省成本一般会设计成集中式系统,应用程序、数据库等都部署在一台服务器上。 但随着业务的快速度发展,逐渐出现瓶颈,按一定原则**(应用拆分、服务拆分...

3826
来自专栏公有云的互联网缓存与存储

对象存储的一些理解

对象存储怎么用,对于很多人来说,对象存储是什么都没听过。为什么觉得陌生,因为用得少。

6525
来自专栏杨建荣的学习笔记

海量数据迁移之数据加载流程(r4笔记第88天)

在之前的博文中分享了关于数据抽取流程的一些思路,整体来说,数据的抽取是辅助,数据的加载是关键。加载的过程中每一步需要格外关注,稍有偏差就可能造成数据的损坏或者丢...

3553
来自专栏携程技术中心

RN沙龙 | 携程是如何做React Native优化的

赵辛贵,携程无线开发高级技术经理,目前主要负责React Native框架在携程内部的使用推广和性能优化 React Native(下文简称RN)开源已经一年...

9629
来自专栏Android 开发者

针对现代 Android 更新游戏 API 等级

我们已在去年宣布:自 2018 年 8 月起, Google Play 要求所有新上线的应用和游戏都必须针对新的 Android API 等级进行开发 —— ...

1903
来自专栏JAVA高级架构

大型网站技术架构

1773
来自专栏阿杜的世界

工作方法小结

662

扫码关注云+社区

领取腾讯云代金券