前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >ZooKeeper应用:kafka

ZooKeeper应用:kafka

作者头像
dodo_lihao
发布2018-09-12 10:25:37
1.1K0
发布2018-09-12 10:25:37
举报
文章被收录于专栏:懒人开发

简单说明

kafka作为一个优秀的消息中间件,一个数据buffer的管道。除了它的高性能外,高课扩展性,也决定了它的优势。 可以在不需要下线的情况下进行扩容 这里只是简单说明, 暂时没能力深入


简单配置
  • 下载,hosts等略
  • server.properties的配置
代码语言:javascript
复制
broker.id=1(对应的id)
log.dirs=日志路径
num.partitions=1(分区暂时设置为1,理解和hdfs的replication差不多)
zookeeper.connect=kafka01:2181,kafka02:2181,kafka03:2181(对应的ZooKeeper)
advertised.host.name=kafka01 (本机名字)
advertised.port=9092(kafka默认端口号)
delete.topic.enable=true(删除主题,不配置的话,在删除topic的时候,不能删除)
  • 上面简单添加了说明
  • 我们可以在ZooKeeper中去查看对应的信息,大体入下图(不好显示,网上找的图)

kafka在ZooKeeper中的存储结构

  • 对应的brokers,以及下面的topics会存储在里面
  • 对应的consumers也会存储
  • 包括 admin下面的 delete_topic
  • 如果是单机,只会有一个ids,是集群,对应每个ids都会存储
    • 单机(自己设置ids为0)

    单机下,ZooKeeper的/brokers/ids/下

    • 集群(自己设置集群的ids分别为1,2,3)

    集群中,ZooKeeper的/brokers/ids/下


kafka集群启动

kafka集群,可以在不需要下线的情况下进行扩容 这一点是很方便的 当然, 如果上面集群ids在ZooKeeper中注册一样 一个新的机器,启动后,对应的ids会在ZooKeeper中注册,这样集群就会得到对应的机器信息,从而加入集群,做后期的逻辑处理了,这样达到扩容的时候,不需要下线

  • 简单启动
    • 将要加入集群的集群配置好,在用命令启动
代码语言:javascript
复制
sh kafka-server-start.sh ../config/server.properties
  • 注意:对应的ZooKeeper集群配置要一样, ids要不同,以免出现不正常的情况

结束语

自己只是简单的自我理解, 具体ZooKeeper在kafka内部肯定很复杂,没有看过源码,没有发言权,等有时间看源码后,再考虑写一写理解。 kafka可以通过sparkStreaming将内容落地到hdfs中 spark是个好东西,scala是个好东西,熟悉程度需要更多代码量

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018.01.19 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 简单说明
  • 简单配置
  • kafka集群启动
  • 结束语
相关产品与服务
消息队列 TDMQ
消息队列 TDMQ (Tencent Distributed Message Queue)是腾讯基于 Apache Pulsar 自研的一个云原生消息中间件系列,其中包含兼容Pulsar、RabbitMQ、RocketMQ 等协议的消息队列子产品,得益于其底层计算与存储分离的架构,TDMQ 具备良好的弹性伸缩以及故障恢复能力。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档