前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >大数据Kafka(二):Kafka特点总结和架构

大数据Kafka(二):Kafka特点总结和架构

作者头像
Lansonli
修改2022-10-05 11:11:45
1K0
修改2022-10-05 11:11:45
举报
文章被收录于专栏:Lansonli技术博客Lansonli技术博客

一、Kafka特点总结

  • kafka是大数据中一款消息队列的中间件产品, 最早是有领英开发的, 后期将其贡献给了apache 成为apache的顶级项目
  • kafka是采用Scala语言编写 kafka并不是对JMS规范完整实现 仅实现一部分 , kafka集群依赖于zookeeper
  • kafka可以对接离线业务或者实时业务, 可以很好的和apache其他的软件进行集成, 可以做流式数据分析(实时分析)

kafka特点总结

  • 高可靠性 : 数据不容易丢失, 数据分布式存储, 集群某个节点宕机也不会影响
  • 高可扩展性 : 动态的进行添加或者减少集群的节点
  • 高耐用性 : 数据持久化的磁盘上
  • 高性能 : 数据具有高吞吐量
  • 非常快: 零停机和零数据丢失 (存在重复消费问题)

二、Kafka架构

架构图

专业术语

  • kafka cluster:  kafka的集群
  • broker:  kafka集群中各个节点
  • producer:  生产者
  • consumer: 消费者
  • topic:  主题 话题    类似于大的容器
  • shard: 分片  类似于将大的容器切分为多个小的容器分片数量是否受限于集群节点数量呢?  不会的
  • replicas: 副本  对每个分片构建多个副本, 保证数据不丢失副本数量是否会受限于集群节点的数据呢?  是  最多和节点是一致的
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2021-08-01 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 一、Kafka特点总结
    • kafka特点总结
    • 二、Kafka架构
      • 架构图
        • 专业术语
        相关产品与服务
        容器服务
        腾讯云容器服务(Tencent Kubernetes Engine, TKE)基于原生 kubernetes 提供以容器为核心的、高度可扩展的高性能容器管理服务,覆盖 Serverless、边缘计算、分布式云等多种业务部署场景,业内首创单个集群兼容多种计算节点的容器资源管理模式。同时产品作为云原生 Finops 领先布道者,主导开源项目Crane,全面助力客户实现资源优化、成本控制。
        领券
        问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档