前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >2021年大数据Kafka(九):kafka消息存储及查询机制原理

2021年大数据Kafka(九):kafka消息存储及查询机制原理

作者头像
Lansonli
发布2021-10-11 16:07:17
1.3K0
发布2021-10-11 16:07:17
举报
文章被收录于专栏:Lansonli技术博客Lansonli技术博客

​​​​​​​

kafka消息存储及查询机制原理

一、Kafka数据存储机制

        segment段中有两个核心的文件一个是log,一个是index。 当log文件等于1G时,新的会写入到下一个segment中。通过下图中的数据,可以看到一个segment段差不多会存储70万条数据。

二、Kafka数据查询机制

需求1: 读取 offset=368776 的message消息数据, 数据集如下

第一步: 确定segment段

第二步: 通过segment file 查找 message

寻找的步骤总结

  1. 确定数据所在的segment段, 所以可以推断  368776 这条数据在第二个segment段中
  2. 在这个段中, 先去查询 index文件, 从中找到 368776 消息在log文件具体的物理偏移量位置
  3. 遍历log文件, 顺序查询到具体位置, 将数据直接获取即可

  • 📢博客主页:https://lansonli.blog.csdn.net
  • 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正!
  • 📢本文由 Lansonli 原创,首发于 CSDN博客🙉
  • 📢大数据系列文章会每天更新,停下休息的时候不要忘了别人还在奔跑,希望大家抓紧时间学习,全力奔赴更美好的生活✨
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2021-08-27 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • kafka消息存储及查询机制原理
    • 一、Kafka数据存储机制
      • 二、Kafka数据查询机制
      相关产品与服务
      对象存储
      对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
      领券
      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档