前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >tikv是什么_10千伏高压变频器工作原理

tikv是什么_10千伏高压变频器工作原理

作者头像
全栈程序员站长
发布2022-11-09 20:38:25
3100
发布2022-11-09 20:38:25
举报

大家好,又见面了,我是你们的朋友全栈君。

TiKV架构

tikv是什么_10千伏高压变频器工作原理
tikv是什么_10千伏高压变频器工作原理

TiKV作用、

  1. 数据持久化
  2. 分布式一致性
  3. MVCC
  4. 分布式事物
  5. Coprocessor

数据持久化

写入操作

tikv是什么_10千伏高压变频器工作原理
tikv是什么_10千伏高压变频器工作原理

WAL: Write Ahead Log预写日志,数据线通过WAL写入日志(直接落盘sync_log=true),然后再写入缓存;可以防止掉电丢数;一般默认2个WAL文件,数据落盘成功后即可清理;

数据将先写入内存的MemTable,当数据量超过write_buffer_size大小后,数据将会转存到immutable中,将immutable刷盘后即SST文件,从而防止写阻塞;MemTable同时服务于读和写;

如果immutable达到5个会触发流控,限制写入速度,write stall;记录于日志中;可以优化存储或者调高immutable数量来提高写入速度;

tikv是什么_10千伏高压变频器工作原理
tikv是什么_10千伏高压变频器工作原理

Level 0 和immutable中文件的复刻;

Level0 达到4个的时候会向Level 1合并-compaction;会做压缩和排序;形成一个压缩的有序文件

当Level 1达到256M的时候会继续向Level2进行合并;

每一层都会切分成多个SST文件,每个SST文件都是键值对文件;对于每个文件使用二分法进行查找键值信息;

删除和更新的时候直接操作MemTable中即可,待查询的时候MemTable会直接返回;

RocksDB查询操作

tikv是什么_10千伏高压变频器工作原理
tikv是什么_10千伏高压变频器工作原理

Block Cache: 最近,高频访问的数据存储在Block Cache中;

其次依次按照写入最新时间查找MemTable;

再其次按从磁盘中的Level 0依次往后查找到SST文件;

根据查找的KEY 判断是否在SST的min_key和max_key中间; 布隆过滤器判断如果KEY不在,则查找下一个SST文件,如果数据在该SST文件,则二分法查找;

Column Families–CF 列簇

tikv是什么_10千伏高压变频器工作原理
tikv是什么_10千伏高压变频器工作原理

CF属于RocksDb的数据分片技术,可以将数据的键值对按照不同的属性分配给不同的CF,可以让某些内存和SST文件中存的都是相同类型的数据,可以极大地增加读写的效率、提升数据压缩率;

落数的时候会自带CF1、CF2、default 来决定落入哪个分片中;

内存和SST文件都按照CF分了,但是WAL没有按照CF区分;

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/190104.html原文链接:https://javaforall.cn

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2022年9月24日 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 数据持久化
    • 写入操作
      • RocksDB查询操作
        • Column Families–CF 列簇
        相关产品与服务
        对象存储
        对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
        领券
        问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档