用户5744311的专栏

代码在线跑，知识轻松学

Python精品学习库

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

博客搬家 | 分享价值百万资源包

往期视频·干货材料·成员作品 最新动态

技术创作特训营·精选知识专栏

新邀入驻腾讯云开发者社区，福利多多！

如何运用「云、端融合的数智化安全体系」高效护航数据安全

左手AI，右手安全 —— 一汽丰田数字化转型之路

原理
回想一下LSM数据存储的机制：
1. 热数据保存在内存中MemTable中；
2. 受限于内存存储空间大小的限制，当热数据超过一定大小时，需刷写到磁盘文件中；为了避免刷新过程中与写入操作的互斥锁操作，引入Immutable  MemTable来保存待刷盘的、且不可修改的内存热数据；
3. 数据刷写到磁盘中，保存到SSTable文件中；
从数据存储的机制中，我们可以推演出数据读取的流程：
1. 从内存中的MemTable中查找数据，如查找成功则立即返回，如查找不到则到下一层中去查找数据；
    - M

leveldb源码分析--读数据

由于WAL日志文件和MemTable内存结构是全局共享资源，在多线程同时写入数据时，需加互斥锁来保证操作的隔离性。考虑到写WAL涉及磁盘的写入操作，耗时较久，会影响数据写入的并发性能。

leveldb源码分析--写数据

使用场景
WAL日志文件；
MANIFEST版本信息文件；
日志文件格式
[log-format.jpg]
特点：
log文件由连续的block组成，每个block的大小固定为32K；
每个block由连续的record组成；
由于用户data的大小可能超过32K，一个block保存不下，故通过type字段来表示日志的类型；
如：
[log-format-example.jpg]
日志操作
读日志
bool Reader::ReadRecord(Slice* record, std::string* scr

leveldb源码分析--日志文件格式

原理
数据结构
VersionSet版本管理
Version版本信息
VersionEdit 版本变更信息
VersionEdit的序列化编码：
[version.jpg]
void VersionEdit::EncodeTo(std::string* dst) const {
  if (has_comparator_) {
    PutVarint32(dst, kComparator);
    PutLengthPrefixedSlice(dst, comparator_);
  }
  if (

leveldb源码解析--版本管理

原理
在分析打开leveldb数据库之前，我们先来讨论一下几个类似的子问题：
如何恢复一个进程的运行状态？
如何解决数据索引慢的问题？
主要完成的事项：
构建存储中的MemTable数据结构；
加载SSTable文件查找相关的索引信息；
重放未执行完成的WAL日志；
打开数据库
Status DB::Open(const Options& options, const std::string& dbname, DB** dbptr) {
  *dbptr = nullptr;

  DBImpl* impl

leveldb源码解析--打开数据库

概念
LSM（Log-Structured Merge Tree）
原理
特点
把随机写转化成顺序写，写入速度快；
读数据可能需多次磁盘IO；
数据操作流程
写数据
追加写WAL日志；
更新内存中的MemTable结构；
读数据
尝试从MemTable中查询数据，如找到即返回；未找到则到下一层中去查找；
尝试从InmemTable中查找数据；
尝试从level0层的SSTable文件中查找数据；
使用二分法从levelN层的SSTable文件中查询数据；
如都未查找到数据，则返回数据不存在； 
数据合并（c

2、leveldb设计原理--LSM

简介
leveldb是google开源的一个高性能kv数据存储库。
特点
基于LSM机制存储数据，读写性能高；
key、value支持任意的byte类型数组，不单单支持字符串；
一个持久化存储的KV系统，将大部分数据存储到磁盘上；
按照key值顺序存储数据；
操作接口简单，主要接口为Put、Get、Delete；
支持数据snapshot快照功能，读操作不受写操作影响，在读操作过程中始终看到一致的数据；
支持数据压缩(snappy压缩)操作，有效减小存储空间、并增快IO效率；
使用场景
单机kv存储引擎；

1、leveldb入门体验

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋 

腾讯云代码助手

CODING DevOps

Cloud Studio

SDK中心

API中心

命令行工具

腾讯云开发者社区推出了用户5744311的专栏专栏，为你提供了用户5744311的专栏的相关文章，致力于帮助开发者快速成长与发展。

用户5744311的专栏-腾讯云开发者社区

用户5744311的专栏

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐