专栏首页linjinhe的专栏LevelDB 完全解析(2):Log

LevelDB 完全解析(2):Log

前文回顾

这里的 log 是指 Write Ahead Log。前面说了,LevelDB 写入的数据会先保存到 MemTable。为了防止宕机导致数据丢失,在将数据写入 MemTable 之前,会先将数据持久化到 log 文件中。

本文主要参考 LevelDB 的文档 log_format.md

Log 的格式

log 格式

如上图所示,LevelDB 的 log 文件内容被组织成多个 32 KB 的定长块(block)。每个 block 由 1~多个 record 组成(末尾可能会 padding)。一个 record 由一个固定 7 字节的 header(checksum: uint32 + length: uint16 + type: uint8) 和实际数据(data: uint8[length])组成。

如果 block 的末尾不足 7 字节(小于 header 的大小),则全部填 0x00,读取的时候会被忽略。<br />如果 block 的末尾刚好 7 字节,则填充一个 length 为 0 的 record。

下面,我们将上层写入的数据称之为 user record,以区分 block 中的 record。由于 block 是定长的,而 user record 是变长的,一个 user record 有可能被截断成多个 record,保存到一段连续的 block 中。因此,在 header 中有一个 type 字段用来表示 record 的类型

enum RecordType {
  // Zero is reserved for preallocated files
  kZeroType = 0,

  kFullType = 1,

  // For fragments
  kFirstType = 2,
  kMiddleType = 3,
  kLastType = 4
};
  1. kFullType - 这是一个完整的 user record。
  2. kFirstType - 这是 user record 的第一个 record。
  3. kMiddleType - 这是 user record 中间的 record。如果写入的数据比较大,kMiddleType 的 record 可能有多个。
  4. kLastType - 这是 user record 的最后一个 record。

Log 的例子

上面这样描述可能比较抽象,这里举个例子来说明一下。

初始化整个 log 为空,假设我们有 3 个 user records:

  1. A 大小为 1000 字节
  2. B 大小为 97270 字节
  3. C 大小为 8000 字节

A 小于 32KB,会被保存到第一个 block,长度为 1000,类型为 kFullType,占用空间为 7 + 1000 = 1007。

B 比较大,会被切分成 3 个分片,保存到不同的 block:

  1. 第一个分片保存到第一个 block,长度为 31754 字节,类型为 kFirstType。因为保存 A 之后,这个 block 剩余的空间为 32768 - 7 - 1000 = 31761 字节。除去 header,可以保存 B 的前 31761 - 7 = 31754 字节。此时 B 还有 97270 - 31754 = 65516 字节需要保存。
  2. 65516 字节超过了一个 block 的大小,所以第二个分片需要完整占用第二个 block,长度为 32768 - 7 = 32761 字节,类型为 kMiddleType。此时 B 还有 65516 - 32761 = 32755 字节需要保存。
  3. B 的第三个分片保存到第三个 block ,长度为 32755,类型为 kLastType。第三个 block 剩余的空间为 32768 - 7 - 32755 = 6 字节。由于 6 字节小于一个 header 的大小(7 字节),会被进行 padding(填 0)。

C 会被保存到第四个 block,长度为 8000 字节,类型为 kFullType,占用空间 7 + 8000 = 8007。

综上,A、B、C 在 log 文件中的结构如下。

log_example

LevelDB 为什么采用这种定长块的方式保存日志呢?一个明显的好处就是,当日志文件发生数据损坏的时候,这种定长块的模式可以很简单地跳过有问题的块,而不会导致局部的错误影响到整个文件。

目前 LevelDB 没有对日志进行压缩。

Log 的实现

LevelDB 读写日志的实现逻辑比较清晰,建议根据上面介绍的日志格式仔细看下 log_reader 和 log_write 的实现。

  1. log_format.h - 定义 RecordType、kBlockSize、kHeaderSize。
  2. log_reader.hlog_reader.cc - 日志读取的实现。
  3. log_writer.hlog_writer.cc - 日志写入的实现。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Linux常用命令:free

    linjinhe
  • LevelDB 完全解析(3):SSTable

    SSTable 全称 Sorted String Table,顾名思义,里面的 key-value 都是有序保存的。除了两个 MemTable,LevelDB ...

    linjinhe
  • LevelDB 完全解析(5):Cache

    在 LevelDB 中,block cache 和 table cache 都是基于 ShardedLRUCache 实现的。

    linjinhe
  • 网络推广方法有哪些

    相信大家都知道要想网络推广做的好方法很重要,常用的网络推广方法有哪些呢?下面就让一米软件来告诉大家把。

    用户3736847
  • 一行命令, 静态json变身api

    zhaoolee
  • 【译】利用Lombok消除重复代码

    当你在写Getter和Setter时,一定无数次的想过,为什么会有POJO这么烂的东西。你不是一个人!(不是骂人…)无数的开发人员花费了大量的时间来写这种样板代...

    Jackeyzhe
  • php实现简单的守护进程创建、开启与关闭操作

    本文实例讲述了php实现简单的守护进程创建、开启与关闭操作。分享给大家供大家参考,具体如下:

    砸漏
  • SAP Spartacus使用到的技术栈

    前面说到,Spartacus是基于现代Web开发技术打造而成的一个Storefront开发框架,因此涉及到的技术栈都是目前前端开发普遍使用的一些比较成熟的技术。

    Jerry Wang
  • SAP Spartacus使用到的技术栈

    前面说到,Spartacus是基于现代Web开发技术打造而成的一个Storefront开发框架,因此涉及到的技术栈都是目前前端开发普遍使用的一些比较成熟的技术。

    Jerry Wang
  • Ubuntu下使用rsync远程备份数据

    我有3台ubuntu服务器,work_svr1、work_svr2为在公网运行的工作用服务器,1上运行着工作用的webapp,2作为备份服务器备。另外还有一台个...

    fanzhh

扫码关注云+社区

领取腾讯云代金券