LevelDB 完全解析（2）：Log

前文回顾

• LevelDB 完全解析（0）：基本原理和整体架构
• LevelDB 完全解析（1）：MemTable

这里的 log 是指 Write Ahead Log。前面说了，LevelDB 写入的数据会先保存到 MemTable。为了防止宕机导致数据丢失，在将数据写入 MemTable 之前，会先将数据持久化到 log 文件中。

本文主要参考 LevelDB 的文档 log_format.md。

Log 的格式

log 格式

如上图所示，LevelDB 的 log 文件内容被组织成多个 32 KB 的定长块（block）。每个 block 由 1~多个 record 组成（末尾可能会 padding）。一个 record 由一个固定 7 字节的 header（checksum: uint32 + length: uint16 + type: uint8） 和实际数据（data: uint8length）组成。

如果 block 的末尾不足 7 字节（小于 header 的大小），则全部填 0x00，读取的时候会被忽略。 如果 block 的末尾刚好 7 字节，则填充一个 length 为 0 的 record。

下面，我们将上层写入的数据称之为 user record，以区分 block 中的 record。由于 block 是定长的，而 user record 是变长的，一个 user record 有可能被截断成多个 record，保存到一段连续的 block 中。因此，在 header 中有一个 type 字段用来表示 record 的类型：

enum RecordType {
  // Zero is reserved for preallocated files
  kZeroType = 0,

  kFullType = 1,

  // For fragments
  kFirstType = 2,
  kMiddleType = 3,
  kLastType = 4
};

1. kFullType - 这是一个完整的 user record。
2. kFirstType - 这是 user record 的第一个 record。
3. kMiddleType - 这是 user record 中间的 record。如果写入的数据比较大，kMiddleType 的 record 可能有多个。
4. kLastType - 这是 user record 的最后一个 record。

Log 的例子

上面这样描述可能比较抽象，这里举个例子来说明一下。

初始化整个 log 为空，假设我们有 3 个 user records：

1. A 大小为 1000 字节
2. B 大小为 97270 字节
3. C 大小为 8000 字节

A 小于 32KB，会被保存到第一个 block，长度为 1000，类型为 kFullType，占用空间为 7 + 1000 = 1007。

B 比较大，会被切分成 3 个分片，保存到不同的 block：

1. 第一个分片保存到第一个 block，长度为 31754 字节，类型为 kFirstType。因为保存 A 之后，这个 block 剩余的空间为 32768 - 7 - 1000 = 31761 字节。除去 header，可以保存 B 的前 31761 - 7 = 31754 字节。此时 B 还有 97270 - 31754 = 65516 字节需要保存。
2. 65516 字节超过了一个 block 的大小，所以第二个分片需要完整占用第二个 block，长度为 32768 - 7 = 32761 字节，类型为 kMiddleType。此时 B 还有 65516 - 32761 = 32755 字节需要保存。
3. B 的第三个分片保存到第三个 block ，长度为 32755，类型为 kLastType。第三个 block 剩余的空间为 32768 - 7 - 32755 = 6 字节。由于 6 字节小于一个 header 的大小（7 字节），会被进行 padding（填 0）。

C 会被保存到第四个 block，长度为 8000 字节，类型为 kFullType，占用空间 7 + 8000 = 8007。

综上，A、B、C 在 log 文件中的结构如下。

log_example

LevelDB 为什么采用这种定长块的方式保存日志呢？一个明显的好处就是，当日志文件发生数据损坏的时候，这种定长块的模式可以很简单地跳过有问题的块，而不会导致局部的错误影响到整个文件。

目前 LevelDB 没有对日志进行压缩。

Log 的实现

LevelDB 读写日志的实现逻辑比较清晰，建议根据上面介绍的日志格式仔细看下 log_reader 和 log_write 的实现。

1. log_format.h - 定义 RecordType、kBlockSize、kHeaderSize。
2. log_reader.h 和 log_reader.cc - 日志读取的实现。
3. log_writer.h 和 log_writer.cc - 日志写入的实现。