WiredTiger引擎初探

简介

WiredTiger是什么

• WT引擎是一个高性能、可扩展、支持事务、可以用于生产的的NoSQL数据引擎
• WT能够处理超过当前节点内存容量的数据集合，但是不会影响性能下降,具有低延迟和高吞吐特性
• WT提供非阻塞的全事务能力,支持PB级别的表

WT引擎设置遵循的原则

• WT在CPU多核下扩展性较好，采用lock-free、fast latching、message passing的编程模型
• Hot Caches
  • WT支持面向row-oriented 和column-oriented 的存储模式，column-store的key是来源于表中的value的location而不是直接存储物理的表中,row-store和column-store在表级别相互匹配，比如row-store的索引可以在column-store表中创建
  • 支持Log-Structured Merge Trees,为了提供更快的随机数据更新，数据更新被缓存在小文件中，然后后台自动mergeed到大文件中，读性能的延迟接近BTree.LSM tree自动创建BloomFilters来避免不必要的从文件不匹配key中读操作
  • WT支持同文件的不同大小的BTree page大小，同时也支持key的前缀压缩和value的字典，减少内存大量消耗
  • WT支持静态编码的 Huffman engine
• Making I/O more valuable(IO的量化)
  • WT使用compact file的格式来减小磁盘的开销
  • WT支持可变长度的pages.
  • WT支持表中block级别的压缩哟

架构

源码编译

$	wget https://github.com/wiredtiger/wiredtiger/archive/refs/tags/10.0.0.tar.gz
$	tar zxvf 10.0.0.tar.gz && cd wiredtiger-10.0.0/
$	env CFLAGS="-ggdb3 -O0" ./configure