Go 生态圈的 K/V 数据库 benchmark

原文作者:smallnest

Go生态圈有好几个K/V数据库,我们经常用它来做我们的存储引擎,但是这些数据库引擎的性能如何呢?本文试图用性能而不是功能的数据考察这些数据库,我测试了几种场景: 并发写、并发读、单一写并发读、并发删除,得出了一些有趣的数据。

测试在两台机器上测试的,一台机械硬盘,一台固态硬盘,使用256字节作为value值的大小,9个字节作为key的大小,测试简单的读写删除操作,并没有测试批量读写操作。 每个测试case测试1分钟。

代码: kvbench

K/V 数据库

-Rocksdb: RocksDB是Facebook维护的高性能的嵌入式K/V数据库。它是LevelDB的克隆版,针对多核、SSD做了很多优化。 LSM tree数据结构。

-badger: 一个纯Go实现的快速的嵌入式K/V数据库,针对LSM tree做了优化,在某些情况下可以取得比较好的性能。

-goleveldb: leveldb的纯Go实现,非Google的C++版本

-bolt: 一个广泛使用的K/V数据库,基本上不会有新的功能加入了。

-bbolt: coreos的bolt克隆版,继续维护和扩展bolt的功能。

-buntdb: 一个基于内存的K/V数据库,也可以落盘。

-cznic/kv: 基本上不维护了。

-pebble: 一个性能优异的K/V数据库。

-map (in-memory) with AOF persistence: 基于map数据结构的数据库。

-btree (in-memory) with AOF persistence: 基于btree数据结构的数据库。

btree使用btree的数据结构,如果文件路径为:memory:,则直接写内存,而不会存于硬盘文件中。fsync为true是会同步硬盘文件。 map使用map的数据结构,如果文件路径为:memory:,则直接写内存,而不会存于硬盘文件中。fsync为true是会同步硬盘文件。

当然,除了基本的K/V操作外,有些数据库还加入了事务、bucket(Column Families)等额外的功能,这也是选型的时候要考虑的一个重要方面。

查看硬件环境

查看磁盘情况:fdisk -l 查看磁盘型号:smartctl -a /dev/sda

下面两个命令不太准, 都显示1: cat /sys/block/sda/queue/rotational lsblk -d -o name,rota

使用MegaCli工具: /opt/MegaRAID/MegaCli/MegaCli64 -ldpdinfo -aall |grep 'Media Type'

机械硬盘

硬盘是希捷的机械硬盘:

1Vendor:               SEAGATE
2Product:              ST900MM0168
3User Capacity:        900,185,481,216 bytes [900 GB]
4Rotation Rate:        10500 rpm

2客CPU, 20个物理 CPU core, 开了超线程40个逻辑 CPU core。

32G内存。

1/不写盘(nofsync)

throughputs

btreemap相关的实现最好,因为都是直接的内存操作,而且操作也很简单。而且map更简单,通过hash直接找到对应对象。

对于其它的K/V数据库,相对来说rocksdb性能更好一些,而buntdb在只读的情况下性能不错。

time (latency)

耗时基本和吞吐负相关,耗时越长,性能越差,唯一的例外是goleveldb,它的耗时也很短,但是吞吐率却没有足够优秀。

2/同步写盘(fsync)

throughputs

在数据落盘的情况下,写的性能急剧下降,因为每次写都需要同步到硬盘中,比较好的是rocksdb和badger,能达到1000+ op/s, 其它基本都在100以内。

time (latency)

和吞吐率负相关,goleveldb例外。bbolt和kv删除的时候也很慢。

SSD 固态硬盘

采用固态硬盘,我们期望写的性能能提升起来,看测试结果。

10块 SSD, 型号:

1Vendor:               AVAGO
2Product:              AVAGO
3Revision:             4.66
4User Capacity:        298,999,349,248 bytes [298 GB]
5Device Speed: 6.0Gb/s
6Link Speed: 12.0Gb/s
7Media Type: Solid State Device

1/不写盘(nofsync)

throughputs

读写都很快,rocksdb表现依然很优秀。而buntdb的只读依然很快。因为没有同步落盘的操作。

这个数据和前面的不写盘的数据不相同,是因为我换了一台有ssd的机器进行测试。

time (latency)

2/同步写盘(fsync)

throughputs

在落盘的情况下,写操作有了大幅的提升。尤其是goleveldb和badger,但是rocksdb的读是远远领先于其它K/V数据的(除了btree和map)。

time (latency)

总的来说,rocksdb的表现不错。为了保证不丢数据,我们可能需要设置同步硬盘的参数,但是这可能影响写的性能,需要通过批量写和SSD来解决。

对badger有点小失望,当然它对SSD的优化还是很可以的,有可能测试大的数据的时候才能显示出来它的优势。 对于简单的场景,也可以采用btree、map这种简单的数据结构来实现,加上AOF,如果想减少AOF的大小,可以像redis一样合并AOF的操作,去掉无用的中间数据。


版权申明:内容来源网络,版权归原创者所有。除非无法确认,我们都会标明作者及出处,如有侵权烦请告知,我们会立即删除并表示歉意。谢谢。

本文分享自微信公众号 - Golang语言社区(Golangweb)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-03-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券