原文作者:smallnest
Go生态圈有好几个K/V数据库,我们经常用它来做我们的存储引擎,但是这些数据库引擎的性能如何呢?本文试图用性能而不是功能的数据考察这些数据库,我测试了几种场景: 并发写、并发读、单一写并发读、并发删除,得出了一些有趣的数据。
测试在两台机器上测试的,一台机械硬盘,一台固态硬盘,使用256字节作为value值的大小,9个字节作为key的大小,测试简单的读写删除操作,并没有测试批量读写操作。 每个测试case测试1分钟。
代码: kvbench
-Rocksdb: RocksDB是Facebook维护的高性能的嵌入式K/V数据库。它是LevelDB的克隆版,针对多核、SSD做了很多优化。 LSM tree数据结构。
-badger: 一个纯Go实现的快速的嵌入式K/V数据库,针对LSM tree做了优化,在某些情况下可以取得比较好的性能。
-goleveldb: leveldb的纯Go实现,非Google的C++版本
-bolt: 一个广泛使用的K/V数据库,基本上不会有新的功能加入了。
-bbolt: coreos的bolt克隆版,继续维护和扩展bolt的功能。
-buntdb: 一个基于内存的K/V数据库,也可以落盘。
-cznic/kv: 基本上不维护了。
-pebble: 一个性能优异的K/V数据库。
-map (in-memory) with AOF persistence: 基于map数据结构的数据库。
-btree (in-memory) with AOF persistence: 基于btree数据结构的数据库。
btree
使用btree的数据结构,如果文件路径为:memory:
,则直接写内存,而不会存于硬盘文件中。fsync
为true是会同步硬盘文件。
map
使用map的数据结构,如果文件路径为:memory:
,则直接写内存,而不会存于硬盘文件中。fsync
为true是会同步硬盘文件。
当然,除了基本的K/V操作外,有些数据库还加入了事务、bucket(Column Families)等额外的功能,这也是选型的时候要考虑的一个重要方面。
查看磁盘情况:fdisk -l
查看磁盘型号:smartctl -a /dev/sda
下面两个命令不太准, 都显示1:
cat /sys/block/sda/queue/rotational
lsblk -d -o name,rota
使用MegaCli
工具:
/opt/MegaRAID/MegaCli/MegaCli64 -ldpdinfo -aall |grep 'Media Type'
硬盘是希捷的机械硬盘:
1Vendor: SEAGATE
2Product: ST900MM0168
3User Capacity: 900,185,481,216 bytes [900 GB]
4Rotation Rate: 10500 rpm
2客CPU, 20个物理 CPU core, 开了超线程40个逻辑 CPU core。
32G内存。
1/不写盘(nofsync)
throughputs
btree
和map
相关的实现最好,因为都是直接的内存操作,而且操作也很简单。而且map
更简单,通过hash直接找到对应对象。
对于其它的K/V数据库,相对来说rocksdb性能更好一些,而buntdb在只读的情况下性能不错。
time (latency)
耗时基本和吞吐负相关,耗时越长,性能越差,唯一的例外是goleveldb,它的耗时也很短,但是吞吐率却没有足够优秀。
throughputs
在数据落盘的情况下,写的性能急剧下降,因为每次写都需要同步到硬盘中,比较好的是rocksdb和badger,能达到1000+ op/s, 其它基本都在100以内。
time (latency)
和吞吐率负相关,goleveldb例外。bbolt和kv删除的时候也很慢。
采用固态硬盘,我们期望写的性能能提升起来,看测试结果。
10块 SSD, 型号:
1Vendor: AVAGO
2Product: AVAGO
3Revision: 4.66
4User Capacity: 298,999,349,248 bytes [298 GB]
5Device Speed: 6.0Gb/s
6Link Speed: 12.0Gb/s
7Media Type: Solid State Device
throughputs
读写都很快,rocksdb表现依然很优秀。而buntdb的只读依然很快。因为没有同步落盘的操作。
这个数据和前面的不写盘的数据不相同,是因为我换了一台有ssd的机器进行测试。
time (latency)
2/同步写盘(fsync)
throughputs
在落盘的情况下,写操作有了大幅的提升。尤其是goleveldb和badger,但是rocksdb的读是远远领先于其它K/V数据的(除了btree和map)。
time (latency)
总的来说,rocksdb的表现不错。为了保证不丢数据,我们可能需要设置同步硬盘的参数,但是这可能影响写的性能,需要通过批量写和SSD来解决。
对badger有点小失望,当然它对SSD的优化还是很可以的,有可能测试大的数据的时候才能显示出来它的优势。 对于简单的场景,也可以采用btree、map这种简单的数据结构来实现,加上AOF,如果想减少AOF的大小,可以像redis一样合并AOF的操作,去掉无用的中间数据。
版权申明:内容来源网络,版权归原创者所有。除非无法确认,我们都会标明作者及出处,如有侵权烦请告知,我们会立即删除并表示歉意。谢谢。