RocksDB有一个广泛使用的功能就是当flush或compact速度小于外部数据写入速度的时候可以阻写。如果没有这个功能的话,那么当用户持续写入的数据超过磁盘所能处理的数据时,数据库就会出现以下情况:
解决上述问题的方法就是将写入速度降低到数据库可以正常处理的速度。有时候数据库会面临突发的大量写请求,或者硬件处理速度比较慢(比如机械硬盘),这时你在访问数据库时就可能出现意想不到的缓慢或查询超时。
可以通过以下方法来判断你的DB是否存在阻写问题:
以下原因可能会导致阻写:
Stalling writes because we have 4 immutable memtables (waiting for flush), max_write_buffer_number is set to 5
Stopping writes because we have 20 level-0 files
Stopping writes because of estimated pending compaction bytes 1000000000
不管什么时候触发了阻写,RocksDB都会降低写速度为delayed_write_rate,如果预计的compaction数据量还在不断的累积,那么写入速度降到比delayed_write_rate还要低。有一点值得注意,虽然写限速/阻塞配置和预计compaction数据量大小配置在每个colum family中,但阻写是针对整个数据库的,换句话说就是如果一个column family触发了阻写,那么整个数据库就会阻写。
RockDB有许多选项可以用来对阻写进行调优,这样可以满足不同的场景(有的可以接受阻写,有的则不能)。你可以将某些写设置为低优先级写,从而避免阻塞那些对延迟要求较高的写。
如果阻写是flush触发的,你可以试试以下方法:
如果阻写是由于level-0层有太多的文件或是预计compaction数据量太大,或是compaction速度赶不上写入速度。注意,可以通过降低写放大来减少compaction时需要写入的数据量,因此可以设置compaction.Option中的以下参数:
盘,因为多个memtable中重复的key会被合并)
本文系外文翻译,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文系外文翻译,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。