熟悉HBase的同学应该知道，HBase是基于一种LSM-Tree（Log-Structured Merge Tree）存储模型设计的，写入路径上是先写入WAL（Write-Ahead-Log）即预写日志，再写入memstore缓存，满足一定条件后执行flush操作将缓存数据刷写到磁盘，生成一个HFile数据文件。随着数据不断写入，磁盘HFile文件就会越来越多，文件太多会影响HBase查询性能，主要体现在查询数据的io次数增加。为了优化查询性能，HBase会合并小的HFile以减少文件数量，这种合并HFile的操作称为Compaction，这也是为什么要进行Compaction的原因。
因为 LevelDB 的增删改都是通过追加写来实现的，所以需要通过后台线程的 compaction 来：
LevelDB 的写操作是 Append-Only 的，新的数据写入后，相应的旧数据就过期了。过期的数据需要被 Garbage Collection，不然数据文件的体积会持续膨胀，这是不可接受的。
compaction用来合并对象存储的小文件，将小的segment合并为大的segment。
HBase 是目前主流的 NoSQL 数据库，是一个高可靠、高性能、高伸缩的分布式 KV 存储系统，本文讲解 HBase 两个核心机制——刷写（Flush）与合并（Compaction），重点介绍其原理及参数配置建议。
Compaction是buffer->flush->merge的Log-Structured Merge-Tree模型的关键操作，主要起到如下几个作用：
我们知道，数据达到HBase服务端会写WAL-写Memstore，然后定期或满足一定条件时刷写磁盘生成一个HFile文件，随着时间推移生成的HFile会越来越多，将会影响HBase查询性能，同时会对HDFS造成一定影响。因此HBase会定期执行Compaction操作以合并减少HFile数量。
HBase 是一个基于 Google BigTable 论文设计的高可靠性、高性能、可伸缩的分布式存储系统。 网上关于 HBase 的文章很多，官方文档介绍的也比较详细，本篇文章不介绍 HBase 基本的细节。
对于Merge-On-Read表，数据使用列式Parquet文件和行式Avro文件存储，更新被记录到增量文件，然后进行同步/异步compaction生成新版本的列式文件。Merge-On-Read表可减少数据摄入延迟，因而进行不阻塞摄入的异步Compaction很有意义。
AutoMQ 作为一款使用对象存储作为主要存储介质的消息系统，在写入链路，会将所有 Partition 的数据在内存中进行攒批（同时持久化至 EBS），当攒批大小达到一定阈值则将该批次的数据上传至对象存储，通过这种方式，使得对象存储的 API 调用成本和文件数量仅和吞吐相关，且不会随着分区数量的增加而线性增大，如下图：
Compaction把多个MemStore flush出来的StoreFile合并成一个文件，而Split则是把过大的文件Split成两个。
LSM-Tree（Log Structured Merge Tree）是数据库领域内较高效的key-value存储结构，被广泛应用于工业界数据库系统，如经典的单机kv数据库LevelDB、RocksDB，以及被诸多分布式NewSQL作为底层存储引擎。 本期将由腾讯云数据库高级工程师韩硕来为大家分享基于LSM-Tree存储的数据库性能改进，重点介绍近年来学术界对LSM-Tree的性能改进工作，并探讨这些改进措施在工业界数据库产品中的应用情况以及落地的可能性。以下是分享实录： LSM-Tree基本结构 LS
无论是 put 、 delete 还是batch操作，leveldb 底层都是以 batch 作为执行实例。
那怎么确定到底是什么原因导致分配失败的，所以就出现了碎片指数。取值范围[0 1000]
先前在做OB存储引擎这块学习的时候，对 OceanBase 的分层转储和 SSTable 这块有些细节就懵懵的，比如L0层的 mini SSTable 的每次生成是否就计入转储次数，L0层到L1层转储的时机以及和 minor_compact_trigger 之间的关系等。 今天就这部分内容做个更细致的探究，试图更深入的理解 OceanBase 的分层转储。
为了解决小文件问题，我们也是八仙过海各显神通，一般而言可能都是写个MR/Spark程序读取特定目录的数据，然后将数据重新生成N个文件。但是在以前，这种模式会有比较致命的问题，因为在生成的新文件要替换原来的文件，而替换的过程不是原子过程，所以这个时候如果正好发生读，是会影响的。其次，很多读的程序，都会缓存文件路径，因为我们重新生成了文件，文件名称也变化了，导致读的程序的缓存失效，会发生比如文件找不到等异常。对于在一个进程比较好说，做下刷新就行，但是读往往是在不同的进程实例里，这个时候通知他们也是很难的事情。再极端一点，读取这个表的程序可能是另外一个团队维护的。所以其实小文件并没有想象的那么好解决，或者说能够优雅的解决。
•step1：数据写入的时候，只写入内存 •step2：将数据在内存构建有序，当数据量大的时候，将有序的数据写入磁盘，变成一个有序的数据文件 •step3：基于所有有序的小文件进行合并，合并为一个整体有序的大文件
在Kafka中，存在数据过期的机制，称为data expire。如何处理过期数据是根据指定的policy（策略）决定的，而处理过期数据的行为，即为log cleanup。
先上一张图讲一下Compaction和Split的关系，这样会比较直观一些。 Compaction把多个MemStore flush出来的StoreFile合并成一个文件，而Split则是把过大的文件
Most existing big data storages based on HDFS are lack of feature upsert(if exists then update otherwise add). This means you may suffer from many situations:
RocksDB有一个广泛使用的功能就是当flush或compact速度小于外部数据写入速度的时候可以阻写。如果没有这个功能的话，那么当用户持续写入的数据超过磁盘所能处理的数据时，数据库就会出现以下情况：
这是一篇较为完整的介绍Apache Paimon和Flink进阶应用的文章，你最好收藏一波。
Hbase1.X版本中PREFIX_TREE作为BlockEncoding存在bug，会造成RegionServer节点compaction queue持续升高，甚至影响flush，最终阻塞写入。本文记录了整个RegionServer异常的故障定位过程。
早上起来听一个数据库技术的直播论坛，讲师频繁提到一个词：Compaction。这个词以前在了解LevelDB的时候，也略有了解，不过也仅限于简单了解，今天就趁机对此做一个梳理。
LSMT是一个在分布式系统当中应用非常广泛，并且原理直观简单的数据结构。在上一篇文章当中我们进行了详细的讨论，有所遗忘或者是新关注的同学可以点击下方的链接回顾一下上一讲的内容。
身处在现在这个大数据时代，我们处理的数据量需以 TB、PB, 甚至 EB 来计算，怎么处理庞大的数据集是从事数据库领域人员的共同问题。解决这个问题的核心在于，数据库中存储的数据是否都是有效的、有用的数据，因此如何提高数据中有效数据的利用率、将无效的过期数据清洗掉，便成了数据库领域的一个热点话题。在本文中我们将着重讲述如何在数据库中处理过期数据这一问题。
基于 LSM-Tree 的存储系统越来越常见了，如 RocksDB、LevelDB。LSM-Tree 能将离散的随机写请求都转换成批量的顺序写请求（WAL + Compaction），以此提高写性能。但也带来了一些问题：
压缩( compaction)用于在 MergeOnRead存储类型时将基于行的log日志文件转化为parquet列式数据文件，用于加快记录的查找。用户可通过 hudi-cli提供的命令行显示触发 compaction或者在使用 HoodieDeltaStreamer将上游（Kafka/DFS）数据写入 hudi数据集时进行相应配置，然后由系统自动进行 compaction操作。
LevelDB是Google开源的持久化KV单机数据库，具有很高的随机写，顺序读/写性能，但是随机读的性能很一般，也就是说，LevelDB很适合应用在查询较少，而写很多的场景。LevelDB应用了LSM (Log Structured Merge) 策略，lsm_tree对索引变更进行延迟及批量处理，并通过一种类似于归并排序的方式高效地将更新迁移到磁盘，降低索引插入开销，关于LSM，本文在后面也会简单提及。
当Sorted Run数量较少时，Paimon writer 将在单独的线程中异步执行压缩，因此记录可以连续写入表中。然而，为了避免Sorted Runs的无限增长，当Sorted Run的数量达到阈值时，writer将不得不暂停写入。下表属性确定阈值。
StoreFile：每一个region由一个或多个store组成，至少是一个store，hbase为每个列族建一个store，如果有几个列族，也就有几个Store。
几年前在读Google的BigTable论文的时候，当时并没有理解论文里面表达的思想，因而囫囵吞枣，并没有注意到SSTable的概念。再后来开始关注HBase的设计和源码后，开始对BigTable传递的思想慢慢的清晰起来，但是因为事情太多，没有安排出时间重读BigTable的论文。在项目里，我因为自己在学HBase，开始主推HBase，而另一个同事则因为对Cassandra比较感冒，因而他主要关注Cassandra的设计，不过我们两个人偶尔都会讨论一下技术、设计的各种观点和心得，然后他偶然的说了一句：Cassandra和HBase都采用SSTable格式存储，然后我本能的问了一句：什么是SSTable？他并没有回答，可能也不是那么几句能说清楚的，或者他自己也没有尝试的去问过自己这个问题。然而这个问题本身却一直困扰着我，因而趁着现在有一些时间深入学习HBase和Cassandra相关设计的时候先把这个问题弄清楚了。
在一个使用levelDB的服务中，必然存在多个线程同时访问数据库的情况。例如，如果正好有thread2正在访问sstable4。与此同时，thread1在写数据时，发生了compaction，level0中的sstable1需要与level1中的sstable4进行compaction，这是thread1应该基于当前version，去产出一个新的version，以免线程之间的互相影响，保证数据的一致性。
导语 | LevelDB是一款十分优秀的存储引擎，具有极高的数据读写性能，尤其是写入性能，在笔者经历的多个项目中都有用到，因此本文打算结合LevelDB的部分源码对 LevelDB进行介绍，首先会介绍LevelDB的整体架构，然后围绕数据读写流程和合并流程展开介绍，希望与大家一同交流。文章作者：唐文博，腾讯优图实验室高级研究员。
一旦构建了hudi，就可以通过cd hudi-cli && ./hudi-cli.sh启动shell。一个hudi数据集位于DFS上的basePath位置，我们需要该位置才能连接到Hudi数据集。Hudi库使用.hoodie子文件夹跟踪所有元数据，从而有效地在内部管理该数据集。
前面我们讲过HBase的拆分，其实他们俩是一对的，拆分-合并！本期就给大家带来HBase的合并的小技巧。无论是在大数据开发的学习中还是其他的学习，小技巧都能够在我们的学习路上带来很多实用的帮助。
在前面的文章里，介绍过 HBase 的入门操作知识，但对于正考虑将 HBase 用于生产系统的项目来说还是远远不够。
TiKV 最底层使用的是 RocksDB 做为持久化存储，所以 TiKV 的很多性能相关的参数都是与 RocksDB 相关的。TiKV 使用了两个 RocksDB 实例，默认 RocksDB 实例存储 KV 数据，Raft RocksDB 实例（简称 RaftDB）存储 Raft 数据。
本期有 HBase入门、HBase集群监控、Kudu vs HBase、Flush与Compaction、MySQL索引优化、Redis 分布式锁。 希望大家会喜欢！
之前讲过普罗米修斯自己就是一个时序数据库， 它从 exporter 拉取的数据都会按时间戳保存到对应的文件里，这个时序数据库默认会保存 14 天的数据。 而它自己也开发了一套名为 PromQL 的类 SQL 的查询语言用来从各种维度让用户来查询并计算监控的数据。 我们先来看一下我自己编写的 exporter 的接口， 看看它向普罗米修斯的主服务返回的监控数据是什么样的。
前面介绍了 Grafana 入门与部署、仪表盘 DashBoard 、Dashboard 变量、Panel 面板和Time series（时间序列）、添加动态参数、可视化面板 Heatmap 与 Gauge 相关的知识点，今天我将详细的为大家介绍 Grafana 可视化面板 Graph 与 SingleStat 相关知识，希望大家能够从中收获多多！如有帮助，请点在看、转发朋友圈支持一波！！！
Atomicity(原子性)、Consistency（一致性）、Isolation（隔离性）、Durability（持久性）。
一般在对 HBase 做选型之前，还需要学习一些它的架构原理、弹性扩展及可靠性方面的知识。本文来自笔者此前对 HBase 做的学习概括，可方便于对 HBase 的技术全景进行快速的掌握。
之前写过一篇文章 Delta的真正用处和价值，你可知道，该项目开源的那天我就集到MLSQL了。不过当时只是尝鲜性质，主要原因是因为我一直觉得delta缺了Compaction功能。很多公司其实都有小文件的困扰，而Delta这个问题会更严重。不过近期Delta团队应该就会发布新版本了，届时有可能相关的功能都会补上。不过MLSQL现在也自己实现了一个Compaction的功能，并且对delta做了一定的集成和增强。
赵金生，linux内核爱好者,就职于杭州某大型安防公司，担任Linux BSP软件工程师。对进程调度，内存管理有所了解。希望能通过对linux的学习，提升产品软件性能及稳定性。该文章为私人学习总结，不存在公司网络安全问题。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
