System|分布式|Cassandra

朝闻君

发布于 2021-11-22 10:37:16

5790

发布于 2021-11-22 10:37:16

文章被收录于专栏：用户9199536的专栏

Cassandra思想和Dynamo差不多，还吸收了Bigtable的实现。因为是Dynamo+Bigtable，所以号称比Bigtable套娃的HBase性能高很多。

Reference: Cassandra - A Decentralized Structured Storage System

数据模型

在行方面，对行操作原子性。

在列方面，提供了simple和super两种col family，super就是嵌套的col family

查询的时候就是column family : (super column) : qualifier

和bigtable除了多了一层列之外几乎一模一样，干脆复制算了

API

insert(table, key, rowMutation)
get(table, key, columnName)
delete(table, key, columnName)

columnName可以随便指列的任何层次

架构

一致性Hash改进

和Dynamo的虚拟节点改进采用不同策略，Cassandra会分析负载情况，并移动低负载的节点使其负载提高。为了方便移动还用了order preserving hash function，这样还能便于进行范围查询。

后来据说真香，还是用了虚拟节点

Dynamo的标答

同样是一方面处理负载均衡，一方面提供异构

备份

每个数据有N个备份，并指定key落在的节点为coordinator，不过备份机制和Dynamo做出了改变，提供了点异地容灾

Rack unaware - 和Dynamo一样，环向下N-1
Rack aware - 不同rack上面备份
Datacenter aware - 不同数据中心备份

利用zookeeper选主，每个节点告诉leader自己负责的备份范围，leader协调不让某个节点负责的范围大于N-1。metadata除了本地还存在zookeeper上所以可以恢复。这个机制和Dynamo的preference list差不多，只不过放在zookeeper里多了个备份。

没有怎么看到Quorum怎么实现的，文章说by relaxing the quorum requirements as described in Section5.2，但是这节就是5.2啊。

和Dynamo一样，每个节点都具备global view。

成员

Scuttlebutt gossip 协议，交换membership以及控制状态。和Dynamo差不多

容错

Accrual Failure Detector，并不用bool告诉你节点是不是挂了，而是给出怀疑等级，这样可以适应网络条件和负载条件，更为准确。

怀疑等级为1时错误率百分之10，每提高一个级别减少十倍。节点维持滑动窗口，记录gossip路上的时间，根据gossip的延迟计算等级。

启动

选一个token(后来引入虚拟节点变成选一组)放硬盘上，然后seed节点(zookeeper配置)充当gossip桥梁。拓扑结构的改变全靠运维手动命令行。

For these reasons, it was deemed appropriate to use an explicit mechanism to initiate the addition and removal of nodes from a Cassandra instance. An administrator uses a command line tool or a browser to connect to a Cassandra node and issue a membership change to join or leave the cluster.

扩容

新节点上线时用kernel-kernel copy复制数据，怎么感觉一点都不平滑呢。估计是类似的Quorum机制。

存储

LSM tree，bloom filter也是常见的优化读手段了，基本沿用big table。

实现细节

SEDA架构实现流水线化，Staged Event Driven Architecture，SOSP 2001。把请求拆分成独立的阶段，和流水线差不多，每个阶段独立拥有自己的线程池，这样能够最大化地利用资源。顺便接着把这篇读了https://dl.acm.org/doi/pdf/10.1145/502034.502057