专栏首页飞总聊IT苹果公司开源FoundationDB的简单分析

苹果公司开源FoundationDB的简单分析

很久没有写点技术性的东西, 主要还是自己偷懒了。今天写一篇。

美国时间 2018年4月19日,苹果公司宣布开源FoundationDB。FoundationDB 本来是一个开源项目,于2015年被苹果收购以后,其代码从GitHub上删除进入闭源代状态,直到苹果宣布重新开源。

这篇文章主要分析一下FoundationDB是什么,它和同类产品比较起来的优势和劣势在哪里。

大数据开源社区繁荣昌盛,涌现出传统数据库和NoSQL两类产品。传统数据库提供了强一致性(Strong Consistency),事务处理的ACID支持,可靠性高,但是并发和可扩展性上有局限。 NoSQL,尤其是通常的Key-Value Store通过牺牲强一致性来达到更高的可用性和可扩展性。所以这些系统通常采取最终一致性(Eventual Consistency)模型。

大数据时代的Key-Value Store大体上分为两类:

  1. 以BigTable和HBase为代表的,分区键(Partition Key)全局排序,通常采用的是范围分区(Range Partition)
  2. 以DynamoDB和Cassandra为代表,分区键(Partition Key)不排序,通常采用的是哈希分区(Hash Partition)

前者不但能支持对分区键的点查询(Point Query),而且对分区键的范围查询(Range Query)也能比较好的支持。后者则只支持分区键的点查询。从性能上来说,后者因为使用哈希分区,其扩展性上更好一些。

FoundationDB是一个开源数据库项目,最初于2012年1月进行Alpha测试,2013年4月进行Beta测试。2013年8月20日正式发布了1.0版本。两年后的2013年3月25日被苹果公司收购以后不再开源。苹果公司于2018I年4月19日再次开源。

FoundationDB的核心是一个Key-Value Store,类似谷歌的BigTable,而非亚马逊的DynamoDB。它是按照分区键全局排序,使用范围分区的方式来分区。每个本地分区则使用B+树保存数据。从这个实现来讲,FoundationDB对于分区键的点查询和范围查询都有比较好的支持,但是其在扩展性上应该类似于谷歌的BigTable,不如亚马逊的DymamoDB。

和其他NoSQL不一样的是,FoundationDB的Key-Value Store实现了强一致性,而非最终一致性。严格的来说,它实现了在操作系统里面的sequence consistency,这基本上等价于数据库里面讨论ACID的时候说的隔离级别(Isolation level)里面的可串行化(serializable)。在数据库系统里,这也是最高的隔离级别。

在核心外, FoundationDB通过分层设计的方式,实现了对各种数据模型,比如文档数据库,图数据库,关系数据库的支持。数据模型通过映射到一组到多组的Key-Value Store上实现对数据的存储。

因此,从更高级的层次上看,FoundationDB通过统一的引擎:一个继续全局排序的Key-Value Store,和可扩展性设计,实现了对多种数据模型的支持。并且在存储层提供了强一致性和ACID的支持,其隔离级别是可串行化。

和传统的Key-Value Store比,无论是谷歌的BigTable或者其开源克隆版HBase,还是和亚马逊的Dyanmo或者其克隆版Cassandra,FoundationDB一方面在存储层实现的是强一致性,另外一方面通过可扩展的层次方式支持更多的数据模型。

和传统数据库比,因为底层使用了Key-Value Store,FoundationDB又比传统数据库有更好的扩展性。

整个市场上有两个产品和FoundationDB有类似的地方:

  1. 微软的CosmosDB
  2. 国产的TiDB

微软的CosmosDB的整体设计思路和FoundationDB有很多类似的地方:底层存储引擎统一,上层通过映射实现对多种数据模型的支持。不同之处主要有几个方面:

  1. 微软底层存储引擎如何实现未知,但是想来应该不是简单的Key-Value Store
  2. 微软的一致性模型有很多种,可以供用户选择,既没有简单的实现最终一致性,也没有简单的实现强一致性。

TiDB是一款国产开源数据库。它也是经纬投资的创业公司。腾讯云目前提供的HTAP云数据库服务背后基于TiDB技术。TiDB和FoundationDB的底层实现非常类似,简单来说TiDB底层也实现了一个Key-Value Store,用的是开源的RocksDB。RocksDB是Facebook维护的从谷歌LevelDB出来的一个开源项目。而谷歌LevelDB则是谷歌BigTable本地存储数据的格式,主要思想是LSM Tree。

在这层之上TiDB实现了关系数据库到Key-Value Store的映射。这和FoundationDB实现多种数据模型到Key-Value Store的映射之间关系也很类似。所不同的是TiDB上层只支持关系数据库,下层也为支持关系数据库而进行了专门的优化。

两者的区别就是实现细节的不同了。没有仔细阅读源码很难指出设计上的大的不同的地方,目前可以看到的是存储结构是B+树v.s. LSM Tree。一致性协议前者是Paxos后者是Raft。

FoundationDB刚出来的时候,有很多公司使用。但是2015年苹果公司收购了FoundationDB以后,导致源代码被从GitHub上删除,FoundationDB的开发人员也再也不回答任何技术问题,所以这之后长期一直使用FoundationDB的主要还是苹果公司。由于苹果公司并没有披露出来FoundationDB是怎么样在公司内部使用的,这方面的信息几乎空白。

自从4月19日苹果公司宣布FoundationDB再次开源以来,唯一比较有影响力的宣称自己在使用FoundationDB的公司是Snowflake。

Snowflake是美国著名的一个做存储计算分离的云端OLAP数据库的创业公司。其三位创始人中的两位长期在Oracle,第三位曾经做了MonetDB项目并创业,该项目被卖给Ingres以后开始第二次创业。其主要开发人员很多来自微软SQL Server团队。CEO曾任微软Server and Tools的高级副总裁。该创业公司的产品主要和Redshift竞争,目前在北美市场上颇有影响力。

Snowflake发表了一篇文章。这篇文章里披露了Snowflake使用FoundationDB来存Snowflake的元数据(Metadata)。在FoundationDB的核心Key-Value Store之上,Snowflake自己添加了一层把Snowflake的元数据模型映射到底层存储的实现。Snowflake也宣称自己对当初那个开源版本的FoundationDB做了很多的改动,并且愿意贡献自己的改动回开源社区。使用FoundationDB来管理Snowflake的所有元数据,无疑是对这个系统 一个肯定。

鉴于目前使用FoundationDB的商业化应用还不多,披露的信息尤其少,尚不好判断在商用场景下FoundationDB的舒适区和不适区。

根据FoundationDB的官方文档,FoundationDB有一系列的局限性:

  1. 单个事务数据量不能超过10MB
  2. 键的长度不能超过10KB, 值的长度不能超过100KB
  3. 系统针对并且只针对SSD优化,使用传统HHD既不保证性能也不保证数据库可用性
  4. FoundationDB对于需要读比较大的主键值范围的查询性能不好
  5. 该系统没有实现任何的安全和权限管理,任何人都可以去读和写任意一个主键
  6. 系统不支持长时间运行的事务 ,具体来说,一个事务的第一个操作后超过5秒如果事务还没有结束,系统就会报错。
  7. 系统只在<500个Core的情况下仔细测过,有性能保证
  8. 数据库的数据大小不能超过100TB
  9. 系统对每个分区都做3份拷贝,而不会自动对热点增加更多的拷贝,所以读的性能有上限。

我们可看出来,这些局限性其实还是蛮大的,比如说系统不支持长跑的事务,系统没有任何安全机制等等,在现实里应用这样的系统都是问题。

除了系统提到的局限性以外,我们可以看到FoundationDB在数据模型映射上和微软的CosmosDB一样灵活,但是其事务一致性上只支持强一致性,不一定是所有用户都需要的一致性模式。这一点微软的CosmosDB要做得好很多。

从目前能知道的信息看,FoundationDB既是一个很有特色,在数据模型上非常灵活,云上只有微软的CosmosDB可比,开源社区内尚未有类似的东西的一个产品。FoundationDB又有足够多的局限性,使得其合适的应用场景不明朗,能否被广泛的应用不好说。

考虑到微软的CosmosDB的极大成功,市场上需要一个数据模型灵活,事务一致性模型灵活,又能方便部署和使用的云端产品。但是目前我们尚未看到微软以外其他云厂商拿出解决方案来。所以这个市场到底有多大,值得进一步关注。

考虑到FoundatioDB的各种局限性,直接拿FoundationDB来构建云服务应该不是一个好的选择。

本文分享自微信公众号 - 飞总聊IT(feiitworld)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-06-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • SAP HANA神话(8):尾声和未来展望

    HANA系列写到这里,大戏应该是结束了。最近两年里面发生了很多的事情,整个数据库领域的格局也有了很多的变化。所以在这里做一个回顾和展望。 SAP在努力的推行它的...

    用户1564362
  • 脱水又泼水--远程办公需求分析

    疫情之下,在线办公突然火热,很多人都大呼小叫看到了新机遇。但是看到机遇就能抓住机遇吗,本文带大家分析远程办公这个需求。

    用户1564362
  • 三个365天每天收租的Loser们的抱团取暖

    在今年的微软三大会之一的Microsoft Ignite上,微软CEO Satya联合SAP以及Adobe的CEO宣布,三家公司将和对方一起互相开放数据。这个...

    用户1564362
  • 分段线性回归及对分割点的评估选择及R计算

    分段回归(piecewise regression),顾名思义,回归式是“分段”拟合的。其灵活用于响应变量随自变量值的改变而存在多种响应状态的情况,二者间难以通...

    用户7585161
  • sliverlight:按点击移动的连续跑马灯

    演示效果如下: 鼠标点击一次,所有方块向左移动一格 ? 思路: 1.利用StoryBoard产生移动,每次点击时,该动画播放一次(即移动一格) 2.关键:动画播...

    菩提树下的杨过
  • Java Review (八、面向对象----成员变量和局部变量)

    在Java语言中,根据定义变量位置的不同,可以将变量分成两大类:成员变量和局部变量。成员变量和局部变量的运行机制存在较大差异。

    三分恶
  • VBA二维表转一维表

    工作中经常会碰到这种情况,外部收集来的资料,表格制作者为了排版好看,做成转换前的格式,这种格式看起来方便,但是做数据处理是非常不方便的,需要进行转换后进行数据处...

    xyj
  • 用NVIDIA Jetson开发智能安全系统

    JETSONAR智能安全系统旨在在有噪音的地方产生广泛的影响。而且我们身边到处都是噪音。

    GPUS Lady
  • 疫情下的远程办公与桌面分享

    相信很多小伙伴们正因为这次疫情都窝在家里远程办公吧,我也一样,都在等具体的复工通知,我们暂定会在3月份复工~当然也有可能会提前。那么这次我们来聊聊远程办公。

    风间影月
  • 自定义WooCommerce分类每页产品数量

    WooCommerce分类页默认显示为10个产品,但不同的模板显示样式不同,比如3列,那么最后一行就只有一个产品了,不是很协调,如果想要显示显示更多或更少要如何...

    ytkah

扫码关注云+社区

领取腾讯云代金券