首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Procella 数据库的简单介绍

Procella 数据库的简单介绍

作者头像
哒呵呵
发布2020-11-19 17:00:27
8680
发布2020-11-19 17:00:27
举报

最近看到了一个很有趣的数据库 Procella ,它的架构图就和当初亚马逊公司发布的数据库论文 Aurora 里面的一样,一眼就吸引住我了。

Procella 最有趣的一点就是把大数据平台常用的 lambda 架构引入到了数据库内部中去。

Lambda架构是由Storm的作者Nathan Marz提出的一个实时大数据处理框架。Lambda架构的目标是设计出一个能满足实时大数据系统关键特性的架构,包括有:高容错、低延时和可扩展等。Lambda架构整合离线计算和实时计算,融合不可变性(Immunability),读写分离和复杂性隔离等一系列架构原则,可集成Hadoop,Kafka,Storm,Spark,Hbase等各类大数据组件。

这个架构和 Aurora 使用 log(日志)把数据库里的存储和计算分离的架构都有着非常强的原创性。因为使用 LSM 树等传统的关系型数据库的架构去存储数据,在大数据量导入时,由于写放大的固有问题性能不会很好,而传统的列存储 Parquet 等又不适合小数据量的导入,因此 Procella 使用 Lambda 架构很好的解决了大数据量下的数据存储问题,并且保证了数据分析的优秀性能。

不过缺点也很明显:由于不支持数据库里面的隔离级别,所以很有可能会导致脏读现象。

除此以外,Procella 也解释了为什么谷歌很多数据库是天然的存储和计算分离,因为

在 Google 公司内部没有本地磁盘。只有远程过程调用(RPC),而不是读取或写入磁盘,每一次的读取或写入都是 RPC 过程。

参考链接

  1. https://zhuanlan.zhihu.com/p/82735071
  2. https://mayunlei.github.io/2020/05/20/Procella-Youtube-%E6%8A%8A%E8%AE%A1%E7%AE%97%E5%8A%A0%E9%80%9F%E7%8E%A9%E5%88%B0%E6%9E%81%E8%87%B4%E7%9A%84%E5%AE%9E%E6%97%B6%E8%AE%A1%E7%AE%97%E5%BC%95%E6%93%8E/
  3. https://blogs.nearsyh.me/2019/09/18/2019-09-18-Procella/
  4. https://joe.schafer.dev/procella-youtube-analytical-database/
  5. lambda 架构介绍:https://en.wikipedia.org/wiki/Lambda_architecture
本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2020-11-16,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 鸿的笔记 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
数据库
云数据库为企业提供了完善的关系型数据库、非关系型数据库、分析型数据库和数据库生态工具。您可以通过产品选择和组合搭建,轻松实现高可靠、高可用性、高性能等数据库需求。云数据库服务也可大幅减少您的运维工作量,更专注于业务发展,让企业一站式享受数据上云及分布式架构的技术红利!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档