mesa介绍:google 近实时数据仓库系统

Google最近发表了一篇有关大数据系统的论文,讨论了一个名为Mesa的数据仓库系统,它能处理近实时数据,即使在整个数据中心断线后还能正常工作。

Mesa是一个高度可扩展的分析数据仓库系统,能存储与Google广告业务有关的关键测量数据。Mesa能满足复杂和具有挑战性的用户与系统需求,包括近实时数据提取和查询,同时在海量数据和查询量中保持高可用性、可靠性、容错率和扩展性。Mesa每秒能处理数百万行更新,每天进行数十亿查询抓取数万亿行数据。Mesa能进行跨数据中心复制,即使在整个数据中心故障时,也能以低延迟返回一致和可重复的查询结果。

针对数分钟更新吞吐量、跨数据中心等等严苛需求,已有的商业数据仓库系统(处理周期往往以天和周来计算)和Google的解决方案包括BigTable、Megastore、Spanner和F1都无法满足要求。BigTable无法提供必要的原子性,Megastore、Spanner和F1无法满足峰值更新需求。此外,Google自己开发的Tenzing、Dremel,以及Twitter开发的Scribe、LinkedIn的Avatara、Facebook的Hive以及HadoopDB等Web规模数据仓库处理的都是批量负载。

Mesa的主要特点是:

1、近实时的更新吞吐量。支持持续的更新,每秒支持数百万行的更新。

2、同时支持低时延查询性能和批量大量查询。99%的查询在几百毫秒之内返回。

3、跨数据中心备份。

今天先简单介绍下mesa的特点,具体的技术细节,后面再分享。大家可以到网上下载google的论文《Mesa:Geo-Replicated, NearReal-Time, ScalableData Warehousing》阅读。

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2014-09-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏飞总聊IT

大数据那些事(18):亲儿子不如干儿子

这篇再填一下Key-Value Store的坑。 很多时候亲生的不如领养的事情一般不会发生。但是在大数据的世界里,什么都有可能。BigTable和Dynamo是...

2879
来自专栏Linyb极客之路

运维管理之线上故障处理原则

墨菲定律暗示我们,如果担心某种情况会发生,那么它更有可能发生,久而久之就一定会发生。这警示我们,在互联网公司,对生成环境发生的任何怪异现象和问题都不要轻视,对其...

1413
来自专栏DevOps时代的专栏

给产品经理讲讲,什么是持续交付和 DevOps

982
来自专栏令仔很忙

软件文档总结(二)

   软件需求主要是从从现实中分离功能,描述软件要“做什么”,在软件需求说明书中,主要的功能和联系如下:

1162
来自专栏听雨堂

微信小程序价值思考:手机端的CS-BS迁移

从很多特点来看,小程序都非常类似于网页:主要的业务逻辑在服务端、客户端无需安装应用程序、小程序的开发采用的HTML+JS+CSS技术等等。张小龙自己对小程序的定...

8117
来自专栏java工会

阿里双十一购物节背后的技术问题

一年一度的双十一购物狂欢节又要来临了,你准备好剁手了吗?我每年都要购买好几百,有时候甚至是一千多的东西。不过以前我还没有考虑过这背后的技术问题,直到最近我做了一...

743
来自专栏云计算D1net

如何构建一个更好的云安全模型

公共云的自助服务提供模式带来了许多好处,但当然也破坏了传统的IT服务器配置模式。现在,开发人员可以通过信用卡自行分配资源,企业安全团队也为他们的工作做了切实的工...

3648
来自专栏java工会

阿里双十一购物节背后的技术问题

一年一度的双十一购物狂欢节又要来临了,你准备好剁手了吗?我每年都要购买好几百,有时候甚至是一千多的东西。不过以前我还没有考虑过这背后的技术问题,直到最近我做了一...

812
来自专栏资深Tester

软件测试人员:你们是如何测试需求变动频繁的项目?

2383
来自专栏SDNLAB

11项关键可视化促使SD-WAN迈向成功

SD-WAN部署正在迅速成为全球网络运营(NetOps)团队的主要关注点,并且正在改变网络的面貌。事实上,Gartner估计,到2021年,将近三分之二的企业将...

852

扫码关注云+社区