mesa介绍:google 近实时数据仓库系统

Google最近发表了一篇有关大数据系统的论文,讨论了一个名为Mesa的数据仓库系统,它能处理近实时数据,即使在整个数据中心断线后还能正常工作。

Mesa是一个高度可扩展的分析数据仓库系统,能存储与Google广告业务有关的关键测量数据。Mesa能满足复杂和具有挑战性的用户与系统需求,包括近实时数据提取和查询,同时在海量数据和查询量中保持高可用性、可靠性、容错率和扩展性。Mesa每秒能处理数百万行更新,每天进行数十亿查询抓取数万亿行数据。Mesa能进行跨数据中心复制,即使在整个数据中心故障时,也能以低延迟返回一致和可重复的查询结果。

针对数分钟更新吞吐量、跨数据中心等等严苛需求,已有的商业数据仓库系统(处理周期往往以天和周来计算)和Google的解决方案包括BigTable、Megastore、Spanner和F1都无法满足要求。BigTable无法提供必要的原子性,Megastore、Spanner和F1无法满足峰值更新需求。此外,Google自己开发的Tenzing、Dremel,以及Twitter开发的Scribe、LinkedIn的Avatara、Facebook的Hive以及HadoopDB等Web规模数据仓库处理的都是批量负载。

Mesa的主要特点是:

1、近实时的更新吞吐量。支持持续的更新,每秒支持数百万行的更新。

2、同时支持低时延查询性能和批量大量查询。99%的查询在几百毫秒之内返回。

3、跨数据中心备份。

今天先简单介绍下mesa的特点,具体的技术细节,后面再分享。大家可以到网上下载google的论文《Mesa:Geo-Replicated, NearReal-Time, ScalableData Warehousing》阅读。

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2014-09-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏张善友的专栏

怎样才有资格被称为开源软件

    发现国内不少软件都开源了。但很奇怪,他们都有自己相同一套的软件版权许可协议。这些软件许可协议跟开源本身的精神是有冲突的。举个例子:     摘自Dis...

23710
来自专栏资深Tester

软件测试人员:你们是如何测试需求变动频繁的项目?

2463
来自专栏飞总聊IT

大数据那些事(18):亲儿子不如干儿子

这篇再填一下Key-Value Store的坑。 很多时候亲生的不如领养的事情一般不会发生。但是在大数据的世界里,什么都有可能。BigTable和Dynamo是...

3009
来自专栏听雨堂

微信小程序价值思考:手机端的CS-BS迁移

从很多特点来看,小程序都非常类似于网页:主要的业务逻辑在服务端、客户端无需安装应用程序、小程序的开发采用的HTML+JS+CSS技术等等。张小龙自己对小程序的定...

1.2K7

云数据服务蜂拥而至...好难选呀

(译者补充:随着每个云提供商都提供了数十种数据服务,为您的需求选择合适的云数据服务比以往任何时候都更重要,更不用说为了省钱了。这文章就是教你如何选择适合自己的服...

1949
来自专栏java工会

阿里双十一购物节背后的技术问题

一年一度的双十一购物狂欢节又要来临了,你准备好剁手了吗?我每年都要购买好几百,有时候甚至是一千多的东西。不过以前我还没有考虑过这背后的技术问题,直到最近我做了一...

923
来自专栏CSDN技术头条

58同城沈剑:好的架构源于不停地衍变,而非设计

对很多创业公司而言,随着业务增长,网站的流量也会经历不同的阶段。从十万流量到一百万流量,再从一百万流量跨越到一千万甚至上亿的流量,网站的架构需要经历哪些变化?在...

2657
来自专栏云计算D1net

微软的DaaS服务Azure RemoteApp浮出水面

Satya Nadella 说微软会坚持“mobile first,cloud first”策略,而昨天的 TechEd 2014 大会上,微软就发布了一项呼应...

3274
来自专栏云计算D1net

如何构建一个更好的云安全模型

公共云的自助服务提供模式带来了许多好处,但当然也破坏了传统的IT服务器配置模式。现在,开发人员可以通过信用卡自行分配资源,企业安全团队也为他们的工作做了切实的工...

3838
来自专栏腾讯云培训认证中心

腾讯云认证云从业者考试攻略

大家等待已久的考试攻略来啦! ...

6.8K142

扫码关注云+社区

领取腾讯云代金券