mesa介绍:google 近实时数据仓库系统

Google最近发表了一篇有关大数据系统的论文,讨论了一个名为Mesa的数据仓库系统,它能处理近实时数据,即使在整个数据中心断线后还能正常工作。

Mesa是一个高度可扩展的分析数据仓库系统,能存储与Google广告业务有关的关键测量数据。Mesa能满足复杂和具有挑战性的用户与系统需求,包括近实时数据提取和查询,同时在海量数据和查询量中保持高可用性、可靠性、容错率和扩展性。Mesa每秒能处理数百万行更新,每天进行数十亿查询抓取数万亿行数据。Mesa能进行跨数据中心复制,即使在整个数据中心故障时,也能以低延迟返回一致和可重复的查询结果。

针对数分钟更新吞吐量、跨数据中心等等严苛需求,已有的商业数据仓库系统(处理周期往往以天和周来计算)和Google的解决方案包括BigTable、Megastore、Spanner和F1都无法满足要求。BigTable无法提供必要的原子性,Megastore、Spanner和F1无法满足峰值更新需求。此外,Google自己开发的Tenzing、Dremel,以及Twitter开发的Scribe、LinkedIn的Avatara、Facebook的Hive以及HadoopDB等Web规模数据仓库处理的都是批量负载。

Mesa的主要特点是:

1、近实时的更新吞吐量。支持持续的更新,每秒支持数百万行的更新。

2、同时支持低时延查询性能和批量大量查询。99%的查询在几百毫秒之内返回。

3、跨数据中心备份。

今天先简单介绍下mesa的特点,具体的技术细节,后面再分享。大家可以到网上下载google的论文《Mesa:Geo-Replicated, NearReal-Time, ScalableData Warehousing》阅读。

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2014-09-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Rainbond开源「容器云平台」

要把应用装集装箱,总共分几步

845
来自专栏韩伟的专栏

PaaS 调研 : GAE 与 AWS (下)

本文主要的研究对象是 Google 出品的 App Engine,以及 Amazone 的 AWS 两个产品。实际上微软、IBM也有类似的 PaaS(Azure...

3220
来自专栏大数据钻研

2018最具就业前景的7大编程语言,Java、Python和JavaScript?

2018 年即将到来,Coding Dojo(编码道场)近期发布了 2018 最具就业前景的 7 大编程语言。该公司分析了来自 Indeed 的 25 门编程语...

4117
来自专栏TEG云端专业号的专栏

海量存储第一弹 - 自动化运维

架构平台部(后面简称架平)承载的业务涵盖了腾讯主要的海量存储、CDN场景,譬如微信聊天图片&视频、朋友圈图片&小视频、空间相册图片&视频、腾讯视频点播&直播、腾...

2453
来自专栏云计算D1net

云计算时代新机遇 促五大职业需求暴增

云计算概念始于20世纪60年代,如今已经存在了数年,但是在今年,随着云计算的发展,越来越多的公司开始希望利用它提升业务敏捷性,并减少开始。 随着云计算在当前的巨...

2936
来自专栏小怪聊职场

爬虫课程|利用Python Scrapy进行爬虫开发指南清单

2456
来自专栏数据结构与算法

最优布线问题

【问题描述】   学校有n台计算机,为了方便数据传输,现要将它们用数据线连接起来。两台计算机被连接是指它们间有数据线连接。由于计算机所处的位置不同,因此不同的两...

3357
来自专栏TEG云端专业号的专栏

存储世界,不止如此 : EB级存储引擎背后的技术

每一个存储量级的突破,都意味着不同的挑战,本文阐述了由1PB到1EB的过程中,存储引擎背后的技术。

6722
来自专栏ATYUN订阅号

【业界】苹果公司继续开源活动:在GitHub上发布了FoundationDB

苹果公司今天宣布,FoundationDB数据库架构正式开放源代码。这是苹果公司最近采取的一项举措,旨在向公众提供更多的非秘密软件项目。此前,苹果公司还推出了其...

1084
来自专栏云计算D1net

闲话虚拟化和云计算的异同点

经常有人讨论这两者的区别,在这个行业时间长,听到的也自然很多,这里做一个总结。下面的观点,我想没有对和错,只是理解不同。 所谓虚拟化,虚拟机,vps,其实是差不...

3304

扫码关注云+社区