Facebook、亚马逊是如何构建超集群数据库的

我们建立了Keen IO,是为了以让大多数软件工程团队无需从头架设所有内容,就可以利用最新的大型事件数据技术。但是,如果您对如何成为巨头公司感到好奇,那么请从最好的公司中收集一些架构。  Netflix   Netflix拥有9300万用户,没有交互缺陷。正如他们的工程团队在Netflix数据管道的演变中描述的那样,他们每天大约捕获5000亿个事件,每天大约有1.3PB的数据传输。在高峰时段,他们每秒将记录800万次事件。他们雇用了100多个数据工程师或分析师。   以下是上述文章中数据架构的简化视图,其中显示:开源系统ApacheKafka,搜索服务器ElasticSearch,亚马逊云存储服务AWSS3,进行大数据处理的ApacheSpark,运行框架ApacheHadoop和大数据分析服务EMR作为主要组件。

 Facebook   拥有超过10亿的活跃用户,Facebook有世界上最大的数据仓库之一,存储超过300PB。该数据被用于广泛的应用:从传统的批处理到图形分析,机器学习和实时交互式分析。为了进行大规模的交互式查询,Facebook的工程师发明了Presto,一种针对点对点分析进行优化的定制分布式的SQL查询引擎。每天有1000多名Facebook员工使用Presto,通过Hive、HBase和Scribe的可插拔后端数据存储,每天执行查询次数超过30000次。

  体系结构

  后端数据存储

Airbnb   Airbnb支持超过1亿用户浏览200多万的房屋列表。他们智能地向这些用户提供新的旅行建议的能力,这对他们的成长有很大影响。Airbnb的数据科学经理Elena Grewal在去年的会议“建立一个世界级的分析团队”上提到,他们已经将Airbnb的数据团队扩展到拥有30多名工程师的规模。这是每人每年500万的投资。   AirbnbEng建筑师James Mayfield、Krishna Puttaswamy、Swaroop Jagadish和Kevin Longdescribe描述了构建数据结构的基本要素以及如何为关键任务数据提供更高的可靠性。他们严重依赖Hive和Apache Spark,并使用了Facebook的Presto。

  AIRBNB的数据基础结构

Pinterest   Pinterest每月有超过1亿的用户浏览超过100亿的网页浏览量。截至2015年,他们将数据团队扩展到拥有250多名工程师的规模。他们的基础设施依赖于开源系统ApacheKafka,数据处理框架Storm,系统基础架构Hadoop,开源数据库HBase和GPU渲染器Redshift。

  数据管道结构图

  Pinterest团队不仅需要追踪大量客户相关的数据。像其他社交平台一样,他们还需要向广告商提供详细的分析。黄彤波在《Behindthe Pins:Building Analytics at Pinterest》一文中写道:为了满足这一需求,他们改进了自己的分析堆栈。以下是Pinterest团队如何使用Apache Kafka,AWSS3和HBase的示意图:

  Pinterest商业数据分析结构图

  Twitter/Crashlytics   每天实时处理50亿次会议。EdSolovey介绍了Crashlytics Answers团队构建的一些架构,用于处理数十亿的日常移动设备事件。

  信息流接收

  存储

  批处理计算

  加速计算

总览   正如我之前提到的,我们构建了Keen数据接口(API),以便任何开发人员都可以使用世界一流的数据架构,而无需拥有一个庞大的团队构建一大堆基础架构。成千上万的工程团队使用Keen的API来捕获、分析、流式传输和嵌入事件数据,包括实时和批处理应用程序。虽然使用Keen的开发人员在发送事件或运行查询时不需要知道幕后发生的情况,但下面是处理其请求的体系结构:

  Keen IO信息处理结构图

  在输入方面,负载均衡器处理数十亿个传入的帖子请求。事件流来自于应用程序,网站,连接设备,服务器,计费系统等等。事件需要验证、排序和可选择地丰富额外的元数据,如IP-地理查询。这一切都发生在几秒钟内。一旦安全地存储在Apache Cassandra中,事件数据就可以通过RESTAPI进行查询。我们的架构(通过Apache Storm,Dynamo DB,Redis和AWS lambda等技术)支持从原始传入数据实时数据探索,到应用程序和面向客户报告的缓存查询的各种查询需求。Keen每天查询数万个事件属性,并为成千上万的客户构建报告,自动化和数据挖掘界面。

本文分享自微信公众号 - BestSDK(bestsdk)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-05-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏企鹅号快讯

React中state render到html dom 的流程分析

作者:xieyu React 中 state render 到 html dom 的流程分析Questions React 的 component的 lifec...

24670
来自专栏向治洪

数据结构之二叉树

树 定义:满足以下条件的就是树: 1. 有且仅有一个特定的称为根Root的结点。 2. 当n>1时,其余结点可分为m(m>0)个互不相交的有限集,其...

225100
来自专栏FreeBuf

走近科学:隐藏在图像数据库中的安全问题

本文原刊登于IEEE IT Professional杂志。 由于系统改造的代价之高,使用适于系统设计的网络安全措施则是最好的选择。而新科技和应用则带来更多安全与...

238100
来自专栏magicsoar

mysql复制

一、复制的意义 mysql的复制功能是构建基于MySql大规模,高性能应用的基础,我们可以通过为服务器配置一个或多个备库来进行数据同步;复制功能不仅有利于构建高...

29370
来自专栏移动端开发

从FMDB到WCDB、微信团队怎么说?

WCDB背景 ----       自己初次见到WCDB是微信开发团队公众号在今年五月份推送的一篇文章中(开发者团队的微信号上面图片中有,值得大家关注一下),那...

38490
来自专栏企鹅号快讯

数据库管理你懂得多少?

导读 数据连接除了数据库连接池之外,还有一个非常重要的功能点,那就是数据库管理。也许你会说,这个很简单:查询、删除、导入、导出。那你知道导入、导出表时是否含表的...

29380
来自专栏企鹅号快讯

什么是大数据营销?企业为什么要建立自己的数据库?

什么是大数据营销? 大数据营销是衍生于互联网行业,又作用于互联网行业。依托多个平台的大数据技术的采集,以及大数据技术的分析与预测能力,能够应用于互联网广告行业的...

24890
来自专栏FreeBuf

XDB缓冲区溢出漏洞竟然可以颠覆整个数据库?

本文将向大家展示一种黑客入侵数据库的方法,希望能引起大家的警惕。想知道黑客入侵数据库的方法首先要深究黑客入侵数据库的目的。 经过调查发现黑客入侵者入侵数据库的最...

24460
来自专栏向治洪

深入理解Android Instant Run运行机制

Instant Run Instant Run,是android studio2.0新增的一个运行机制,在你编码开发、测试或debug的时候,它都能显著减少你对...

2.2K100
来自专栏magicsoar

windows下的C++ socket服务器(2)

int make_server_socket(int port);//1 void handleAccept(int socket_fd);//2 int ma...

273100

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励