专栏首页BestSDKFacebook、亚马逊是如何构建超集群数据库的

Facebook、亚马逊是如何构建超集群数据库的

我们建立了Keen IO,是为了以让大多数软件工程团队无需从头架设所有内容,就可以利用最新的大型事件数据技术。但是,如果您对如何成为巨头公司感到好奇,那么请从最好的公司中收集一些架构。  Netflix   Netflix拥有9300万用户,没有交互缺陷。正如他们的工程团队在Netflix数据管道的演变中描述的那样,他们每天大约捕获5000亿个事件,每天大约有1.3PB的数据传输。在高峰时段,他们每秒将记录800万次事件。他们雇用了100多个数据工程师或分析师。   以下是上述文章中数据架构的简化视图,其中显示:开源系统ApacheKafka,搜索服务器ElasticSearch,亚马逊云存储服务AWSS3,进行大数据处理的ApacheSpark,运行框架ApacheHadoop和大数据分析服务EMR作为主要组件。

 Facebook   拥有超过10亿的活跃用户,Facebook有世界上最大的数据仓库之一,存储超过300PB。该数据被用于广泛的应用:从传统的批处理到图形分析,机器学习和实时交互式分析。为了进行大规模的交互式查询,Facebook的工程师发明了Presto,一种针对点对点分析进行优化的定制分布式的SQL查询引擎。每天有1000多名Facebook员工使用Presto,通过Hive、HBase和Scribe的可插拔后端数据存储,每天执行查询次数超过30000次。

  体系结构

  后端数据存储

Airbnb   Airbnb支持超过1亿用户浏览200多万的房屋列表。他们智能地向这些用户提供新的旅行建议的能力,这对他们的成长有很大影响。Airbnb的数据科学经理Elena Grewal在去年的会议“建立一个世界级的分析团队”上提到,他们已经将Airbnb的数据团队扩展到拥有30多名工程师的规模。这是每人每年500万的投资。   AirbnbEng建筑师James Mayfield、Krishna Puttaswamy、Swaroop Jagadish和Kevin Longdescribe描述了构建数据结构的基本要素以及如何为关键任务数据提供更高的可靠性。他们严重依赖Hive和Apache Spark,并使用了Facebook的Presto。

  AIRBNB的数据基础结构

Pinterest   Pinterest每月有超过1亿的用户浏览超过100亿的网页浏览量。截至2015年,他们将数据团队扩展到拥有250多名工程师的规模。他们的基础设施依赖于开源系统ApacheKafka,数据处理框架Storm,系统基础架构Hadoop,开源数据库HBase和GPU渲染器Redshift。

  数据管道结构图

  Pinterest团队不仅需要追踪大量客户相关的数据。像其他社交平台一样,他们还需要向广告商提供详细的分析。黄彤波在《Behindthe Pins:Building Analytics at Pinterest》一文中写道:为了满足这一需求,他们改进了自己的分析堆栈。以下是Pinterest团队如何使用Apache Kafka,AWSS3和HBase的示意图:

  Pinterest商业数据分析结构图

  Twitter/Crashlytics   每天实时处理50亿次会议。EdSolovey介绍了Crashlytics Answers团队构建的一些架构,用于处理数十亿的日常移动设备事件。

  信息流接收

  存储

  批处理计算

  加速计算

总览   正如我之前提到的,我们构建了Keen数据接口(API),以便任何开发人员都可以使用世界一流的数据架构,而无需拥有一个庞大的团队构建一大堆基础架构。成千上万的工程团队使用Keen的API来捕获、分析、流式传输和嵌入事件数据,包括实时和批处理应用程序。虽然使用Keen的开发人员在发送事件或运行查询时不需要知道幕后发生的情况,但下面是处理其请求的体系结构:

  Keen IO信息处理结构图

  在输入方面,负载均衡器处理数十亿个传入的帖子请求。事件流来自于应用程序,网站,连接设备,服务器,计费系统等等。事件需要验证、排序和可选择地丰富额外的元数据,如IP-地理查询。这一切都发生在几秒钟内。一旦安全地存储在Apache Cassandra中,事件数据就可以通过RESTAPI进行查询。我们的架构(通过Apache Storm,Dynamo DB,Redis和AWS lambda等技术)支持从原始传入数据实时数据探索,到应用程序和面向客户报告的缓存查询的各种查询需求。Keen每天查询数万个事件属性,并为成千上万的客户构建报告,自动化和数据挖掘界面。

本文分享自微信公众号 - BestSDK(bestsdk)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-05-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 神策SDK全面支持海外数据规定GDPR,全程透明化可审计数据服务

    随着欧盟通用数据保护条例要求(GDPR)正式生效,GDPR被誉为有史以来规模最大,也是最具惩罚性的隐私法之一。GDPR对于信息治理和数据隐私保护的认知更加深入,...

    BestSDK
  • “氢元数据”:提供一站式大数据API,可按需定制

    “氢元数据”定位于基础数据服务商。开发服务的先行者,平台是以自有数据为基础,通过各种便捷服务整合及第三方数据接入,为互联网开发全行业提供标准化API技术支撑服务...

    BestSDK
  • 大数据虽好可也要注意这3点,不然只能叫“垃圾收集者”

    多年来,在Apache Hadoop等技术的支持下,组织一直在寻求构建数据湖——企业范围的数据管理平台,允许以原生格式存储所有数据。数据湖可通过提供给一个单一的...

    BestSDK
  • 视觉问答:VQA经典模型Up-Down以及VQA 2017challenge 冠军方案解读

    DeepAction七期飞跃计划还剩3个名额,联系小编,获取你的专属算法工程师学习计划(联系小编SIGAI_NO1)

    SIGAI学习与实践平台
  • [计算机视觉论文速递] ECCV 2018 专场10

    OK!计算机视觉论文速递系列正式重启,CVer将两/三天更新一次速递推文,如果时间充足,会做到每日一更。

    Amusi
  • ZigBee On Windows Mobile--1.背景和结构

        在开始之前,先引用一下我在今年的Windows Embedded正文比赛上的文章-“移动设备中ZigBee接口的实现”。该文章只是介绍了框架性的概念和实...

    ShiJiong
  • 机器学习特性缩放的介绍,什么时候为什么使用

    在这篇文章中,我们将讨论什么是特征缩放以及为什么我们在机器学习中需要特征缩放。我们还将讨论数据的标准化,以及使用scikit-learn实现同样的标准化。

    deephub
  • nodejs,python,sublime和Eclipse的包管理器

    首先安装Python运行环境Python 3.7.0:https://www.python.org/downloads/release/python-370/

    Jerry Wang
  • PySpark初级教程——第一步大数据分析(附代码实现)

    我们正在以前所未有的速度生成数据。老实说,我跟不上世界各地里产生的巨大数据量!我敢肯定你已经了解过当今时代数据的产量。McKinsey, Gartner, IB...

    磐创AI
  • 2 HTML5基础

    答:借助HTML5解决和分析工业设计中的问题,易于实现数据可视化,而且支持所有主流操作系统。与传统C/C++/FORTRON计算机语言相比具备几个显著优势:首先...

    周星星9527

扫码关注云+社区

领取腾讯云代金券