巨无霸们的数据架构大比拼:Facebook Amazon NetFlix Airbnb的海量数据如何记录分析

大数据文摘作品,转载要求见文末

作者 | Michelle Wetzler

编译 | 璐、颖子

全球最好的数据架构长什么样?

我们认为使用事件数据的公司会有很强的竞争优势。这一点在世界领先的科技公司中似乎都得到了证明。脸书、亚马逊、Airbnb,Pinterest和Netflix公司的数据工程师团队一直令人称奇。他们的工作为软件和商务的认知设定了新准则。

因为他们的产品被广泛的使用,这些团队必须不断重新定义大规模数据分析。他们在数据架构上已经投入数以百万计的资金,并且拥有比大多数公司的整个工程部门人数还多的数据团队。

如果你对大型公司的大数据框架感到好奇,下面我们将介绍最好的集成架构。

Netflix 网飞

尽管拥有9300万月活跃用户,网飞在交互上没有任何缺陷。他们每天可以收集到大概5千亿条事件数据,大概占1.3PB。在高峰时段,他们每秒会记录800万条数据。网飞雇佣的数据工程师和分析师超过100人。

下面是在网飞之前公布的公司数据架构的简图,主要包括Apache Kafka, 弹性搜索, AWS S3, Apache Spark, Apache Hadoop, 和EMR。

来源http://techblog.netflix.com/2016/02/evolution-of-netflix-data-pipeline.html

Facebook 脸书

由于拥有超过10亿的活跃用户,脸书的数据库是世界上最大的数据库之一,储存了超过300pb的数据。这些数据会用于各种应用程序,从传统的批处理,到图像分析、机器学习和实时交互分析。

为了实现大规模交互查询,脸书的工程师设计了Presto,一个使用特定分析优化的定制分布式SQL查询引擎。上千员工在使用这一引擎,这些人每天跨越各种不同的后端数据库,如Hive, HBase, 和Scribe,执行超过3万个查询。

Airbnb 爱彼迎

爱彼迎支持超过1亿用户对200万条房屋记录进行查询。另外,爱彼迎可以为用户智能地提供旅行建议,这对其发展是非常重要的。他们的团队建立了一个很棒的博客AirbnbEng,去年他们在博客上介绍了爱彼迎的数据架构。

在我们去年办的一个聚会中,爱彼迎的数据科学部的经理, Elena Grewal说“要建立一个世界级的分析团队”。他提到爱彼迎的数据团队已经超过30人,公司每年付给这些职员的薪水超过500万美元。

Pinterest 品趣志

品趣志有超过1亿的月活跃用户和超过100亿的月页面访问量。在2015年,他们的数据团队的工程师就超过了250个。他们的架构很大程度上依赖于Apache Kafka、Storm、Hadoop、HBase 和 Redshift。

品趣志的数据架构概览

品趣志的团队不只需要持续记录巨量的客户数据,他们还需要给他们的广告商提供详细的分析结论。Tongbo Huang写过“在品趣志的背后:建立品趣志分析系统”(https://medium.com/@Pinterest_Engineering/behind-the-pins-building-analytics-f7b508cdacab?s=hi-from-keen-io),该文章介绍了他们怎样改进数据分析软件栈以满足上述的需求。下图说明了他们如何运用Apache Kafka、AWS S3、和 HBase来实现目标的:

Pinterest商务分析系统数据架构

Pinterest商务分析系统客户界面

Twitter / Crashlytics

Crashlytics Answers团队建立了用来处理每天百万记的移动设备事件的架构。

事件接收器

存档

批处理

运算速度

组合视图

致谢

感谢协作数据工程社区,他们不仅持续发明新的数据科技,并且坚持开源并分享他们的知识。如果不是之前那么多工程师团队所做的基础工作,我们的工作不可能完成。同样如果没有那些日以继夜一直与我们并肩作战的人,我们的工作也不可能完成。欢迎在文章后进行评论和反馈。

特别感谢上面提到的文章的作者和架构师:网飞的Steven Wu, 脸书Presto的Martin Traverso , AirbnbEng,Pinterest Engineering, 和 Crashlytics Answers 的Ed Solovey 。

原文链接:https://blog.keen.io/architecture-of-giants-data-stacks-at-facebook-netflix-airbnb-and-pinterest-9b7cd881af54

关于转载 如需转载,请在开篇显著位置注明作者和出处(转自:大数据文摘 | bigdatadigest),并在文章结尾放置大数据文摘醒目二维码。无原创标识文章请按照转载要求编辑,可直接转载,转载后请将转载链接发送给我们;有原创标识文章,请发送【文章名称-待授权公众号名称及ID】给我们申请白名单授权。未经许可的转载以及改编者,我们将依法追究其法律责任。联系邮箱:zz@bigdatadigest.cn。

原文发布于微信公众号 - 大数据文摘(BigDataDigest)

原文发表时间:2017-07-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏GoGal够格的专栏

一款让敏捷开发团队跑起来的管理工具

说起创业公司,在创业初期面临的一个比较大的痛点,莫过于如何实现高效低成本的项目管理模式 - 小步快跑、快速迭代?如何将研发团队有效组织起来,在可控、可视化的范围...

1.3K0
来自专栏Java技术栈

面试时如何介绍自己的项目经验?

在面试时,经过寒暄后,一般面试官会让介绍项目经验 。常见的问法是,说下你最近的(或最拿得出手的)一个项目。

3683
来自专栏phodal

2017 年一定不要错过的五本编程书籍 | Phodal 书单

最近几个月看了不少书,觉得有几本甚是不错,如干货满满的《编程风格》,概念普及中的《Serverless架构:无服务器单页应用开发》。便撰文一篇,简单地介绍一下这...

3096
来自专栏Python自动化测试

漫谈接口测试

在前面的很多的文章对中接口测试有很多的介绍,包含了常用的接口测试工具postman,以及测试工具Jmeter(目前在持续介绍中)和使用Pytho...

1896
来自专栏云计算D1net

云计算等新兴技术如何影响服务器市场

在云计算盛行的今天,云计算不可避免会对服务器销售产生影响。一些企业特别是新创企业和小企业,他们往往将选择至少将一部分基础设施移动到云上,而不是维护自己的数据中心...

3125
来自专栏达摩兵的技术空间

所谓“前端能力不足”

随着前端越来越多的被提上日程,用户对产品的体验度要求越来越高,产品除了实用的特性还必须满足方便用,美观,交互好,人性化等一系列的操作,谁的产品先做到这些,就能获...

1024
来自专栏微信公众号:Java团长

如何在面试中介绍自己的项目经验?

在面试时,经过寒暄后,一般面试官会让介绍项目经验 。常见的问法是,说下你最近的(或最拿得出手的)一个项目。

1103
来自专栏鹅厂网事

大数据在服务器运营中的应用

前言 腾讯公司从2012年开始,通过对服务器运营流程、工具系统的建设,服务器从一线到三线的运营基本转入线上自动化。在服务器静态配置、动态的运行状态和生命周期各个...

2947
来自专栏云计算D1net

云计算下的这些细分领域 你都了解吗?

云计算的“云”源于绘制互联网的网络图表时的一个习惯——会将其画成一朵云。最受认同的关于云计算含义的解释是,在一个商业供应者的数据中心上通过互联网远程运行工作负载...

3656
来自专栏程序人生

漫谈工程师的三观

工程师要有技术观,产品观和数据观。 (1)技术观 什么是正确的技术观? 我觉得首先是对各种技术不排斥,兼容并蓄。初入行的工程师往往会陷入对某种技术的深深的迷恋而...

36911

扫码关注云+社区

领取腾讯云代金券