Alluxio在携程大数据平台中的实践

本文来自于2018年10月27日由 Alluxio、七牛主办,示说网协办的Alluxio Meetup 上海站。

分享嘉宾郭建华,携程大数据平台研发工程师,2016年硕士毕业于上海大学后,一直在携程的大数据平台部门从事离线平台的维护与研发工作,对存储框架HDFS、Alluxio,计算框架Spark SQL和Hive有一定的了解。

本文的主要内容包括离线和实时在携程大数据中都占据重要地位,为了解决资源竞争带来的问题,携程将部分实时作业单独建立集群,同时带来了新的问题,跨集群读写数据。同时,部分作业需要准时实时的离线查询,这给当前的框架带来挑战。本次分享介绍了如何引入Alluxio来解决这些问题进行了探讨,并分享碰到的一些问题和踩过的坑。

下面是本次分享 ppt 全部内容:

关注 iteblog_hadoop 微信公众号,并回复Alluxio 获取本文ppt。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181031B0G0S300?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券