专栏首页PPV课数据科学社区百度的基于Spark构建即席查询平台

百度的基于Spark构建即席查询平台

作者介绍

孙垚光:目前是百度分布式计算方向架构师,离线计算技术负责人。2009年加入百度,先后从事内核网络协议栈、Hadoop/Spark大数据等方向的研发和优化工作,对Hadoop大数据生态有较为深入的理解,积累了丰富的大数据实战经验。

本文主要介绍百度基于Spark SQL构建的一体化即席查询平台,包括架构、特点、相关概念,以及其中涉及到的主要关键技术点,并选择其中一两个技术点做深入分析和探讨,接着是即席查询平台在百度内部业务上的应用案例,包括使用场景和业务收益,同时,面向百度开放云的企业客户,我们也即将推出此类产品,以满足企业客户的大数据查询需求。最后简单介绍下后续规划。

来源:hadoop博文技术

本文分享自微信公众号 - PPV课数据科学社区(ppvke123)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2016-10-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【学习】如何从菜鸟成长为Spark大数据高手?

    Spark采用一个统一的技术堆栈解决了云计算大数据的如流处理、图技术、机器学习、NoSQL查询等方面的所有核心问题,具有完善的生态系统,这直接奠定了其一统云计算...

    小莹莹
  • 【IT名人堂】站在互联网+风口上:百度地图背后的大数据能飞起来吗?

    ? 在互联网+热潮下,谈的最火的话题之一是大数据,而在大数据领域做得风生水起的当属百度和阿里了。从世界杯预测、高考预测、到奥斯卡奖项预测,百度大数据吊足了大家...

    小莹莹
  • 【译文】Spark高速实时分析

    Apache Hadoop是一个成熟的开发框架,它有庞大的生态系统,并得到了Cloudera,Hortonworks,雅虎等重要参与者的支持和贡献。Apache...

    小莹莹
  • 设计模式(五) | 外观模式:牛市股票还会亏钱?

    谭庆波
  • Spark的调度系统

    一,简介 Spark调度机制可以理解为两个层面的调度。首先,是Spark Application调度。也就是Spark应用程序在集群运行的调度,应用程序包括Dr...

    Spark学习技巧
  • 干货丨Tachyon:Spark生态系统中的分布式内存文件系统

    Tachyon是Spark生态系统内快速崛起的一个新项目。本质上,Tachyon是个分布式的内存文件系统,它在减轻Spark内存压力的同时,也赋予了Spark内...

    CSDN技术头条
  • 领域驱动应对业务复杂度

    之前的文章提到过,领域驱动设计分成战略层次和战术层次,战略层次我们讨论的很多了,接下来我们主要看下战术层次要搞哪些事情,以及领域驱动如何以架构的形式落地呢。

    春哥大魔王
  • 《纽约时报》如何打造新一代推荐系统

    用户1737318
  • 腾讯技术专家喊你一起探索移动开发!

    而高拓展的应用一直是移动行业的热点,为此,在开发过程中能轻松将最常用的移动功能集成,并使用到应用程序中,能大大提高开发者们的单兵作战能力。

    云加社区技术沙龙
  • 看《纽约时报》如何用数据算法打造新一代推荐系统!

    通过精炼读者获取这些内容的途径,即在移动应用和网站上基于读者喜好调整文章布局,能够帮助读者找到与他们相关的内容,比如在正确的时间推送读者感兴趣的内容、重大事件的...

    华章科技

扫码关注云+社区

领取腾讯云代金券