专栏首页JAVA高级架构携程大数据实时计算平台建设实践

携程大数据实时计算平台建设实践

本文作者为携程大数据平台负责人张翼。张翼浙江大学硕士毕业,2015年初加入携程,主导了携程实时数据计算平台的建设,以及携程大数据平台整合和平台技术的演进。进入互联网行业近10年,从事大数据平台和架构的工作超过6年。

首先是技术选型五花八门,消息队列有用ActiveMQ的,有用RabbitMQ的,也有用Kafka的,分析平台有用Storm的,有用Spark-streaming的,也有自己写程序处理的;由于业务部门技术力量参差不齐,并且他们的主要精力还是放在业务需求的实现上,所以这些实时数据应用的稳定性往往难以保证。其次就是缺少周边设施,比如说像报警、监控这些东西。最后就是数据和信息的共享不顺畅,如果度假要使用酒店的实时数据,两者分析处理的系统不同就会很难弄。所以在这样前提下,就需要打造一个统一的实时数据平台。

需要怎样的实时数据平台

这个统一的数据平台需要满足4个需求:首先是稳定性,稳定性是任何平台和系统的生命线;其次是完整的配套设施,包括测试环境,上线、监控和报警;再次是方便信息共享,信息共享有两个层面的含义,1、是数据的共享;2、是应用场景也可以共享,比如说一个部门会受到另一个部门的一个实时分析场景的启发,在自己的业务领域内也可以做一些类似的应用;最后服务响应的及时性,用户在开发、测试、上线及维护整个过程都会遇到各种各样的问题,都需要得到及时的帮助和支持。

本文分享自微信公众号 - JAVA高级架构(gaojijiagou),作者:张翼

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-08-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 喊了这么多年大数据?你确定了解大数据?

    在科技如此兴盛的时代,人类社会实践产生了海量的全样数据、虚拟化、分布式集群、人工智能和深度学习算法等大数据和云计算技术,这些技术的出现意味着能更好地解决传统数据...

    Java高级架构
  • 优化 MySQL: 3 个简单的小调整

    我并不期望成为一个专家级的 DBA,但是,在我优化 MySQL 时,我推崇 80/20 原则,明确说就是通过简单的调整一些配置,你可以压榨出高达 80% 的性能...

    Java高级架构
  • 余额宝技术架构及演进

    导读:余额宝开启了划时代的意义,开启了全民理财时代。上个月微博商业产品部联合天弘基金等金融技术团队策划了首届互联网金融系统沙龙,围绕在互联网金融过程中碰到技术架...

    Java高级架构
  • 灯塔原创 | 我对共享经济的3大疑问——用数据事实解开答案

    导读: 共享单车,谁才是行业老大? 共享电单车,究竟怎么充的电? 共享猫咪、共享姨妈巾、共享男朋友,这些共享行业新闻是真是假? 最近,在国内共享单车之战打得如火...

    灯塔大数据
  • 纪念 Alan Turing 诞辰 105 周年

    用户1107453
  • 深度 | 在R中估计GARCH参数存在的问题(续)

    在之前的博客《在 R 中估计 GARCH 参数存在的问题》中,Curtis Miller 讨论了 fGarch 包和 tseries 包估计 GARCH(1, ...

    量化投资与机器学习微信公众号
  • 35所高校要开设大数据专业!你怎么看?

    各大高校紧锣密鼓启动大数据人才培养,缘于大数据时代催生的大量相关人才缺口。其实就是一个问题,市场的需求在驱动。

    华章科技
  • 在ubuntun虚拟机里安装goLang语言编程环境

    版权声明:本文为博主汪子熙原创文章,未经博主允许不得转载。 https://jerry.bl...

    Jerry Wang
  • 初级前端如何突破瓶颈

    自 15 年 9 月第一次接触前端开发到现在已经过去了五年多,最开始是从一个很小的外包团队团队出身,没有带,没人管,几乎一个人干了 2 年多的活。

    Cookieboty
  • rabbitmq消息队列——"路由"

    在之前的教程中,我们创建了一个简单的日志系统。我们能够向许多交换器转发日志消息。 在本教程中,我们将添加一个功能——我们让它仅仅接收我们感兴趣的日志类别。举例:...

    用户1141560

扫码关注云+社区

领取腾讯云代金券