首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >携程大数据实时计算平台建设实践

携程大数据实时计算平台建设实践

作者头像
Java高级架构
发布2018-09-29 14:49:15
1.7K0
发布2018-09-29 14:49:15
举报
文章被收录于专栏:JAVA高级架构JAVA高级架构

本文作者为携程大数据平台负责人张翼。张翼浙江大学硕士毕业,2015年初加入携程,主导了携程实时数据计算平台的建设,以及携程大数据平台整合和平台技术的演进。进入互联网行业近10年,从事大数据平台和架构的工作超过6年。

首先是技术选型五花八门,消息队列有用ActiveMQ的,有用RabbitMQ的,也有用Kafka的,分析平台有用Storm的,有用Spark-streaming的,也有自己写程序处理的;由于业务部门技术力量参差不齐,并且他们的主要精力还是放在业务需求的实现上,所以这些实时数据应用的稳定性往往难以保证。其次就是缺少周边设施,比如说像报警、监控这些东西。最后就是数据和信息的共享不顺畅,如果度假要使用酒店的实时数据,两者分析处理的系统不同就会很难弄。所以在这样前提下,就需要打造一个统一的实时数据平台。

需要怎样的实时数据平台

这个统一的数据平台需要满足4个需求:首先是稳定性,稳定性是任何平台和系统的生命线;其次是完整的配套设施,包括测试环境,上线、监控和报警;再次是方便信息共享,信息共享有两个层面的含义,1、是数据的共享;2、是应用场景也可以共享,比如说一个部门会受到另一个部门的一个实时分析场景的启发,在自己的业务领域内也可以做一些类似的应用;最后服务响应的及时性,用户在开发、测试、上线及维护整个过程都会遇到各种各样的问题,都需要得到及时的帮助和支持。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2018-08-15,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 JAVA高级架构 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档