在大数据之路上站稳扶好

很多企业都在开始搭建自己的大数据平台,这既是时代趋势使然,也是业务场景需要。但大数据平台从技术选型、搭建到落地,整个过程一定是困难重重的。

设计大数据平台时,首先要考虑预算和交付周期。若预算紧、交付周期短,且团队还不具备提交Patch或者二次开发的条件,那么可以先选择部分组件用商业化;其次要评估应用场景的复杂度和数据量,以及保障要求的性能、容错等非功能性需求,这些可以分几个阶段建设;最后是根据平台如何设定配套管理流程、制度、规范等。

·常见的挑战

确实,很多团队在平台建设初期会先选择部分工具使用商用产品,等后期再根据业务需求将其替换到开源软件,这的确是一个不错的方式。但这样一来,在后期进行过渡时,应用迁移将成为一个不小的挑战。

再者,对于部分业务场景,现有的开源项目无法支撑。而且部分功能有时需要对正在使用中的开源项目进行二次开发,这可能会对平台造成“伤筋动骨”般的影响,产生较大的麻烦。最后还应注意的问题是,数据存储和处理分散、烟囱式数据开发,可能导致后期各个部门数据口径不统一、维护成本高。

·如何应对

“业务发展到一定阶段,老的报表平台上指标口径繁多,数据经常对不上,维护成本越来越高,问题逐步暴露了出来。”针对这些典型的问题与挑战,墨冶老师以个人经验为例,分享了一些应对办法:

第一,自研自己的自主分析平台和统一指标平台,再结合OLAP的优缺点,选型Druid等OLAP做加速,方便自主分析和报表查询。

第二,梳理各BU的指标,提取出公共的原子指标、衍生指标等,录入统一指标平台,统一指标口径和指标服务。

第三,迁移工作中,自主分析平台可以直接接入ETL加工后的表,也可以接入统一指标平台,不用一套标准限制死,否则迁移工作会耗时很长,可以在过程中再慢慢进化。

·上云也是一个很好的选择

云的灵活性、便利性是促使企业在云上搭建大数据平台的一大原因,而且,云也可以提供更专业的大数据技术能力,对于一些技术水平尚缺的公司来说,上云可以说更具优势。

“这方面国外比较好,国外超级独角兽Airbnb、市值千亿美金的Netflix都用别人的云。”“专业的事情可以交给专业的公司来做,自己专注到业务增长上面。国内很多公司到了一点规模,还处于亏损状态,就喜欢全部自建。我看到有些公司因为这块压力,拖累管理精力和成本而死掉。”

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180911A0SGXA00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券