在大数据之路上站稳扶好

很多企业都在开始搭建自己的大数据平台，这既是时代趋势使然，也是业务场景需要。但大数据平台从技术选型、搭建到落地，整个过程一定是困难重重的。

设计大数据平台时，首先要考虑预算和交付周期。若预算紧、交付周期短，且团队还不具备提交Patch或者二次开发的条件，那么可以先选择部分组件用商业化；其次要评估应用场景的复杂度和数据量，以及保障要求的性能、容错等非功能性需求，这些可以分几个阶段建设；最后是根据平台如何设定配套管理流程、制度、规范等。

·常见的挑战

确实，很多团队在平台建设初期会先选择部分工具使用商用产品，等后期再根据业务需求将其替换到开源软件，这的确是一个不错的方式。但这样一来，在后期进行过渡时，应用迁移将成为一个不小的挑战。

再者，对于部分业务场景，现有的开源项目无法支撑。而且部分功能有时需要对正在使用中的开源项目进行二次开发，这可能会对平台造成“伤筋动骨”般的影响，产生较大的麻烦。最后还应注意的问题是，数据存储和处理分散、烟囱式数据开发，可能导致后期各个部门数据口径不统一、维护成本高。

·如何应对

“业务发展到一定阶段，老的报表平台上指标口径繁多，数据经常对不上，维护成本越来越高，问题逐步暴露了出来。”针对这些典型的问题与挑战，墨冶老师以个人经验为例，分享了一些应对办法：

第一，自研自己的自主分析平台和统一指标平台，再结合OLAP的优缺点，选型Druid等OLAP做加速，方便自主分析和报表查询。

第二，梳理各BU的指标，提取出公共的原子指标、衍生指标等，录入统一指标平台，统一指标口径和指标服务。

第三，迁移工作中，自主分析平台可以直接接入ETL加工后的表，也可以接入统一指标平台，不用一套标准限制死，否则迁移工作会耗时很长，可以在过程中再慢慢进化。

·上云也是一个很好的选择

云的灵活性、便利性是促使企业在云上搭建大数据平台的一大原因，而且，云也可以提供更专业的大数据技术能力，对于一些技术水平尚缺的公司来说，上云可以说更具优势。

“这方面国外比较好，国外超级独角兽Airbnb、市值千亿美金的Netflix都用别人的云。”“专业的事情可以交给专业的公司来做，自己专注到业务增长上面。国内很多公司到了一点规模，还处于亏损状态，就喜欢全部自建。我看到有些公司因为这块压力，拖累管理精力和成本而死掉。”