首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

企业搭建数据分析系统一般有哪些步骤?

如今,信息时代正逐步向数据时代转变,数据演变得越来越重要,它可以反映出公司的经营情况,为公司的经营和决策提供准确的参考依据。而数据系统是连接数据和企业的中间件,可以将这些数据通过一定的规格,清晰地展示给企业领导。

对于企业搭建数据分析系统一般主要分为三部分:

        · 数据接入

        · 数据处理

        · 数据分析

数据接入是将数据写入数据仓储中,也就是数据整合。因为在企业中,数据可能分布在外部和内部,分布在外部的是企业使用第三方系统产生的数据和一些公共数据,分布在企业内部的是企业内部IT系统产生的数据。这些数据一般都是独立分布的,也就是所说的数据孤岛,此时的这些数据是没有什么意义的,因此数据接入就是将这些内外部的数据整合到一起,将这些数据综合起来进行分析。

数据处理是对接入的数据进行数据清洗和ETL建模,将各个数据表之间的关系建立起来,比如关联,聚合,追加等等这些处理。

数据分析是在数据处理后的数据基础上进行维度和数值的可视化分析,也就是基于OLAP的查询和分析,包含上卷,钻取,切片,转轴等操作,最后分析的结果通过报表或是仪表盘来呈现出来,从而支撑业务人员和决策人员。

按照数据处理的顺序可以将大数据平台分为传统型和敏捷型,传统型的是在将数据送入数据仓储里面之前做,存入数据仓储里面的数据已经定义好了事实维度这些模型关系,业务人员可以直接进行查询,但是实时性和灵活性会大打折扣,如果业务人员需要分析一个事先没有的数据的话,需要去跟技术人员反馈,技术人员来完成处理。而敏捷型的则是将数据处理放到了后面,这样业务人员可以根据自己的需要去自助探索式的建模和进行数据分析,但是对系统的性能要求较高。

知道了是什么样的,接下来我们可以来做了。

对于企业来说,可以采用第三方的工具来使用。比如国内Smartbi思迈特软件和永洪。这些数据产品都是可以满足企业分析数据的需要,同时有上面所说的各类功能。由于Smartbi个人版是免费的,这里通过一些截图来说明一下。

数据接入- 支持各类数据库

数据处理-可视化拖拽

数据可视化-丰富的图表和交互

当然如果公司有足够的实力,想自建数据平台,可以在现有的一些开源的数据相关的工具来进行搭建,底层存储和计算平台的HDFS,Spark,Hive这些都是Apache开源的,OLAP有Kylin,Saiku这些开源工具,可视化有Airbnb开源的Superset,如果在这些基础上进行搭建和开发,相信能够省去一些开发量,但是事物除了有共性还是有个性的,想要绝对的满足需求是没有的,都是需要企业根据自身的需求来进行定制化开发的。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20210319A07ISG00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券