如何构建企业大数据

通过数据分析,企业既能够实现危机预警,也能做到洞察先机。但企业规模不同、数据应用的成熟度不同,大数据技术的发展更是一日千里,如何科学地构建企业大数据呢?

企业大数据生态产业链

大数据提供者指拥有数据的公司,此类公司属于大数据产业链上的一个环节,属于大数据的上游,比如互联网企业、运营商、金融企业、数据中间商;

大数据技术提供者指大数据技术供应商或者大数据分析技术的公司,此类公司属于大数据产业链的中游,主要进行搭建大数据平台、提供相关的大数据技术支持、云存储、数据安全、相关软硬件等,比如:专业及技术服务商、综合技术服务商、大数据云存储和云服务商;

大数据服务提供者指挖掘数据价值的大数据应用公司,此类公司处于大数据产业链的下游,通过发掘隐藏的大数据中的价值,不断推动大数据产业链中各个环节发展和成熟,比如应用服务提供商、咨询服务提供商。

企业大数据建设思路

数据的获得:从社交网站、各种系统、通信网络、传感器、视频通过超级计算按机和云计算进行统计、分析、预测、定时处理反馈给产品用户。

数据的汇集和存储:数据只有不断流动和充分共享才有生命力。基于数据库建设,通过数据集成,实现各级各类信息系统的数据交换和数据共享、数据存储达到低成本、低能耗、高可靠性。

数据的管理:采用6种普通数据管理技术包括分布式存储与计算啊、列式数据库技术、非关系型的数据库、内存数据库技术、云数据库以及移动数据库技术。

数据的分析:复杂性不仅体现在数据样本本身,更体现在多源异构、多实体与多空间之间的交互动态性上。需要高纬图像等多媒体数据降维后度量与处理,利用上下文关联进行语义分析。大数据的处理类型很多,主要处理模式可分为流处理和批吹两种。批处理先存储后处理,而流处理则是直接处理数据。挖掘的任务主要是关联分析、聚类分析、分类、预测、时序模式和偏差分析等。

数据的价值

数据的使用:大数据应用关键“IT”与“经营”的融合。

企业大数据的基本架构

Hadoop技术平台:大数据的存储和处理与云计算技术密不可分,基于廉价硬件的分布式系统被认为是最合适处理大数据的技术平台,比如Hadoop,参考体系架构;

大数据平台系统功能

企业大数据的目标效果

通过大数据引入和部署,企业向下集中,整合数据。向上共享数据、服务应用,支撑分析挖掘,监控监督,数字运营等。

数据整合:统一数据模型,统一数据标准,统一数据视图;

数据质量管控:数据质量校验,数据质量管控;

数据共享:消除网状接口,建立大数据共享中心,为各业务系统提供共享数据,降低接口复杂度。以实时或准实时的方式将整合或计算好的数据向外系统提供;

数据应用:查询应用,固定报表应用,动态分析应用。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180611G0VV9H00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券