适应现代变化的数据架构

传统BI和数据仓库架构已无法应对大数据、分析、自助服务所带来的挑战。然而,现代化数据架构仍未能够全部解决传统数据仓库和BI所面临的问题,很少有组织能够在一些尚未成熟的领域采用大数据分析技术。数据架构在能够支持传统BI的同时,也要意识到需要逐渐的适应现代化项目需求。

现代化数据架构设计方法

毫无疑问,数据架构必须改变。它必须适应大数据、分析和自助服务的时代。传统数据仓库和BI架构已经不能很好地满足许多企业创新发展的需求,每一个变化——大数据、分析和自助服务——都是一个巨大潜力和挑战的组合,把它们组合在一起便形成了一个机会丰富、极其复杂的环境。我们必须使用现代化数据架构,一个优秀的架构能够管理数据复杂性的同时也能够避勉造成混乱。那么,什么是现代化数据架构以及如何设计现代化数据架构?

今天,许多公司仍然保留着传统数据仓库和BI架构的一部分特性,它的特点是线性的、结构化的和具体延迟性的(见图1)。

以下是传统架构的几种特征,这些特征往往会阻障实现大数据、分析和自助服务。

线性化的数据流和工作流

结构化的企业数据

具有一定延迟性的数据批处理

纵向扩展基础设施规模是满足数据增长的主要策略

对IT部门高度依赖的集中式服务

现代数据架构必须适应多方向的数据流、迭代处理、非结构化和外部数据、流处理、低延迟和实时数据、横向扩展数据增长策略和具有自主权的自助服务。这是一个新的信息供应链的开始,我们开始以不同的方式思考数据。传统上,我们把数据作为一种技术资产来存储、处理和管理。今天,我们必须将数据管理成可供所有需要的人访问的资源不要把数据看成是静态的、存储的,而是要看成活的、动态的、贯穿于每一个业务流程的数据。

动态数据是通过一种新的信息供应链来实现的,它是迭代的、智能的和自适应的。信息供应链的五个阶段是

采集数据并引入分析生态系统

编制数据资产目录、支持元数据管理

准备改进、丰富、格式化、整合数据

分析、建模和可视化数据

通过分析观察转化为支撑业务结果的行动

新的供应链依赖于数据管理、数据编目和数据准备的技术。有关企业数据驱动的更多技术请参见我的大数据管理软件报告。新的信息供应链应成为现代化分析架构(参见图2)的基础。

现代化分析架构和传统架构相比,存在几个比较明显的变化:

从线性数据流和工作流到多向数据流和迭代工作流

从结构化企业数据到企业及外部结构化和非结构化数据

从批处理和数据延迟到批处理、流和实时处理,满足分析数据的时效性要求

从纵向扩展基础设施规模到横向扩展基础设施的数据增长管理模式

从集中和依赖式服务到自助、自动化服务

也许最重要的是现代化架构,它保留着传统架构功能,且能够与传统架构进行整合。很少有组织能够在未成熟的领域应用现代化分析方法,大部分组织仍保留着传统BI和数据仓库架构。一个务实的架构在能够适应过去(以蓝色显示)的同时,也能够更好的支撑未来(橙色显示)不断变化的现代化需求。

本文来自企鹅号 - 御数坊媒体

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据科学与人工智能

人工智能技术在移动互联网发展中的应用

智能化需求体现在两个方面 随着移动互联网的发展进入新的方向,移动互联网中的智能化已经成为新的发展趋势和主要需求。智能化需求目前主要体现在两个方面: 一方面是促生...

426100
来自专栏镁客网

又一项目击败人类,阿里巴巴的AI模型阅读理解精准率超越人类 | 热点

17130
来自专栏CDA数据分析师

优质数据科学课程推荐:总结篇

原作者   David Venturi 编译 CDA 编译团队 本文为  CDA 数据分析师原创作品,转载需授权 一年以前,我还只是一个没有任何编程经验的技术宅...

26680
来自专栏ATYUN订阅号

情感分析:利用上下文语义搜索算法获得更深入的信息

情感分析是文本的上下文挖掘,它识别和提取源材料中的主观信息,并帮助企业了解其品牌、产品或服务的社会情感,同时监控在线对话。然而,对社交媒体流的分析通常仅限于基本...

526120
来自专栏数据科学与人工智能

人工智能技术在移动互联网发展中的应用

随着移动互联网的发展进入新的方向,移动互联网中的智能化已经成为新的发展趋势和主要需求。智能化需求目前主要体现在两个方面: ●一方面是促生新的智能化应用,如自动驾...

36840
来自专栏人工智能头条

大数据驱动下的微博社会化推荐

23750
来自专栏量子位

有屏智能设备的多维对话:延迟和指令呈现 | 百度人工智能交互设计院最新研究

7月4日、5日,第二届百度AI开发者大会在北京举行,此次大会还首次举办了AI设计论坛,论坛上除了发布机器人自然情感人机交互模型 NIRO,还从交互的角度解读了A...

10200
来自专栏人工智能快报

麻省理工提出便捷的机器人学习方法

美国麻省理工学院(MIT)网站发布消息称,该校已经提出了一种更便捷的机器人训练方法。 大多数机器人使用以下两种方法中的一种进行编程:从演示中学习,观察任务完成的...

38160
来自专栏数据科学与人工智能

数据分析框架|数据分析

数据分析是数据时代和数据经济里面的“硬实力”,数据分析有一套系统的科学的方法论,简称为“数据分析框架”。 数据分析是什么?为什么要掌握和应用数据分析呢?每一位数...

34740
来自专栏熊二哥

项目管理深入理解06--风险管理

风险这一章节比较有意思,涉及蒙特卡洛分析(到目前为止不知道是啥)等内容,需要细心理解和记忆。几天大老板James又退休了,自己更加要好好努力,力争有更大进步。 ...

238100

扫码关注云+社区

领取腾讯云代金券