适应现代变化的数据架构

出处：http://tdan.com/modernizing-data-architecture/21967

作者：Dave Wells

译者：张微

传统BI和数据仓库架构已无法应对大数据、分析、自助服务所带来的挑战。然而，现代化数据架构仍未能够全部解决传统数据仓库和BI所面临的问题，很少有组织能够在一些尚未成熟的领域采用大数据分析技术。数据架构在能够支持传统BI的同时，也要意识到需要逐渐的适应现代化项目需求。

现代化数据架构设计方法

毫无疑问，数据架构必须改变。它必须适应大数据、分析和自助服务的时代。传统数据仓库和BI架构已经不能很好地满足许多企业创新发展的需求，每一个变化——大数据、分析和自助服务——都是一个巨大潜力和挑战的组合，把它们组合在一起便形成了一个机会丰富、极其复杂的环境。我们必须使用现代化数据架构，一个优秀的架构能够管理数据复杂性的同时也能够避勉造成混乱。那么，什么是现代化数据架构以及如何设计现代化数据架构？

今天，许多公司仍然保留着传统数据仓库和BI架构的一部分特性，它的特点是线性的、结构化的和具体延迟性的（见图1）。

以下是传统架构的几种特征，这些特征往往会阻障实现大数据、分析和自助服务。

线性化的数据流和工作流

结构化的企业数据

具有一定延迟性的数据批处理

纵向扩展基础设施规模是满足数据增长的主要策略

对IT部门高度依赖的集中式服务

现代数据架构必须适应多方向的数据流、迭代处理、非结构化和外部数据、流处理、低延迟和实时数据、横向扩展数据增长策略和具有自主权的自助服务。这是一个新的信息供应链的开始，我们开始以不同的方式思考数据。传统上，我们把数据作为一种技术资产来存储、处理和管理。今天，我们必须将数据管理成可供所有需要的人访问的资源。不要把数据看成是静态的、存储的，而是要看成活的、动态的、贯穿于每一个业务流程的数据。

动态数据是通过一种新的信息供应链来实现的，它是迭代的、智能的和自适应的。信息供应链的五个阶段是：

采集数据并引入分析生态系统

编制数据资产目录、支持元数据管理

准备改进、丰富、格式化、整合数据

分析、建模和可视化数据

通过分析观察转化为支撑业务结果的行动

新的供应链依赖于数据管理、数据编目和数据准备的技术。有关企业数据驱动的更多技术请参见我的大数据管理软件报告。新的信息供应链应成为现代化分析架构（参见图2）的基础。

现代化分析架构和传统架构相比，存在几个比较明显的变化：

从线性数据流和工作流到多向数据流和迭代工作流

从结构化企业数据到企业及外部结构化和非结构化数据

从批处理和数据延迟到批处理、流和实时处理，满足分析数据的时效性要求

从纵向扩展基础设施规模到横向扩展基础设施的数据增长管理模式

从集中和依赖式服务到自助、自动化服务

也许最重要的是现代化架构，它保留着传统架构功能，且能够与传统架构进行整合。很少有组织能够在未成熟的领域应用现代化分析方法，大部分组织仍保留着传统BI和数据仓库架构。一个务实的架构在能够适应过去（以蓝色显示）的同时，也能够更好的支撑未来（橙色显示）不断变化的现代化需求。

译者简介

张微，多年从事银行管理会计领域相关的数据工作，熟悉银行业务、管会系统及相关数据信息，在数据质量管理、数据模型设计、数据集市建设等方面有着丰富的实践经验。