数据编织Data Fabric：批流一体的数据智能融合平台

随着数据智能时代的到来，通过物联网设备与传感器产生及管理的数据量迅猛增长，数据的分析变得越发重要。

在2019年上半年，Gartner公布了2019年数据和分析技术领域的十大趋势：增强分析、增强型数据管理、持续型智能、可解释型AI、图形分析、数据结构（Data Fabric）、NLP/对话式分析、商业AI和机器学习、区块链和持久性内存服务器。

何为“Data Fabric”？

Fabric这个词的本意是“织物、布、构造“。你可以想象，数据将在纵横交错的、像织物那样的云网络中自由流动，没有任何限制。不管是哪种计算模式，还是什么的网络，针对批数据、流数据都可以自由交换、共享和处理，那就是数据编织-Data Fabric带来的新体验。

同时，作为批流一体的数据智能融合平台，柏睿数据的“数据编织-Data Fabric”提供高性能、安全可靠、批流一体的数据融合与管理服务。它能简化并集成批数据、流数据的管理和融合，加快数字化转型的步伐，并提供一致统一的集成批流数据服务，用于改善数据可见性和洞察力、数据访问和控制，以及数据保护和安全。

“数据编织-Data Fabric”特征：

实时数据:融合多种异构数据源，一键接入，帮助企业快速实现数据通道。

任务调度:实现任务与任务之间可配置的流向关系，形成有向无环图。

元数据管理:技术元数据自动捕获采集，实现录入、管理与应用一体化元数据平台。

错误队列:实时收集数据相关错误，后置处理错误数据，个性化设置错误队列。

API 数据接入:外部数据一键接入，快速响应企业内部业务数据需要。

可视化运维与监控:实时监控企业上下游数据变化与异常情况，打造数据融合的“管理驾驶舱”。

架构

Data Fabric在各种支持的数据源和数据管道终点之间，通过产品的图形化编排界面，支持用户灵活添加单个或多个阶段性的数据处理任务。每个任务执行的具体操作由用户指定。

上图是Data Fabric的技术架构。用户通过前端管理界面形成工作任务流，首先Data Fabric将数据分布式读取入内存，然后按照定义的工作流，部署到无状态的Docker容器运行。在一个数据管道中的每个任务阶段都有一个流入的数据源，被处理后产生一个结果集成为下一个阶段任务的输入数据集，最终到达数据终点写入。

组件介绍

Adaptor：数据从数据源被提取出来后，经过各种操作函数，达到用户指定的持久化的最终形态，形成数据管道终点写入。这部分功能通过Adaptor模块来实现。Adaptor分为Client端和Server端，Client端提供从数据源读取并解析数据的功能，Server端提供数据写入功能。相比传统ETL工具，Data Fabric提供的Adaptor不仅支持包括关系型数据库等结构化数据的读取和写入，也支持各种格式的日志数据、JSON，XML等嵌套型数据的读取和写入。

操作函数（Operator），从数据源到最终目的地之间可能经过一个或多个中间步骤，中间步骤可以有不同的操作发生。例如搬运数据、过滤、转换、统计等。用户在制定新的数据管道作业时，提供可用的各种数据处理函数，使得数据管道作业在执行时可以被一个阶段的作业加载并使用。这些数据在转化中不会持久到磁盘，因此大大提升ETL的性能，同时也可以在数据治理中避免数据泄漏。Operator运行在一个分布式运算平台上，以提高作业的执行和计算效率。

管理调度主控台：Data Fabric通过一个带有Web集中图形化界面的管理程序，用户可以在Data Fabric提供的交互工作界面上通过拖拽的方式灵活设计、调整和管理、执行和监控多节点的数据管道作业。

数据编织-DataFabric为客户带来的核心价值

数据可见性和数据洞察力。洞察资源性能、容量、成本和应用程序规划，以及分析应用程序集成 。

数据分析和数据控制。简化并集成批数据、流数据的管理和融合，实现业务连续性、进行数据分层以提高效率，以及跨不同位置和应用程序进行访问 。

数据保护和数据安全。数据备份和恢复、归档和保留、副本数据管理、加密和应用程序集成。

同时，借助柏睿数据“数据编织Data Fabric”可以在整个企业内部加快数据管道的速度，训练深度学习模型，为AI应用程序提供支持，实现所需的精简性、选择权和可扩展性来发挥真正的影响。