首页
学习
活动
专区
工具
TVP
发布

数据编织Data Fabric:批流一体的数据智能融合平台

随着数据智能时代的到来,通过物联网设备与传感器产生及管理的数据量迅猛增长,数据的分析变得越发重要。

在2019年上半年,Gartner公布了2019年数据和分析技术领域的十大趋势:增强分析、增强型数据管理、持续型智能、可解释型AI、图形分析、数据结构(DataFabric)、NLP/对话式分析、商业AI和机器学习、区块链和持久性内存服务器。

那么,何为“DataFabric”?

Fabric这个词的本意是“织物、布、构造“。你可以想象,数据将在纵横交错的、像织物那样的云网络中自由流动,没有任何限制。不管是哪种计算模式,还是什么的网络,针对批数据、流数据都可以自由交换、共享和处理,那就是数据编织DataFabric带来的新体验。

同时,作为批流一体的数据智能融合平台,柏睿数据“数据编织DataFabric”提供高性能、安全可靠、批流一体的数据融合与管理服务。它能简化并集成批数据、流数据的管理和融合,加快数字化转型的步伐,并提供一致统一的集成批流数据服务,用于改善数据可见性和洞察力、数据访问和控制,以及数据保护和安全。

“数据编织-Data Fabric”特征:

实时数据融合多种异构数据源,一键接入,帮助企业快速实现数据通道。

任务调度实现任务与任务之间可配置的流向关系,形成有向无环图。

元数据管理技术元数据自动捕获采集,实现录入、管理与应用一体化元数据平台。

错误队列实时收集数据相关错误,后置处理错误数据,个性化设置错误队列。

API 数据接入外部数据一键接入,快速响应企业内部业务数据需要。

可视化运维与监控实时监控企业上下游数据变化与异常情况,打造数据融合的“管理驾驶舱”。

架构

Data Fabric在各种支持的数据源和数据管道终点之间,通过产品的图形化编排界面,支持用户灵活添加单个或多个阶段性的数据处理任务。每个任务执行的具体操作由用户指定。

组件介绍

Adaptor:Adaptor分为Client端和Server端。Client端提供从数据源读取并解析数据的功能,Server端提供数据写入功能。相比传统ETL工具,DataFabric 提供的Adaptor不仅支持包括关系型数据库等结构化数据的读取和写入,也支持各种格式的日志数据、JSON,XML等嵌套型数据的读取和写入。(数据从数据源被提取出来后,经过各种操作函数,达到用户指定的持久化的最终形态,形成数据管道终点写入)

操作函数(Operator),从数据源到最终目的地之间可能经过一个或多个中间步骤,中间步骤可以有不同的操作发生。例如搬运数据、过滤、转换、统计等。用户在制定新的数据管道作业时,提供可用的各种数据处理函数,使得数据管道作业在执行时可以被一个阶段的作业加载并使用。这些数据在转化中不会持久到磁盘,因此大大提升ETL的性能,同时也可以在数据治理中避免数据泄漏。Operator 运行在一个分布式运算平台上,以提高作业的执行和计算效率。

管理调度主控台:Data Fabric通过一个带有Web集中图形化界面的管理程序,用户可以在DataFabric提供的交互工作界面上通过拖拽的方式灵活设计、调整和管理、执行和监控多节点的数据管道作业。

数据编织-DataFabric为客户带来的核心价值

数据可见性和数据洞察力。洞察资源性能、容量、成本和应用程序规划,以及分析应用程序集成。

数据分析和数据控制。简化并集成批数据、流数据的管理和融合,实现业务连续性、进行数据分层以提高效率,以及跨不同位置和应用程序进行访问。

数据保护和数据安全。数据备份和恢复、归档和保留、副本数据管理、加密和应用程序集成。

同时,借助数据编织-DataFabric可以在整个企业内部加快数据管道的速度,训练深度学习模型,为AI应用程序提供支持,实现所需的精简性、选择权和可扩展性来发挥真正的影响。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20191211A0NTHN00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券