微软正式推出可视化数据流处理服务

微软在自家无程序代码ETL服务Azure Data Factory上,正式推出Mapping Data Flows功能,供用户大规模且快速地转换数据,微软提到,Mapping Data Flows是一项变革性的数据集成以及转换服务。

Azure Data Factory是一个无服务器服务,用户不需要管理基础设施,就能够在云计算进行ETL工作,处理任何规模的数据。而Mapping Data Flows则是专为应对庞大数据处理的复杂性和规模而生的功能,用户可以直接在浏览器中,访问可视化的环境,构建弹性数据工作管线,并由Azure Data Factory来处理Spark运行的复杂作业。

Mapping Data Flows提供内置功能来处理不可预测的数据架构后,并维持变更输入数据的弹性,简化用户数据处理的工作,让用户可以专注于构建业务数据逻辑,不需要花耗时间管理服务器集群或是撰写程序代码,快速地进行加载事实表格(Fact Table)、维持缓慢的维度变换(Slowly Changing Dimension,SCD)、聚合半结构化的数据,以及使用模糊匹配来配对数据,为建模做准备。

其提供主动的可视化接口,可以将用户的数据逻辑转换成为易读的图(Graph),并构建转换程序函数库,分析原始数据产出业务可用的结果(下图)。当然,用户也可以不使用Mapping Data Flows的无程序代码接口,自己撰写程序代码调用内置的转换功能,执行连接(Join)、聚合、枢纽分析(Pivot)以及排序等常见操作。

工作管线构建器可让用户通过鼠标拖拽操作,来构建工作管线,或是以交互的形式为端到端ETL程序调试,用户可以为工作管线构建调度,并从Azure Data Factory监控门户网站监控数据流执行,通过Azure Data Factory提供多种可用性监控以及警示功能,来管理数据的可用SLA,还能利用内置的CI/CD,在托管的DataOps环境中存储与管理数据流,通过创建警示和浏览执行计划,就能验证用户的逻辑是否如计划一样处理数据流。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20191009A0I9A200?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券