首页
学习
活动
专区
工具
TVP
发布

干货 | 如何基于DataWorks构建数据中台?

DataWorks服务了阿里巴巴集团几乎所有的业务部门,每天集团内部有数万名运营小二/产品经理/数据工程师/算法工程师/研发等都在使用DataWorks,同时还服务大量阿里云上的用户,下面就是DataWorks...DataWorks的整体架构图 数据集成是构建数据中台的第一步,DataWorks对外提供了数据集成的能力,它有很多批量、增量、实时、整库的数据集成,能够支持企业多种且复杂的数据源,目前DataWorks...基于DataWorks构建新零售数据中台 当我们把这个数据中台技术需求图与DataWorks做一个比对时,数据采集部分对应了DataWorks提供的数据集成,基本上左边的这些数据同步的需求DataWorks...四 基于DataWorks构建新零售数据中台 ?...DataWorks数据开发平台 前面更多讲述数据中台建设的一些思想、设计、架构、目标及要求,接下来我和大家聊一下如何使用DataWorks构建数据中台以及使用DataWorks平台的一些心得。

96910
您找到你想要的搜索结果了吗?
是的
没有找到

数据质量监控框架及解决方案总结

DataWorks(阿里巴巴数据质量监控平台) DataWorks(数据工场,原大数据开发套件)是阿里云重要的PaaS(Platform-as-a-Service)平台产品,可提供数据集成、数据开发、...DataWorks支持多种计算和存储引擎服务,包括离线计算MaxCompute、开源大数据引擎E-MapReduce、实时计算(基于Flink)、机器学习PAI、图计算服务Graph Compute和交互式分析服务等...DataWorks可提供全链路智能大数据及AI开发和治理服务。...DataWorks,可对数据进行传输、转换和集成等操作,从不同的数据存储引入数据,并进行转化和开发,最后将处理好的数据同步至其它数据系统。...数据质量依托DataWorks平台,提供全链路的数据质量方案,包括数据探查、对比、质量监控、SQL扫描和智能报警等功能。

1.2K40

数据质量监控框架及解决方案总结

DataWorks(阿里巴巴数据质量监控平台) DataWorks(数据工场,原大数据开发套件)是阿里云重要的PaaS(Platform-as-a-Service)平台产品,可提供数据集成、数据开发、...DataWorks支持多种计算和存储引擎服务,包括离线计算MaxCompute、开源大数据引擎E-MapReduce、实时计算(基于Flink)、机器学习PAI、图计算服务Graph Compute和交互式分析服务等...DataWorks可提供全链路智能大数据及AI开发和治理服务。...DataWorks,可对数据进行传输、转换和集成等操作,从不同的数据存储引入数据,并进行转化和开发,最后将处理好的数据同步至其它数据系统。...数据质量依托DataWorks平台,提供全链路的数据质量方案,包括数据探查、对比、质量监控、SQL扫描和智能报警等功能。

2.6K50

数据仓库之数据质量建设(深度好文)

我们以阿里的 DataWorks 数据调度工具为例,DataWorks 是基于 MaxCompute 计算引擎的一站式开发工场,帮助企业快速完成数据集成、开发、治理、质量、安全等全套数据研发工作。...DataWorks 中的 DQC 通过配置数据质量校验规则,实现离线数据处理中的数据质量监控报警机制。...任务优先级: 对于DataWorks平台的调度任务,可以通过智能监控工具进行优先级设置。...任务报警: 任务报警和优先级类似,通过DataWorks的智能监控工具进行配置,只需要配置叶子节点即可向上游传递报警配置。...DataWorks智能监控: DataWorks进行离线任务调度时,提供智能监控工具,对调度任务进行监控告警。根据监控规则和任务运行情况,智能监控决策是否报警、何时报警、如何报警以及给谁报警。

1.5K21
领券