数据质量

最近更新时间:2025-09-12 16:55:01

我的收藏
在此步骤中,我们将完成对数仓中的数据表进行质量监控,防止脏数据向下游传递。

质量监控任务设计

当明细表中某字段为空时,及时触发质量告警。
监控逻辑:当关联的生产任务执行完成后,自动触发质量监控任务来检测对应表的字段是否存在空值。

质量监控任务开发

质量任务开发主要包含以下步骤。

空值检测任务

此处以创建质量监控任务为主线进行说明。

步骤1:配置监控信息

1. 单击数据质量模块,进入 数据监控 页面,选择监控列表tab,再单击新建监控按钮。
新建监控:针对数据表新建质量监控任务。

2. 配置监控信息:
设置目标的监控对象和基础信息。此处以dim_author_shop表为例。



设置执行策略,当关联的数据集成任务周期调度执行完成后,就会触发执行该质量监控任务。


步骤2:给质量任务关联规则

1. 关联质量规则
当该表下之前已经创建过质量规则,此处可以直接关联到该任务。如果为空,则直接忽略这一步。



2. 规则管理
单击新增规则,选择“字段空值个数”规则。监控对象选择目标字段(以“uid”为例)。设置触发条件为大于等于1。即表示一旦uid字段存在空值,就触发质量告警通知,让相关人员第一时间知道。
注意:如果触发等级选择“高”,当质量任务检测异常时会将关联的上游生产任务置为“失败”,直接阻断工作流后续任务节点。

3.配置告警订阅信息,即当质量检测异常时通过什么方式通知给谁。

以“企业微信群”为例,配置完成后点击保存

4.试运行
勾选规则并点击试运行

点击开始试运行,然后点击查看运行结果。



再点击完成即可完成质量任务的创建。

步骤3:质量任务发布和查看

回到 数据监控 页面,查看所创建的质量监控任务。可以点击开关来开启或关闭监控任务。


质量监控任务运维

您可在运维管理中,查看质量监控任务的运行结果。
“实例执行状态”代表是否任务执行成功;“检测状态”代表是否至少存在一个规则被触发(异常);一个质量任务下可以包含多个质量规则,每个规则都可以查看对应的检测结果是否正常。