温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:03
大家好,欢迎大家来到腾讯云开发者社区,腾讯云大数据团队共同打造的大数据开发与智力训练营,轻松掌握,一步到位。第5章第4小节。数据质量监控,我是V塔产品经理周其仁。那么在上一节中,我们在数据开发页面建立了工作流啊,创建了明细表和汇总表。在这一节中,我们通过数据质量对明细表、汇总表的数据进行监控。那这边呢,我们要去到一个啊数据质量的模块。啊,这里选择数据监控。在新增规则里面,我们选择多表新增规则。选择监控多字段。好,添加字段。
01:02
这里的话我们选择啊之前新建的一模库。找到我们感兴趣的表。这个明细层的一个表。那监控一个ID和。好保存。下一步。那在这边呢,我们来去啊,我们我们提供很多不同的模板,但这一次的话啊,我们来监控一个控制个数。啊,因为这两个字段是空值的话,对下游影响很大。啊,名称我们就写明细表。这个触发条件因为是空值啊,我们只要有空我们就出发,那我们就选择大于0。这个触发等级呢,是当触发条件被触发之后啊,V贝塔将采用的一个措施,中式告警。现在我们来配一下这个执行策略。
02:01
选择关联生产调度。那这个任务的话,就是我们之前新建的任务。啊,这里的意思啊,就是当这个任务啊完成之后,这个质量任务将被同时出发。现在是。配置一下这个订阅。然后是检测范围,检测范围的话,我们的啊入门文档里面有。不好意思,我这里找一下啊。你对他文档。在快速入门里面数据质量。这边我们给大家提供了一个啊示范的一个检测范围,对the date.回到这边。然后把我们的检测范围给。啊,填上。
03:05
好保存。啊,那填完之后我们就可以创建规则完成。好,在这里的话可以去试一下试运行。试运行,选择一下今天的时间开始试运行。试运行完之后,我们可以来到左边的运维管理去看一下试运行的一个状态,现在还是检测中。好,那我们这里啊试运行,要是跑完的话,我们可以回到这个数据监控。然后还比看规则。啊,这里是我们的所有规则啊,按有关规则的话,在这边我们可以去启用我们刚刚配置这个规则。只有启用了之后。啊,我们这个数据啊,质量模块才会实时的我们的啊。
04:02
开发任务进行一个监控。那到我们的这个数据质量模块啊,也已经完成了。目前呢,我们已经完成了V的一个全流程,我们通过离线同步将啊业务数据库同步到了我们的啊数仓里面,然后通过离线开发啊在数仓内对我们的数据进行了一个加工和处理,最后啊再用这个同步去把这个数据导到这个应用层。然后通过数据质量对我们的数据进行一个监控,那谢谢大家,我们到这里就结束。
我来说两句