00:00
好,各位同学啊,那现在已经过去快20分钟了啊,但是由于这个可能是资源比较紧张,我这个全流程呢,还没有完全跑完啊,但是呢,已经考了一部分了,对吧?啊,那其实我们不需要等到他全部考完啊,也能够看到这个血缘依赖关系啊,就这边我执行多少状态语卷,我就能拿到多少血缘依赖关系啊,比如咱们这举个例子啊,那现在我们的数据是不是已经呃到达了,比如说以日志表为例啊,日表的数据是不已经达到达了这个o d dwd上了,对吧?那所以我们去找一个DW型的日志表,然后去看一下它的依赖关系能不能找到啊好,那现在我们来到S啊,来到这儿,然后呢,搜索这个类型,我们给它设置为。什么类型啊,设置为比如说have table类型have,然后往下走,找到这个table往下翻一下啊,是不是在这对不对,然后下边我们再用这个全文检索搜索一下谁呀,比如说随便搜一个啊,咱们DWD日志表是不是有一个start log呀,对吧,没错吧,那现在我们搜一下,刚才是观察现在DW start log是不是已经出来了,但之后呢,我们点一下这个表啊,点完这个表之后呢?嗯,这个资源问题跟哪是啊,咱们稍微等一下得加载一会。
01:10
稍微等一下啊。好,那这个表的信息是不是已经加载出来了对吧?那加载出来之后呢,我们这些什么字段信息就不看了,我们重点看一下谁这个line对吧?选一来点,点完之后大家注意观察,那这个图是不是已经比之前丰富了呀,对吧?来咱们看一下这个依赖关系能不能看懂啊呃,这个图呢,我们其实是可以给它全屏的,来全屏观看一下啊来,那现在呢,我们简单看一下,首先大家能看到这个圆圈所圈出来的就是啥啊,就是你看这叫啥current ntt对不对啊current dt呢,是不是就是我们当前的这个,呃,所谓的一个对象啊对吧,或者一个实体,其实就是就是咱们这个dwlo这张元数,这张表的元数据吧,对吧,那完之后我们看看一下啊这个呃,黄线指指代的是什么呀。是不是就是血缘依赖呀,对不对,那这些就是血缘依赖,OK啊,那这个血缘依赖咱们看看能不能看懂,我们先看一下这条依赖关系。
02:03
这条一览管是啥呀?啊,首先我们前面提到过,像这种啊,蓝色的这个六边形对不对,如果里面是表格,那就一张表,那如果是一个hfs,这是不是有一个路径啊,对吧?这个路径是谁路径我可以点点点完之后这个路径是不是就是warhouse j DW d dw2浪这是谁呀?这是不是就是我们这张日表,它的建表语句的时候,建表语句当中指定的这个数据存储路径啊,对吧?就是它,那完了之后看一下这个位置,那它点一下,点一下之后是不是就是我们这个建表语句,那也就是说实际上啊,这个绿色的这个六边形带有小箭条,它带有这个小齿轮的,它就是一个操作过程啊,一个操作过程,这个操作过程呢,将我们的这个路径和这张表相当于是关联起来了啊,是这样的,那那除此之外是不是还有其他的这个路径啊,对吧,我们再简单看一下啊,那首先呢,我们先看一下这条路径。啊,这个路径这个东西其实能看出来这应该是啥,这个是ods log这张表,它的建表语句啊,对不对啊,这个不多说,然后看这这个路径呢。
03:04
这应该是我们刚刚执行完的一个漏操作吧。没,没错吧,这个从哪到哪,是不是从origin date jama看一下这个路径是不是origin date jama log,然后topic log下边的6月17号这个路径把数据是不是给它漏到了我们ODI层的这个log表当中了呀,是是这个道理吧,这个逻辑应该是比较比较是对的,对吧?完之后我们再去往下走,那下边我们这是不是又通过了一个query,什么query是不是有一个查询语句,对不对,应该是啥?就是我们之前执行那个in inside的right table,然后下面select from,什么olo是不是那个语句啊,对不对,其实诶就是这样的一个操作啊,那这个血缘依赖关系现在是不是应该是比较清晰的呀,对吧?啊啊,那完之后我们还可以做一些其他的操作啊,比如说这个图,你要是看着比较乱啊,你可以比如说过滤一下,把什么给它收藏起来呢,你可以把我们这个process process是啥,就是处理过程啊,对吧?诶也就是这个绿色的这种六边形,你可以给它收起来,收起来之后是不是就能够清楚的看到我们的路径和表之间的依赖关系了啊就这样的OK啊好,那这个呢,就是我们血缘依赖关系的一个查看,那当然呢,我们前面提到了。
04:08
我们除了能看表与表之间的依赖关系,还能看什么呀?是不是还能看字段与字段之间的依赖关系啊,对不对?那现在比如说我们找到我们Dw.starlo这张表的字段啊点那这里边是不是有它的字段对不对?我们是不是可以去看一下,比如说这个version code这个字段它是从哪来的,对不对?怎么看呀?咱是不是点一下line,然后呢点点一下这个language对吧,点完之后这是不是能看出来。能看见了吧?Version这个字段来自于哪?是不是应该是来自于烂这个字段,烂这个字段是哪张表的啊,是不是ods log这张表的烂字段呀,对吧?那j log.os log LA,那这一个字段的血缘依赖咱是不是也能看到啊,对吧?啊,那这个呢,就是呃,我们使用ATS去实现的一个血云依赖关系的一个查看啊好,那这部分内容就完事了,我把视频停一下啊。
我来说两句