00:00
服务端已经开好了,接下来开我们的这边啊,首先我们要大家说的ods,那必然要开的。对吧,Ods采集原始数据嘛,对吧,这个肯定要开。呃,那接下来呢,要开贝DB。对吧,他负责往DWD层里边去写这个数据啊,以及往维表当中去写这个数据。为表呢,现在其实还好。好,贝斯TB已经开启了啊。那这个呢,会打印连接到最新位置,因为我们写的是latest,只消费最新的数据,对吧,这边呢也会出现,因为这里边有一个呃,广播流,它读取的是my circle的配置信息。
01:16
好,连接上了,接下来呢,我们开启ally的APP,哎,这边打印建表语句啊,让它打印着。这边奥特曼的APP呢,这消费者组改个名字对吧,210325,你们不用改啊,你们不用改,我这个地方改一下就好了啊。这边呢,打印了,你看疯狂的打印这个建表语句。对吧,好这面语句,呃,等这边打印停止之后,我们就可以造数据啊,然后开这个out造数据。这边表应该做完了对吧,因为我们fli CDC这边啊,被CD这边弗Li CC,我用的是初始化,所以它会重新加载这张表里面所有的数据,对吧,好打印那么多日志啊,那到这边来看一下。
02:03
讲到呃,来看,刚才呢,我把表都删掉了,现在呢,所有的表都归位了。所有的表对吧,但现在这里面没有数据啊,没有数据啊空的,因为新建的表嘛,好,那这个没有问题啊,那接下来我们继续啊呃,接下来呢,开启我们的外的APP。开启。之后呢,只剩下最后一步造数据,然后呢,看这边生成的数据有没有丢对吧?好,这边呢,让他多开启一会啊,因为还是一样的,它不会有什么打印啊,所以它也会做初始化啊,防止它有什么错误啊,或者什么样子的。
03:02
好,这边呢已经启动了,接下来呢,我们差最后一步。Java杠,这叫提莫2020MO DB对吧,走你。这边按照我们的条件,他会造数据呢,造的比较快,因为我们数据量造的并不大啊。你看80个用户改变了,发现没对吧?啊,共生成订单26个啊,比较少对吧?好,那首先呢,这肯定会有很多数据的。对吧,往下拖啊,这边数据已经做完了,呃,贝斯DB这边也有很多数据分卡夫卡的数据对吧,卡夫卡的数据咱在这啊,那接下来all we这边呢,也有数据来了。啊,说明数据呢,已经关联上了,那我们接下来看一下这个数据有没有丢,那大家还记得对于我们的all in for跟all the detail数据,他们是不是一比N的关系。有印象吗?
04:01
就是咱们的all in for跟all the detail之间是一比N的关系。对不对。没问题吧,好,那接下来这两张表关联的时候,这两张表关联的时候,那最终的数据条数是多少呀,是不是就是al detail跳,因为注意啊,我们刚才这写了重置数据,就是业务数据全部重置对吧,所以空的表,那我们双流join就是这两张表join起来以后,如果数据不丢。如果数据不丢,它是不是应该跟all the detail的数据一样?对不对。就是此时all detail这张表里边有多少条数据,那join之后就应该有多少条数据,对不对?
05:04
OK吧,好,那我们看一下all detail当中有多少张数据来看这边呢,是67条在这啊。67条数据好,那我们看这边照影之后有没有丢数据啊,来把这个CTRLC1复制CTRLF,注意看这。多少条?67条数据吧,没有丢,哎,双流转移之后的结果是不是也没有丢。对吧,啊,我们所以说把之前的数据量调小,就方便这做这个测试啊,它没有丢数据对吧,因为负五到五我们几乎是同时生成的,所以呃,负五到五这个时间肯定是够的啊,那这块呢,我们就把双流join这个测试完成了啊,就测试完了啊。那这边呢,我就停掉了啊。
我来说两句