00:00
啊好,那接下来呢,做测试,做测试呢很简单,因为当前这个payment we呀,它是在这个all we的基础上又加了一点东西,所以很简单,我就把这个什么呢,All外的APP,我们上午所写的这个东西拿过来,再添加一点东西。对吧,把它拿过来添加一点东西啊呃,那添加什么呢,首先在这。得消费它对吧,又一个fli APP消费这个数据,诶写到我们的卡卡里,当然这个属于同层的DWM对吧,它也属于DWM层,好,那之后呢,这个弗Li APP当然是payment wide啊,然后呢,又写到这个口感,所以对于我们这个数据而言,我集群当中的东西我并没有关哈,集群当中所有的东西都还在。看卡不卡,然后这个是Phoenix都启动的没有问题对吧?呃,Redx给大家看一下啊,Red这边也是好的,我都没有关对吧,所以都都没有关啊好,那我们只需要起四个B啊第一个弗Li CDC来。
01:10
福林CDC把它提起来对吧,呃,然后趁着这个时间呢,我们开一个这个消费者。不开这个了,不是out了,而是d wm payment对吧,我们开一下当前这个消费者啊,在这儿dwm payment开一个消费者啊,我们做一个测试。这边呢,等我们CDC去启动一下。然后我们要起的还有这个贝斯蒂利。对吧,啊被CB好这个呢,启动启动之后呢,我们稍微等一下,它会打印我们连接的地址啊,大家我再提醒一下啊,除了第一次改为初始化,我们要做测试的时候改为初始化,后面呢,你把那个初化改为没必要每次都读全量数据,对吧?连到最新的用latest这种形式就够了啊好背DB来打开。
02:11
背呢?VCB,它会打印这个。这语句。All time用好一点,不用用创建时间就行。都用创建时间,就用这条数据的生成时间。好,这个介标语句也已经打印了,那就没有问题了,对吧,背DB啊,然后接下来是我们的这个all。也要开。这种实时项目有时候就做测试比较麻烦,它不叫离线,离线一个搜狗他一跑就完了,对吧,特别大家之前用Spark引擎的时候。
03:07
SPA引擎我只要开启开一次那个SPA筛闪啊,然后可以一直用对吧,因为它相当于这个面重用。所以你在四八个调优里边,它没有这个jam重用对吧。好,开起来了,最后呢,是这个payment的外,因为Spark里边的任务啊,它都是线程,都是基于线程调度的,而MRMR,我们的map task,或者说这个reduce task。对吧,它都是这个进程啊,它都是进程。所以在MR任务当中会有一个调优叫JM重用啊,Spark里边就不曾有这个内容,因为它本身就是相当于JM重用了,好,那这个任务呢,我们都已经启动了啊,都已经启动了,呃,接下来呢,我们肯定要测一测它有没有丢数据的问题,对吧?那我们想一下,那这个时候有没有丢数据,还能直接看那个all all the detail吗?我们的支付数据还跟那个订单明细一样吗?条数大家想一下一样不一样。
04:36
我们现在的支付数据还跟那个奥迪一样吗?不一样了,为什么呀,为什么他不一样了。对,有可能下订单了,但是没有支付的啊,有未支付的,那我们要想,那我们应该等会儿怎么去测它数据有没有丢呢。我们有没有办法做到这个事情,我们要测一下这个数据有没有丢。
05:04
对吧,我得确认一下他这个条数吗。有没有好办法来想一想?就是你测试之前得想一想这些事情啊。你要不然为了测试干嘛,就看他数据有没有出来嘛。有没有同学说一说,我们有没有什么办法来知道他的一个数据有没有丢啊,我这边造数据去啊,我先把数据造一下对吧。去数据库里边查,哎可以,那怎么查呢。我怎么查呢,一个一个数吗。我怎么查呀?诶,这边数据来了对吧,这是消费者啊,数据来了对吧?呃,包括这边数据也打印了啊,那多少条数据呢,我们看他就行了。
06:06
现在29条数据那怎么查呢?从数据库里面怎么查呢?而且这个数据都补充上去了,我看啊,对吧,商品信息,SKU的信息这些东西都有了,对吧,都补充定义的,那这个就不用管了,数据出来也很快,对吧,那我怎么确定这29条数据没丢啊,怎么查呀。没有同学知道吗?这不很简单吗,这个。谁来的行?All the detail。Payment in。From。Pay批表对吧,然后呢,去抓我们的。All the detail叫欧表对吧,然后啊。P点。
07:01
这个什么O的ID等于o.o的ID?对吗?是不是。对吧,我直接在这里面去查一下,他有多少条,是不是就应该跟我们如果没丢的话,就应该是29条,对不对。这个OK吗?对吧?啊,我们在这个数据库当中查一下,看数据有没有丢嘛,对吧?啊用这种方式啊,行,那我们运行一下这边看一下总共多少量数据。29条没有丢吧,对吧,刚才我们在那个页面上看到也是29条数据,所以说呢,这个数据也没有丢,对吧,我们可以通过这种方式来查一下,因为有的订单他没有被支付嘛,所以我也不用看那个all detail all detail呢,想必肯定比29要大,对吧,刷新你看all the detail呢37条。All detail是37条对吧,而我们支付的数据啊,要关联明细之后呢,它是29条对吧,这个地方能看到吧。
08:07
在这啊29条,或者说你看不清的话,也很简单,我们可以看。这个地方29总,这总能看清了对吧,29条数据对吧,而且这这我们也是不是看到29条。对吧,也没有丢啊,所以说你在做做任何测试之前,你得先想一下这个数据,他该怎么去做测试,对吧,得先思考一下啊好,那这个就搞定了,这是我们的一个测试啊,我把这个就停掉。
我来说两句