00:01
OK啊,呃,那我们开始往后说啊,嗯。我看看啊,我们先呃,先做哪个呀,就现在还有两件事儿啊,一个是就是这个日活中啊,有一个。有一个小问题对吧,刚刚刚说过啊,还有一个是这个订单发表的啊,这个这两个功能啊,呃,那先先做它吧,好吧,先做它吧。好吧,这个电量发表写VS啊,先把它完成吧,嗯,这个比这个,因为这个比较简单一点啊,行来那就先做它啊。这个订单宽表写入ES怎么写呢?非常简单,还是啊,首先我们还是要怎么做这个索引的分割对吧?那么如果你要做这个索引的分割,我们就需要有这个索引的模板对吧?还是什么通过这个索引的这个的模板啊模板啊,然后呢,控制你的这个什么mapping啊对吧,什么sing啊。还有什么这个呀,就是你这个别名。
01:00
是吧,啊,这是要做的啊,然后第二就什么呀,就什么使用这个工具类啊呃,使用工具类,然后呢,直接写入啊工具类这个写入到将数据写入ES这就完了。对吧?啊,说这个很简单啊,行,那我们就来这个操作一下啊,首先我们把这个说微的模板给它建出来啊,哎哟,那这个我我又忘了起了啊,起一下啊,那我要起很多啊,我这个起一下啊,先把主K起了啊。好,把这个卡巴卡起一下啊。像E也得起。好,还有就是对吧。好,MY1018,然后点com好。呃,这一次我们这个Maxwell也得起是吧?啊,这个起的就比较多了哈。
02:11
刚刚啊。好,等一会儿啊,等它这个都吸起来啊。OK,然后我们打开一个浏览器啊呃,访问一下K班的啊,方便我们做操作啊。好了啊。应该还没起起来啊,这个稍微等一会儿哈。有点卡是吧。呃。没事啊,这个稍等一下应该就好了啊,因为我现在这个一下这个起了好多东西,然后电脑可能压力比较大哈,稍等一会应该就好了啊。
03:09
嗯,一会儿就好了啊,这个现在起了好多东西啊,他这个有点卡啊。好,这个差不多了啊。还没准备好是吧,马上了啊。OK。好来过来以后呢,我们呃,查看一下啊。好,过来。OK,来吧,呃,那我们把这个模板给它建出来啊,这是我们这个订单的这个订单宽表的宽表的这个模板啊,OK,呃,那这个模板的话,肯定我们也不会手写了啊,直接从这个文档中把它这个拿过来就行了啊在这个下面,嗯,在这啊有一个模板来把它拿过来。
04:01
啊,这个比较长啊,这个都复制上啊行,拿回来以后呢,就放到这啊,放到这以后,呃,放到这,然后我们来这个仔细看一看啊,这里面呃,名字的话,你想改就改啊,不想改就无所谓啊,然后呢,下面这个嗯,Index pattern的话呢,还是啊我再加上一个1018。好吧,然后这个塞里面还是三个这个Sha的啊,这个别名的话呢,别名的话那我得改一下对吧,改一下啊。OK吧,行,再往后呢,就是我们的这个mapping。啊,那这个mapping里面的话,就是我们这个常用的这个字段了啊,就是你就自己看看吧,对应的就是我们在这个呃,Order中啊,我们封装好的一个对象叫这个order啊,就是你里面有什么东西。对吧,你这里面有什么东西,然后呢?呃,我们在这个模板上就会有啊,这个大家对比一下吧,可能会有个别的这个就是遗漏的呀,或者怎么着的啊,其实无所谓啊,因为我们。呃,并没有这个都用上啊,并没有都用上好吧,就是你就按照我这个模板里面去写就行了啊,如果说你觉得说,那你既然这个里面已经有了,对吧,但是你这个模板里面没有,那也简单,你就把它加上不就好了吗?对吧,我就不在这个一个一去对了哈,好吧,这样来看一下啊,那这就是我们的这个诶。
05:18
我怎么复制了两次吗,这个是。是吧,应该复制了两次啊,上面有一次是吧,我就说我刚刚改过的,怎么这个名字又不一样了呢,来删掉它啊。啊,这个删掉啊,上面这个就是我刚刚复制的那个对吧,这个是我改过的啊好来吧,我们把这个创建出来啊,走行成了啊,那这个成了以后呢,接下来我们就回到这个代码中啊,把它这个实现出来,呃,那这个怎么实现啊。很简单吧,就拿上你这个上面这个刘啊,这个刘我们处理的叫什么名字来着,叫old white stream对吧。好,Order stream,然后呢,直接什么for r DD对吧,然后呢,他给我一个RDDOK,这里面干嘛呢?那我就RDD.for partition啊行,那么这里面给我传过来的应该是一个呃,叫order wide的一个是吧?好,那我做什么操作呢?那我就什么直接order的这个,嗯。
06:24
这map操作一下啊,做一个转换呗,好,转成什么呢?你给我传过来一个order,好,那我给它转成一个还是一个top啊同学们,因为我们要求你传一个ta过去啊好,呃,这个就是order white。OK,我们用谁作为这个主件呢?同学们用用谁作为这个dock的ID啊,这个你要注意了啊,这个all中我们封装的是你的订单详情,然后你的订单。是吧?这里面你用谁呢?我们应该用的是这个订单详情的这个ID啊,你可不能用这个订单ID啊,因为很多数据的订单ID是一样的。
07:03
对吧,你要用这个订单详情啊,说这个一定要选对了来叫什么叫这个detail ID,好后面还是我们的order,这就可以接收回来。好,这是呃。To list一下啊。把它这个介绍回来啊。好,这就是我们的order外行,呃,那这个有了以后呢,接下来我们就可以正常写入了啊,那么还是这样吧,我们先判断一下啊,如果说你这个order的这个长度吧,对吧,还是大于零的,就是如果你有数据,我才真正的去做写操作,如果你没有数据,那我就不写了,是不是啊,那这里面要写的话呢,首先还是,呃,我们需要把什么呀,是把这个索引先给它准备好啊,对吧,我们的索引名啊好,那这个所人的名字,这个所人的名字我们怎么写呢?你就按照你这个模板里面这个规则去写了啊,把它复制过来。
08:03
好,这是我的匹配规则,那我这个后面我就直接写个日期呗,还是对吧,后面加个日期啊,加个日期,那比如说呢,我们就写个Dollar什么呀,呃,一会再写吧,好吧,加个日期,那这个日期怎么拿呢?日期的话呢,我们还是要从什么呀。还是要从你的这个数据里面去拿啊,所以说我们就直接这样啊,从这个out中,然后呢,取上第一个。对吧,这是我的那个就hide吧,好,然后呢,这个hide叫什么?第二个,然后它里面我们可以拿到一个叫做correct correct data,大家还记得吗。这个字段就是我们处理好的那个年月日啊。对吧,就处理好这个年月日啊,OK,就用它了啊,然后呢,这个点这个VR。好,这就是那个create data,那我们就叫什么,就叫这个data了,就用它就可以了啊,直接什么下划线到了data这就完事了。好,那这个所有的名字搞定了,搞定以后呢,接下来就是写入到ES中了啊,写入到这个ES啊,那就什么直接买ES us讲什么叫做box是吧,然后把所有的名字传过去,然后把你的order white传过去,这就写完了。
09:10
浪。类型还不对啊。呃,我要求字符串它是一个浪啊,那我这还得再去处理一下啊,这个点to string啊。要不就类型对不上啊。对吧。行,这样就好了啊。对不对,这样类型就对上了啊行,呃,那我们把这个数据写完以后啊,看一下啊,这个数据就写完了啊,这个数据写完以后呢,呃,我们在这个每一个批次里面啊,在这个地方我们还要干嘛呀,是白是提交你这个opposite呀,对不对?好,那这一次提交opposite的话,就是提交两份了啊,因为我们这个上面都有规划,大家还记得吧。是不是两份啊?对吧,因为我们是有两个流的啊,有两个流的来吧,那我们就提交一下啊,这个提交的话,呃,我看一下我之前定义的叫把这个。
10:05
这个图啊,要不一会就记不住了啊,来,好写一下啊,就是我们的,呃,My opposite啊,什么叫做save save的时候呢?先写这个叫做order in for topic name对吧,再写order in for,这个group OK,后面是order in for opposite ranges是这样的吧,好,再写一个啊,好,My opposite you tells,这see opposite OK,这个是all the detail的。呃,Topic name,然后呢,Order detailed group,然后呢,Order detailed,一个offset ranges。好吧,这就把这个提交完了啊,行,那我们这个整个代码就完事了,好完事以后我们做一个测试啊同学们,呃,这个要测试的话呢,我们也是啊,把这个上游提起来,上游是我们的贝斯DB对吧,贝斯DB来砌起来。好,然后下游是我们的这个,就是刚刚写的这个order APP啊好,稍等一下吧。
11:28
这是。贝斯DB是吧,他已经起来了啊,然后再把这个起一下啊。好,这也没问题了啊,来吧,接下来我们就可以。呃,正常就操作了啊同学们。来,那我们这个跑一边跑一把数据啊,这个数据的话就是什么DDS.sh给个时间啊,2022,然后呢,杠零三杠二九对吧,好走。
12:11
呃,这个数据生成完以后,我们就可以看结果了啊,这个还没跑完啊。好,已经跑完了啊,这个跑完以后的话,我们这样哈,我们先打开我们这个SQ,然后呢,我去看一下我数据库中我总共有多少数据。对不对,呃,102啊,连一下啊。好打开啊,嗯,表呃,这个我们直接这样吧,还查一下啊select,然后呢,呃,Select星啊,From这个order in for OI,然后呢,Join上这个order detail OD啊,然后呢,On OI的ID等于OD的啊,叫order ID对吧,Order下滑的ID是这样的吧。好查一下啊。这个总共查到38行数据,这个能看懂吧,38行数据啊,那如果说不出意外的话呢,我们最终写到最终写到这个ES的数据应该也是应该也是38啊嗯,我这个有变过吗?幺零三幺零九变了是吧,79。
13:11
其实OK,有变过啊,来看一下吧,那就回到这ES中去查了啊。OK,那就get一下啊,Get的什么呀?叫怎么?呃,叫order wide order是这个吧,好来查一下啊,下划线search。好看一下38没问题吧。对不对,这就是我们这个之中写进来的这个订单宽表。OK了吧,啊行,那这个效果你能看到的话,说明我们这个,诶订单发表写入ES也就搞定了啊好吧,停一下。
我来说两句