00:00
不会说看我。安静一点挺好的。我也不知道说啥,我想。
01:19
对。这个电脑。
02:14
那这个。哎,没开那个没开那个那夫好吧,我就一个一个敲,只能那么一个一个求好吧,那就不行,那就不行行行。
03:33
哎。然后这就完了呗。是吗?
04:12
好像完了吧,是吧,好像完了。提交我也写提交不行看行吗?提交行吗?老师电话。刚才刚才叫啥呀。
05:07
行了。那个我是想让你们边边敲边说一说是吧,本来呢,我以为这个新车是第一个上来的,放放不太开是不是,结果我我看这个新车状态是最放得开的一个,然后后来这个还还好是吧,还稍微有点当班长这彻底声都没了是不是是吧,这个大家注意啊,像这块呢,这个应该是稍微比较简单的啊等以后呢,这个如果说还是有有会还有时间的话,那我到时候会让人去干什么呢?我把代码写完,你来帮我调试对吧,其实我现在呢,完事之后你来帮我运行一下看效果就行了啊来看效果行了,好了,大家一起来看一看啊,关于我们现在呢,这个整个咱们现在这个过程吧,呃,基本环境准备这块呢,这个咱不说了,对吧,没没什么坑吧,现在是吧,然后这个呢,是我们这个off outside是吧,这个。
06:14
习惯了,因为咱本身现在返回出一个麦部集合呀,对吧,然后在这呢,因为你如果现在是叫outside的话,所以说刚才你出现了什么呢?就是咱们在下边使用的时候,你使用的也是我们这个outside对吧,这种容易有问题,然后接下来它本身呢,在咱们这里边是吧,它有一个什么,呃,Range对吧,这个range呢,就是我们当前的它的一个偏移量信息对吧?偏量信息对吧,那么这块呢,这个认证可以啊,其实outside认。这个呢,也是我们的13RANGE是吧?然后接下来那么咱们可以通过谁呢?可以通过50RDD对吧?它里面的一个as install方法得这个强转,然后把它呢,转化成我们这个has outside range对吧,然后接着调它的方法,然后得到一个这样的一个数组对吧,得到一个数组,那么数组呢,咱们在调我们的M方法的时候呀,那么大家注意了,咱可以其实可以可以什么呢?它可以加一个我们的发型过去对吧?那么这个时候呢,它帮你创建一个我们这个对吧,这是opposite outside range啊这样类型的一个空的啊,这样的一个数组,当前我的数据里放的是这个类型,但是这里面只没数据对吧?没数据,然后再往下的,那这里咱们可以通过什么,通过它对吧,Outside range stream啊,上面这个叫什么stream outside stream这个叫outside,然后这个叫什么outside stream啊吧,然后这个呢,也行是吧,来这个最终呢,咱们现在做一个转换,然后拿到什么呢。
07:52
这user in inform this stream是吧,那其实就把这个字串拿过来,然后呢,对它做一个这个结构化转换,然后最后呢,做一个保存是吧,做一个保存,呃,那么整体呢,这个流程啊,基本上没问题对吧?这块呢,稍微改一下咱本身的RDD呢,稍微在这儿,咱把这提交偏量的事呢,往上放一放啊把这提交偏量的事往上往上放一放啊放在这里边来啊放这里边来,那如果你要放这里边来的话,这个东西论用不了了啊吧,那咱们现在在咱们这里边说吧,是我们这个outside ranges,那么这个呢,Outside ranges往这一打,然后接着咱们现在要补充点东西,补充什么呢?就是我们现在大家想一想,你从我们这个卡卡里边把user数据拿到了,但是这个数据呢,是不是其实就是我们当前用户表卡里面原有的一些内容了,对用户表里面它没有年龄段。
08:46
对吧,用户表里没有年龄段这个信息对吧,那么用户表里面呢,对吧,他也没有说什么,像咱们对这个什么对吧,这个年龄啊,或者性别这个东西对吧?那如果说你要想要这个内容的话,那这块你需要自己啊去处理一下啊,你需要自己处理一下,对那么这个东西怎么来处理呢?它的省份不一样,同学们你像咱们这省份它本身对吧,我拿过来之后,这个省份它是不是就是有咱名字了,对吧?但是咱们用户拿过之后呢,你看咱们现在在我们这里边。
09:17
如果说我现在啊,要是用户信息的话,对吧,你把它拿过来,那拿了之后呢,它只有一些我们现在这个年龄对吧,但是没有年龄段对吧,我只有性别,但是性别到底是男和女的这个东西啊啊,他没有咱们专门字段去这个去存储的,所以说我需要干什么呢?我需要自己啊单独去把这些处理一下,那么具体这个处理的代码呢,注意这个东西呢,其实对吧,就是相当于在我这这个做判断的时候呀,做结构转换的时候,对吧,然后呢,加了一些判断进来对吧,这份代码呢,对吧,这个东西本身比较简单,比如说我现在把这个用户对象给拿到了,对吧,那么用户对象之后拿到之后呢,那我需要呢,去封装一个我们这个年龄段,年龄段这个内容大家想一想,这个年龄段咱怎么获取呢?是不是你这里边有一个生日啊,对吧,那么根据咱们这个生日来获取我们现在这个年龄啊,首先你要完成这个事儿,那么这个呢,就和原来我说根据当天日期获取昨天日期一样,对吧?这个网上的代码呀,一搜一大把。
10:17
啊,这个东西其实根本就没有必要自己去对吧,专门去写对吧,然后接下来拿了之后呢,咱们把这些东西对吧,直接我们看TRC拿过来。拿了之后,咱们现在再去转换的时候呢,在这里对吧,再往这里边对吧,我再去的返回用户对象之前,那我对用户对象的它的一些这个结构做一些处理,比如说我现在先干什么呢?我要先去把它的一个对吧这个年龄段对吧,给他指定了对吧,那么这指定的时候要注意啊同学们这块呢,其实对吧,它并不是说我现在用的是多多多完美的一个方法啊,比我现在对找一下优秀对吧,那么它在W里用的什么方式呢?大家看一看,其实呢是这样的,首先呢,拿到一个super former,然后接下来那么在这里呢,他把用户的一个这个生日对吧,给他转换一个我们日心里行对吧,来看一看在咱们这里边用户的生日对吧,用户他的一个生日本身呢,是不是咱date对吧,但是呢,你从我们现在啊这个采集的数据拿的话,那它是不是接个字符串了,对吧,所以说呢,他要把这个字符串呢,给转换成我们date日期对吧,然后接下来那么。
11:27
那你现在通过这个date的日期呢,那你可以干什么呢?你可以达到他一个时间毫秒数,比如说啊,我生日是哪天,那么这哪天他去咱们这个1970年1月1号对吧,然后他的凌晨,那这个是不是有一个时间的毫秒数啊对,就你的生日去那天的是的毫秒数多少,然后接下来我又干什么呢?我又获取了一个当前日期对吧?当前日期对吧?然后呢,距离我们现在的1970年到吧,1月1号它的毫秒数是多少对吧?那大家想一想,那我用当前日期它的毫秒数减计十的毫秒数是不是其实就是你的年龄啊对吧?所以说呢,我现在可以用这两个日期做一个相减,对吧?把你的年龄呢算出来啊,就是咱们现在在计算的时候,有一个1970年这个东西,你可以把它理解为元年,对吧,这个东西大家知道吧。
12:13
1970年对吧,那么咱们现在呢,在这里以它一个原点,然后呢,你的生日的这天对吧?这是一个时间啊,这个时间,然后咱当前日期呢,这是一个时间,大家想一想,那么咱们生日呢,距离我这个原点,那肯定有一个时间,那咱们用毫秒来表示,那么从这呢到咱当前日期,这里是不是也有一个时间,咱们用毫秒来表示啊,比如这个是A,然后这个呢是B,那你想一想,我现在用B减A,那么它的一个毫秒的时间差,是不是就是从你出事那天到当前,他经历有多少毫秒啊。从咱们现在B减A得到的是不是就咱们现在这会的距离啊,是不是就从你出生到今天那经历毫秒数啊,对吧?那么如果把毫秒数拿过来之后呢,那这个时候咱们其实就可以算年龄了呗,怎么算呢?是吧,毫秒,然后呢去转换成秒,秒转成分钟,分钟转成小时,小时转成天然,接下来对吧,再除以一个365,这个其实就是年呀,得到一个年龄对吧?那么如果年龄在小于20的话,那么这个时候呢,是我们这个20岁以下,如果年龄要大于我们现在这个30的话,对吧,那这个时候呢,三岁以上,否则的话,那么这个呢,在我们这21岁到30岁之间,对,大概这么划分的,这个是年龄段,然后咱们现在呢,把我的用户他的一个age group的属性给它赋值复过去,这是第一个,那么第二个呢,那么咱们从我们的用户里边可以拿到什么呢?可以拿到它的一个我们的性别对吧,但是性别呢,它用我们的F和M表示呢,所以说呢,如果等于F到这个时候呢,咱们给它复制一答,否则的话,在这里我们的性别的名称呢,复制给去,对就相当于对我的用户的这个字段呢。
13:47
咱们又做了一次我们的处理对吧?那处理完毕之后呢,大家可以看到对吧,当前咱们现在呢,在我用户表里边对吧,那像这些这些他可以从我这个对吧,这个数据库直接拿,像这两个呢,咱们也给封装好了,对,也封装好了,然后接下来那么咱们现在呢,那就开始去准备保存的短存,准备保存,那么如果要保存它的话呢,那么咱们现在在这里得去调用我们电子dream它的一个我们这个行动算子对吧,然后接下来那我去调谁呢?对吧,它的一个save to菲利格斯对吧,这样一个方法对吧?那么这里本身放的是什么,本身放的其实是不是就是我们这个啊这个用户对象,然后你要保存的,那你这里是不是其实也是往用户表里保存呀,虽然他俩字段呢,那应该能对的上啊,这块呢,咱们其实处理的过程啊,以前咱处理是不是直接在保存中处理,现在是不是相当于我提前处理的呀,对,其实是一样的啊,其实一样的,然后接下来那么咱们现在呢。
14:47
它保存的时候,这个呢,是我们这个表名,然后接下来这里边都有哪些我们这个字段对吧?那你可以打开我们现在的这个用户里边,对打用户里边对吧?那么这里它这个字段呢,应该和它对应的对吧?大家可以看到,或者你在这里可以啊,一个是我们ID,然后呢,一个是我们这个用户的一个级别,对吧,那咱现在呢,把这个给他放一下是吧,我把这个答过来啊。
15:14
CTRLC对吧,然后呢,往这一放,然后进来这里主要内容一个ID对吧,然后一个是我们这个用户的一个级别。然后这里呢,还有一个是我们这个生人。然后再往下呢,这里边儿有一个我的性别。然后还有一个是年龄组以及性别名称的。哎,主要有这几个字段对吧,然后这块呢,不要了啊,那么这个呢,是我现在这里的字段,然后把它们呢,都转换成我们这个大写啊把它转大群,然后接下来我要连接的咱们这个组K地址202203204啊端号2181,然后提交完之后呢,咱们最后把这个片移量呢给提交一下,对,整个流程是这样,那么接下来咱们呢,现在要做一个测试,对,看一看这个东西能不能跑通,对吧?整个流程过来之后,咱现在呢,看一下能不能跑通,呃,那么如果你要做测试的话,首先咱们在这里启动的东西啊,和我们刚才啊这个省份其实启动东西是一样的,得先把咱们这个maxvi这个提起来,对,然后接下来把我们现在的这个用户给记起来,大家想一想,正常情况下,这两个程序应该起完之后它就不动了吧,是不是就得一直运行着了呀,对吧,因为他一直观察着我们现在什么用户啊和省份的变化,对吧?来,但他现在呢,把这个用户啊,这个呢也给他运一下。
16:47
这个走啊,这个是吧,来再拿这地方,把这个拿过来啊,把这拿过来。来在这里,我现在呢,把这个东西拿过来是吧,来启动一下。
17:06
来看一看咱们这个效果啊,来看一下效果,那么这个效果呢,现在目前啊是我们这个没有数据是吧?那接下来我呢,也是简单测试一下,来到我们现在用户表里边,那么随便改一个用户对吧?接下来然后提交一下,把它改了个名字,改了改改了一下啊然后提交,那么提交完毕之后呢,那咱们现在来看一看,这里边这个数据是不是发生变化了,2936这个是不是变成五零了呀,对吧?然后说明这个数据有了,那么接下来到这里看一看,对吧,这是是变成一了呀,对吧?然后接下来到咱们现在我这个A里边去查询谁呢?查询咱们用户对吧?运行一下这个用户是不是来了,对吧?你主要看什么呀,后边对吧,当前她的年龄啊,这个是三岁以上了啊,这个呢,这个性别名称是吧,淑女啊对吧,那这样的话,咱们现在啊,这个单独去读取我们这个维度表,这个处理呢,这就完事了,把这个视频呢,稍微停一下。
我来说两句