00:00
你看,彭总立马在微信群回了个一对吧,行,那咱们继续啊,呃,第三步呢,是过滤数据。啊,要过滤数据对吧?呃,我们上一条页面要这个search,然后呢,搜索的关键词is not not。啊,It'not not对吧,好,那我们来写一下这个要做一个过滤,就是这张表呗,这张表要做一个过滤啊那。啊,然后呢,我们想一下我们要哪些字段对吧,这个RT肯定要保留啊,因为未来我们要开窗的啊,RT要保留,所以呢,首先我们要获取的当然是这个关键词本身了,那从这种啊map当中获取一个东西呢,是这样写的啊。号好,那这个呢,我们叫forward,没有没有切分的。对吧,没有切分的,那在so里边呢,往往来说我们这样啊。这个里边这样写的好,那这个呢,是我们要提取的关键词,那关键词叫什么呢?叫这个item对吧,把这个拿过来啊。
01:04
Item好,然后呢,RT保留。RT,那我们其实只要两个字段就够了,对吧?嗯。那我们这个表呢,叫。然后加一个过滤条件will过滤好那东西这个呢,它得是last倍ID为search,对吧,我们取这个啊,CTRLC拿过来后呢,是page还是中二,然后呢,这个啊,应该等于一个单引号叫search。并且我们的这个东西啊,对吧,取出来意out。那对吧,这个过滤呢,就比较简单啊,直接做一个过滤,把这个item取出来做一个过滤就好了,那这个色克呢,非常简单,对吧,把它拿过来往那一放。
02:01
嗯,那就table认为点。嗯,或者说我们直接叫so query吧,对吧。然而还是把这个关掉啊,调换掉看的更舒服一点,对吧?完再之后这是一个forward table所有的一个单词过滤对吧?两个条件我们说了,一个是search,一个是这个关键词,它不能为nu啊,不能为nu,好接下来注册这个UDTF函数进行分词,比RT1定要保留啊,因为我们还没开窗,在这开窗会用到这个内容对吧,还要需要用到我们这个RT来做这个开窗啊,好那。这边我们写一下叫注册udtf函数,那就拿着tablev点。创建一个函数。对吧,Create function啊create function,那这块东西呢,我们可以参考一下这点。
03:02
在这个里吧。对吧,呃,那这种呢,是可以直接调用without。就是不注册直接用。对吧?啊,那这是在table API当中,当然注册函数可以用这种方式啊,然后呢也可以。注册在table API当中用,还有注册函数在circle里面用啊,你在circle里面用的时候,你最好还是要注册一下,对吧,要注册那这边呢,这个create temporary system function,那我们把它拿出来啊,Create。Temporary listen系统的一个函数啊,好,第一个是函数名对吧,函数名那我们就叫split words对吧?第二个位置要一个大的class对象啊,用户自定义的函数,那咱们呢,到这个利的方式吧,我们叫思的方式对吧,那就是这就是我们的函数名了,那后函数名下来呢,我们要写这个搜语句啊,写这个sol语句了,好,那sol语句的话在这边啊,我们还是到这边拿一个啊,这个把这个拿过来,我们拿它来改一改。
04:10
对吧,CTRLC拿过来啊。这边根据我们的字段,我们做一个修改就好了,这个双引号去掉。去掉。On table对吧,My field word lengths,然后呢,Split function,好,这个呢,我们叫split。What对吧?我们的函数叫这个名字啊,呃,咱们的表呢?上一张表我们叫什么?上一张表叫说。Word c对吧,A letter c,然后呢,Split word,然后我们的字段,我们的字段我们叫forward对吧。对,就是这个我们要对它进行一个切词,那切出来的词我们要什么东西呢?来注意看啊,在我们这个函数当中,我们切出来的词的。
05:01
Word。啊叫word对吧,这呢把它拿过来,然后呢,这边放一个word length就不要了,RT保留这个字段对吧,那这是我们查到的东西啊。两个字段,然后呢,From这张表,然后呢,Letter tablele啊,Forward对吧?啊,这样去处理一下就好了,这就形成了一个一个的一个单词了,啊,这就是我们切出来的那个词了啊好把这个呢。看C拿过来。好呢,到这边我们再来写啊,叫table in。Query往这一放,但是大家想啊,我这样写对吗?这样写那个表能这样写吗?这个表在这,这个表能这样写吗?大家想一下。
06:01
能不能啊,这样他能识别到吗。啊,两种方式,一种我们对这张表进行一个。创建视图,对,有同学说了视图,我们可以创建一个视图,或者说可以怎么用啊,我在这边先写一个双引号。啊。这个可不可以?对啊,加变量加这个也可以吧。是不是两种方式啊,一种呢,我们对它创建一个视图对吧,另外一个呢,我也不想创建视图,就直接加这个变量。没问题吧,两种方式啊,两种方式都有同学提到啊,挺好的对吧?好,那这个用加的这种方式一定要注意一下,这边呢留空格,有空格就行了,对吧,因为from如果说没有空格的话,直接就变成那个内容了啊,那这个呢,我们就干掉。漂亮。对吧,这好不好看对吧,那我们还是这样吧,这样保留,这样能好看一点,对吧,它前面留一点空啊,留一点空能好看一点啊行,那这个就搞定,搞定之后呢,括号加me,得到一个word table。
07:08
啊,这是一个一个的单词了,那最后做分组开窗聚合,这步呢,就比较简单了,对吧,要做一个分组开窗和聚合啊,那完全跟这个一样了呗,跟上午的一样,我们拿过来改一改啊首先第一步,嗯,Select。有一个STT,有一个e dt。对吧,有这两个东西啊呃,然后接下来呢,是单词肯定要word啊,然后can'。A。对吧,看得清RT呢就不需要了,但是呢,我们需要一个TS字段,S字段呢,还是一样的这个啊,From unit time。对吧,直接从这里边获取,跟它一样啊,跟这个地方。诶,上午的那个东西我们没拿过来吗。
08:03
好,那我从这边拿一下啊,在这个位置对吧。就最后的时间啊,还不是叫这个名字啊,叫time不让不是from啊,最后一个字段TS字段也得保留。对吧,那我们取名叫TS啊,放这个表我们来写一下。我们应该叫什么表了,这表呢,我们好像叫were。Table对吧,我们取名字叫world table,那这个word table呢,等会呢,还得用加电量加的方式来实现,对吧?好,那这个呢,我们可以放在这。放在这啊,那from group,哎,那首先肯定要用word分组,有视频嘛。对吧,四零好,那接下来呢,最后还有两个,那当然是我们的。窗口时间。这个往这一放,那我们要开窗十秒的窗口,那STTT我也去拿一下,我就不写了,把这两个拿过来。
09:09
直接把它俩替换掉。对吧,应该都一样,我们之前取的名字呢,也叫RT啊时间字段对吧,RT好搞定了。对吧,这个就搞定了,当然了,有可能我们这个要改名字啊,对吧,比方说这个我们先叫一个CT对吧,包括他可能要改名字,因为跟我们招聘当中名字要一致嘛,对吧,这个就搞定了,到了这一步就比较简单了,对吧,切词反应啊。二是前面自定义函数。这来啊,然后呢,我们写一下这个地方是table inv.circle query往那一放啊,还是CTRLR把这个杠N呢替换掉,对吧,Select我还是往下移。嗯,然后这个表我一样的也要做一个处理,那那样写对吧,这个表呢,我们还是这个用。
10:03
From加一个叫什么word table对吧,Word table啊,然后再拼接这个地方,一定要注意一下,把这个地方呢啊一个空格啊加空格,如果不加空格,那未来我们的表明跟group by是不是就在一块了。对吧,形成了一个单词了,肯定不行啊,一定要加空格啊,当然你这个空格你可以这样加,你也也可以在这加,有的同学说诶这个地方好看了,对吧,我在这加一个这个什么空格啊,我用这样的方式对吧,这样好看一点,大家都是。齐的啊,大家都对齐的可能好看一点对吧,没有什么其他作用啊行,那这是我们核心的逻辑都在这了。啊,桌子度切磁和开窗聚合对吧。到这一步就没有什么难的了,对,因为上午已经写过。
我来说两句