84_尚硅谷_Hive案例_MR ETL清洗数据逻辑

好，那我们核心的逻辑是不是在这儿啊。对吧，啊，核心的逻辑在这啊，那我们写一下啊，做一个方法注释对吧，这个是输入。参数叫原始数据对吧？啊，原始数据那返回值是过滤后的数据对吧？啊过滤后的数据，那过滤分为三块，我们写一下第一个对吧，第二点第三点我们等会呢，就按照这三点来写吧，啊三点来写，第一点是。过滤掉。长度不够的。也就是说，小于。九个子弹的。对吧，啊，小于九个时态了，直接过滤掉第二个。要干事。去掉。类别字段中的。空格是不是对吧，这是第二个第三个。

修改这类别字段叫相关视频ID字段的什么字段的分割符？啊，有。我们所说的这个杠T给他替换成替换。与符号对吧，啊应该是有对吧，打一下有。也就是说我们在这里面呢，核心的要做三件事情，对吧。啊，三件事情OK，那把这个三个呢，给他写上，给他写上好，那现在呢，我们来拿到这个内容。第一步要做什么事？这里面的第一步。是不是应该要切割呀，对吧，啊切割。啊，第一步切割，第二步呢。判断长度够不够了，对长度。吃饭。

长度进行。过滤对吧，啊过滤啊，如果说它过滤过了。这个吧，第四个。修改复合符就这个内容啊，我们把注释给到大家，最后呢，修改完之后返回我们的。结果。返回结果对吧，啊，返回结果就最终呢，给他返回出去啊，新的一个结果。好，既然是一个新的结果，这块o three。我们能都对这个直接给你改吗？好改吗。那同学我们想到替换这个内容啊，是不是用replace。但是不好意思，人家之前是钢铁。如果你有replace。你是不是前面那个分隔符也改了呀，对吧，对吧，啊，也就说不能够去干什么这样的替换，那我们有什么办法做到这个替换呢。

拼接一个新的，是不是把它切开之后，我们用新的方式来拼接啊，用一个build或者八法来拼接吧，能懂。对吧，因为我们不能说对原来的这个字符段去做替换吧，因为如果说你最后一个字段呀，是以逗号分割的，前面都是各个字段用杠D分割的，是不是我们可以直接替换可以对吧？啊直接替换，但是现在大家都是杠D分割的，你一替换是所有的又替换的，这有问题了，是不是我们希问希望只替换后面那一部分，那只能干什么。一个字段读进来给他追加上去，一个字段读进来给追加上去，用这种方式吧，对吧？啊好，那第一步其实我们应该用一个啊。八法对吧，啊以八法OK看号的嘉宾。它二加V角对吧，那最终的返回值应该是什么。

点对吧，啊，反馈值先写一下啊，就这意思，然后接下来第一个切割。O点什么，按照杠T进行一个切割。看。很号看号的加宾得到的什么fails可以吧啊，一个一个的字段啊，一个负三的一个数组，接下来对长度镜过滤if，如果说这个feel.s小于九等于九行不行，等于九可以啊，等于九可以的，等于就要了，那这个地方我们就直接返回一个什么那对吧派返回一个，那就是说这个数据我就不要了，那最终返回，那这边接收到了是不是这边判断那也被它到就不会写出去了呀，这条数据就干什么。过滤掉了对不对？没问题吧，好，继续往下走，现在要去掉类别当中的一个空格，这个空格应该怎么去。

也就是说，首先它是第四个字段吧，那也应该就是什么。三对吧，点直接能行，他只能对，他只能去开头和结尾，那你想用的话，你是不是应该先用平切开，切开完了之后是不是拿到两个字段分别，然后再给它P在这块麻不麻。可以干什么事，我直接我直接空格替换成什么。空的行不行对吧？哎，用这种方式更方便一点，当然用tri那个也可以啊，但是你要注意呢，只能去开头和结尾的什么空格，你是不是先要按按给它分开，分开完了之后两个字段拿到对吧？啊ctrl al加V得到一个新的字段嘛。

这个得到新的字段，那新的字段我们怎么接收呢？我还用什么？能理解这个事儿，因为replace是生成了一个新的字符传，对吧，生成一个新的，那我们还用刚才的那个引用去接收啊，不破坏整体结构，那这个时候就相当于在整个字锥里边做了一个替换呢，啊，做了一个替换这个意思啊，字段呢，还是原来的字段啊，接下来这个问题就会稍微麻烦一点。修改相关视频ID字段的分割符由杠T变成end，这个怎么办？这个是不是会用到我们了。对吧，把一个一个的字段给它拼接到一块儿。一个一个的坐在拼接在一块，好，现在里面有数据吗？是不是应该把前面的给它拼接上。

对吧，啊，把前面的给它拼接上，那怎么拼接呢？一个字段一个字段拼接，那就是对field进行。循环对不对，便利啊，一个一个的字段。一个一个的自带好，那如果说我这样写了，这个循环接下来好写，因为你现在这个东西不好写吧，不好写在哪啊。你没办法区分到底是前面九个字段还是最后一个。相关视频ID字段对不对？你现在能分开吗？这个在这个循环的时候，所以这种循环增加不好吧，我们改成什么I循环对吧？哎，这个地方呢，直接写。For I啊，它也是一个关键字，直接for I啊，直接for I，那这个I控制条件应该是feels的什么length对吧？哎，从零开始length。

S，好，那在这个里边我们怎么来控制前面字段跟后面字段呢？是不是看这个I呀，对吧，如果说。哎。小鱼。多少？对吧，八还是九。考虑一下。九还是八九吧，小于吗？不是小于等于吗？第九个字段还要什么，怎么分割？从零开始的第九个不要啊对吧，小于九吗？A等于八的时候不是第九个字段吗？第九个字段后面跟什么分割符。

啊。第九个字段后面跟什么分数啊。还是刚替了第十个字段才是后面。符号吗？能理解这个事吗？对吧，也就是说前面有九个结束了，由一个耕裂分割，这是一个真题，真题的第一个还不是一个矩阵嘛，然后才是这才是符号法，对吧？所以这个是小于九，没问题吧？啊，其实这个问题也不用太纠结，你小于九发现不对，你就改成那个什么八对吧，或者八不对改成九八啊，这细节你要注意一下。小于九之后，如果说小于九，我们就直接这样写呢，说点。好的。加一个。哎，然后再什么的一个杠T直接这样。那直接这样的话，我们想一下有没有问题啊。

假如说之前我们是不是过滤了一下这个数据最小的可以有什么。只有九个字段是不是可以，如果说他只有九个字段的话，我们直接这样写的话，会有什么问题，会加了一个杠定是不是对吧，那我要是不想这个要了一个杠呢。加在前面。可能都要去讲。对吧，我不想要最后这个钢铁。来注意来看一下这个地方呢，加个注释，这个是对非。相关ID进行处理，对吧，是不是做做这个进行处理啊处理，那这里面呢，不是I小于九的时候，是不是前九个字段，这个没问题，但是我们要以防万一，它是最后一个字段，所以呢，我在这里面加一个判断形式。

加一个，如果说I等于谁啊。fields.l。最后一减一。如果说它等于它的话，我们怎么做？就加的里边干什么。加抗体。捋一下，看能不能捋明白这个逻辑。这个应该没问题吧，啊，首先A小于九是不是对前面九个字段进行了处理，对吧，我们是不是以防万一它只有九个字段呢。是不是最后一次这个钢替不要啊，对吧，那再做一个判断，诶，当然它是最后一个字段，我们该干什么，直接追加一个这个字段就行了，而不追加什么。对吧，啊是这个意思，好，对于这个if，如果说它不小于九。不小于九，那这个else里面处理的就是说什么对。

相关ID字段。进行处理吧，啊进行处理了啊，就相关的行字段进行处理，那同样的是不是也要来这个东西，因为我们考虑到它有一个最后一个字段，但是这个地方就改成什么。与符号是不是就行了。直线如果长度对，就不进行。在直接记一没到。这样做，有同学说是这样的，来听一下思路是这样的，他直接判断，如果说当前字段等于九的话。他只做什么？这个处理处理完了之后直接被掉。没得。可不可以，然后这个里边就直接这样写了，这个L这个不要了。

也可以吧。能不能听明白这个问题啊，就是说我在这个负循环外面，我去判断一下当前你截出来的字段个数，如果说恰好等于九个的话。就不进这个佛循环了，因为里面本身就看你，因为我没有什么东西需要替换嘛，对吧？啊，没有东西需要替换啊，这种方法也可以，那这种有没有问题。没有问题吧，啊这种呢也OK啊也OK，那最后呢，我们表达干什么。返回一下啊，给它返回出去，那这样呢，就是追加的，而且呢，不会多什么and符号高地吧，如果你直接追加的话，是不是最后会多一个与符号啊，对吧？啊，你判断一下是否是最后一个字段，就这意思。好，那这个呢，我们就写完了，写完之后呢，我们做一个测试吧，啊在这呢，我们做一个测试啊，我也不写那个。这个。嗯。一天六点。

这里边我们拿一个就拿第一条数据可以吧。C啊，那它的一个相关ID应该是不是从这开始的吧。对吧？啊，我们就到时候看一下它O不OK啊C给它拿过来，然后呢，给它放到我们的代码里面看没。我买它干什么？点so打印一下吧。等一下好吧。嗯。因为idea每次运行过程当中，他会去整个的工厂，都去扫描，都去编译。还在编译呢，这个还在编译阶段，还没到运行阶段。因为他要对所有的当前这个工程下所有的内容移民，那我们可以看一下，首先你看这个数据还记得。到这个什么DGDA对吧，DDA在这个这前面都是什么。

看出来没有与符号吧，啊，还是以前的刚体分割的，那接下来从它开始，后面这些东西都是什么？而且最后也没有。与符号吧，啊，没有与符号好，我们接下来干这个事，就这个中间呢，我们应该找一个。不是找一个有两个的对吧，好看这个空格它吧，找这条数据第八条数据，哎，正好它还比较短是是。它呢，只有一个相关ID吧，啊，它只有一个相关ID啊，我们把它拿进来就多都测一层，都测一层看到没啊，然后运行。好。空格也干掉了吧，啊没问题的，而且呢，它只有一个类别，甚至说如果说他没有类别。对吧，那对这个数据再把它干什么干掉吧，啊再把它干掉，没有类别只有九个也可以吧，按道理说，按照我们逻辑，九个没有问题，而且最后没有再拼接一个什么。

杠T了对吧？啊，没有再拼接一个钢体，因为这个后面空了啊，没有一个杠了，如果有个杠T呢，它还空了一个点啊空了点OK，那也就是说这个呢，我们在1TL一个方法搞定了啊就搞定了，这就是我们中间处理的最核心的一块代码啊，那个对码。