温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
好,接下来呢,我们讲一下这个自定义二不特不曼的这个案例啊,我们详细看一下这个需求。过滤输入的这个log日志。Log日志,一些日志文件啊,这是这种场景比较比较多见啊,包含什么呢?包含艾特硅谷的网站都输出到艾特硅谷点。不包含爱的硅谷的网站。输入到点。那比如说像那个会超啊,总去登录一些。是吧,呃。动作片了啊。魔法。非常这个。这个点击率非常高的啊,那现在呢,我就把这些文这些网站给它过滤出来啊,放到一个里面去,那其他的这个没有用的是吧,一些新闻呐,电视剧啥的啊,那就放到其他的这个。就实现这么一个功能。啊,看一下这个输入文件。特殊软件。输入文件当中,我们只把它过滤出来,放到一个,其他的剩下的放到。
01:05
那这怎么实现?这是需求。这是输入数据。这是最终我们期望的输出结果。比如说输入数据在这,最终我们希望将它哎传输到这,剩下的传到这。实现这么一个功能。Ma阶段处理什么事?Video阶段处理什么事?Out和处理什么事?卖完,这需要干什么?是不切就行了。是不是把就把它一行一行的切出来,切出来之后是不是就往往出写就行。啊,写到里面,Reduce里面用干什么事吗?是不是也是往出写啊,啊也是刚才我们写,那到了out不的时候,具体要真的写的时候,是不是要对这个数据进行分路径往出写啊。
02:01
哎,创建两个流不写往出写是不是L流啊,就是L0操作呗,对吧,那零操作的时候,你给他两个路径,一个是I5的路径,一个是other.love的路径。想想啊。比如说在他的map阶段。什么事也不干,我就给你一行行的接出来。啊,到阶段依然我什么也不干,依然往出写啊,以后。那写的过程中,把这个数据就进入到了这个out form里面去了。那在阿的方法里面干什么事呢?哎,他要判断你这一行数据当中是否包含艾特。如果包含,哎,我这个输出流就用它。是吧,那这个文件是不是有,如果不包含,诶,我就用other点这个。那包括那你想想,我要想最终把这个数据写到MYSQL里面去。
03:01
那是不是在写的过程当中,我是不是要连接一下MYSQ之后是不是就可以往着写了。一样的哈,OK。创建一个,这里面是自定义一个啊,自定一个类继承它。之后创建两个输出流,在这个指令里面啊,一个阿的,一个是阿的。之后呢,如果输入的数据里面包含它包含不包含,怎么他的。一个实训类型。包括含某一个重。Contain这就完事了啊,就这么简单啊,然后呢,就把数据输入到这啊,那如果不包含呢,就直接输出到啊。那在青铜类里面要干什么事?就得设置一下你这个自定义这个奥特曼的。得关联一下嘛,这都老司机了啊,所以说关联一下就完事了啊,这就是整个这个自定义out不可骂的案例的一个分析啊。非常之简单哈。
我来说两句