14-尚硅谷-Flume动态监控多目录多文件-修改源码

对，六块钱的啊，那我们打开一下啊，就是说呢，我们这边我已经下载好了整个from的源码包啊，其实我们就只要改它，So这个源码就行了，就很简单啊，但是其实改的过程很简单，但是你要找到改的位置，对吧？就类似于之前经常听到的一个例子，说说那个机器坏了对吧，说有个人过来画了一个圈，拿走了5000美金，但修的那个人可能也就挣了十几块钱。对吧，就是画圈不难，但是你要知道在哪画圈对吧？啊，就这个意思啊，行，那这边呢，我是有一个整个的源码包，但是我们也用不到这个源码包啊，在里边，其实你的form呢，就是拿ID编译，就是晕，就是打包打出来的啊，所以我们说的编译啊，或者修改源码呀，在公司当中啊，没那么难，只不过说你要找到你改什么东西，这边是有个专门的S包，看见没，对吧，点开这里边就有一个。

Tell对吧，我是把这个泰干什么呢？我专门拿出来了，因为我们只要改这个包就够了，其他的不需要动，所以呢，我把它提出来了啊，提出来了，然后呢，诶，I idea怎么还没打开，Idea坏了啊，你看你不能说他是吧，嗯，然后呢，我们找到啊，我去open一个啊。我就打开我这个S的一个源码包啊，大家从现在开始已经会修改源码，是不是我看看就点到这个内容啊，点到这个当会我会发给大家。因为没办法，就是公司当中真有这种，就是后台人员，他不给你商量的，我就这样用你自己想办法解决。啊，有这种的，你就刚才我们提到了，之前有个学生就跟我说，说那领导帮着那个张大组说话，那真的是气死人，他是遇到一个什么问题啊，当时就是说那个分割符的问题，就是进表的时候分割符。

它得指电表，Have，电表是不是得指定一个分隔符啊，对吧，你要知道你建表的分隔符，你不能跟字段当中它特有的分隔符一样啊，假如说我这个字段本身就是以逗号分割的，就是说我A逗号B这是一个字段，那我见表能用逗号作为字段吗？不能，对吧？啊，他就想说找一个比较特殊的字符，但是呢，Java组那边给用户，他那有很多数据都用户殊的给用户开放的权限呢，随便你说就是，有的用户就很奇葩呀，就奇奇怪怪的字符都来了，就会导致后面查询的时候各种各样的问题，因为你建表按逗号的，假如说我用户带的这个字段，这本来是一个整体，你按逗号建表，你是不是相当于分成两个字段呀，对吧，他就跟领导商量说能不能让张曼那边规定一下，说让用户可以输入一些字符，没关系，但是稍微限定一下，领导说不行，那你要影响用户体验啊，是不是？

对吧，那你接表这个表真的没发现，因为过来的字符你都猜，你想都想不到会有可能性是什么样的，可能就是说只有你想不到的，没有他做不到的，真的啊，怎么过滤。不是，因为它线表语句就是字段与字段中间的分割符，以及字段就是什么意思呢？假如说我本来是这是A字段对吧，这是B字段按逗号分割的字段内，它这一个字段内部有一个逗号，你都没办法清洗这种数据，对不对，你你的意思是想把这个逗号替换掉吗？插入之前他不做嘛，就是这个意思，他不做吗。

Java那边不做，就这个意思，他就就就说他提出来这个分割符问题，Java那边他就不改，就类似如果说他做其实就那方法太多了，就类似于稍微对用户输入的数据做一个校验，对吧，如果说跟我接表语句当中的这个分割符一样，我就认为你是不合法的，做这这个事情不就行了吗？对吧，他就不做呀，这个事情其实如果说前台做一下子很简单，他不做那就没办法对吧，其实解决方案比较多啊，这种解决方案比较多啊，就是那就没办法啊，就有同学说山库跑了是吧，老子不干了啊对，这里边呢，就有两个地方我们去看一下，这个当中呢，比较多一点啊，我先把这个关掉，我记得应该在一个我们看一下，大家一看到这个地方你就懂了，你肯定能懂了，嗯，我记得一个卖知道吧，我去搜一下我当时用的爱硅谷作为标记的不这个文件是啊，应该是监控这个地方，我看一下谷。

这这有一处啊，还有一个地方，呃，他之前呢，是这个样子的，这是之前的代码，你看一下啊，他在更新这个position，那无非就是往里写和更新position的时候，我们就按I的值来，对不对，就更新和往外读的时候就两个位置嘛，这是更新对不对，叫更新position，假如我有新数据读进来之后，我是不是要更新那个位置信息啊。没问题吧，叫重新写那个文件对吧？它原来你看人看怎么判断的，这是之前的代码啊，这是之前代码，它是根据I诺的值和什么卷度路径，两个如果说都相同，它的根新如果有一旦有一个不相同，它就认为是一个新文件，对不对，对吧，所以他才会重新上传嘛，我就给他改成了什么，只看I弄的对吧，这个是不是很不难懂吧，但是你你要找到这个位置，其实这个位置呢，你上网一搜一定要多啊，因为很多人在公司当中都遇到这种奇葩的后台，没办法，遇到奇葩后台就没办法，对吧，你就只能干什吧，自己改变码，哎，不在这啊，应该在一个看一下事件。

在这个文件里边看一下，在这两个啊，一个是我们刚才看到的是这个，一个是哪他对吧，还有一个呢，是这个啊处理的读数据啊，读数的地方一个写嘛，更新是往里写，一个是读，你不能说按照I的值写的，读的时候你看两个值共同交易的读是不是也不太合适啊，对吧？所以我们来看一下这个地方。他这个地方干什么事呢？他去判断这个文件是否为一个新文件，其实它这个是啊，就是说之前数据有没有保存TF，这个TF呢，它就根据谁去获取的IO的值，他以前呢，他不光看IO的值。说这个东西存不存在，还看什么角度路径对吧，那又给他改了一下，只看什么，相当于只看IO的值啊，也就是说读和写两个地方我们都只看什么。

Ino的值好，那这个更新好以后我们打包好跟大家说一下，如果过程当中遇到这种修改源码的时候应该怎么去做啊，但是要找到这个位置是最难的一步。对吧，找到这个位置，然后下载源码从会下吧，没下过元宝包是吗？就是所有款没下过野码包，赶紧回去下一下，找到大陆的里边他包下过吗？就是之前哈多那些类似他包下过吗？下过是吗？那不一样的吗？那那那里边不选他包还是选src包吗？你选src包就行了，就是元宝。对吧，一样的啊，都在那个位置啊嗯，下下来之后呢，一般用哎要给它打开对吧？好，那这个我们呢，这个就放好了啊，就叫那个名字啊，然后接下来啊，我做一个什么事呢，我把这个任务给他停掉啊，任务停掉了啊到我们的这里边了，诶CD出来到底下啊诶这是have是吧，CD到然后到立RM-F就这个粗暴，哎怂了，其实也无所谓啊，其实也无所谓，大不了如果说真想用回来之前那个的话，就干什么事啊，我再重新再解压一份就好了嘛，对吧，嗯呃，我给它拷出去啊考到上一层路怂一把，好，现在我给它移出来了，这是不是之前的东西啊，然后接下来奥加P对吧，CD到OD Mo from立底下，把我们刚才修改好源码的包给他干什么？哎，刚才没回车。

然后呢，给他拖进来啊。

就相当于做一个源码的替换，好，那接下来我做一个事情来看啊，这个是什么，所谓的日志，这个给他提交啊，然后呢，把这个任务干什么。重新启动，走你。好，现在呢，已经启动了，启动之后呢，我们先看啊这个啊电报了，现在我们看啊，这个里边没有新数据了，对吧，因为我们没有操作啊，等了这么久了，肯定没有了啊，然后呢，我们先测一下我们修改后能不能正常用啊。里边我们修改源码之后用都用不了了，那你改不白改了吗？我们进到F斯里边，我们先怎么算呢？我们先往里面追加一个文件，追加一点东西，看能不能生成对吧，艾克一个Spark。追加到所谓的这个2.tc走，你好，然后呢，我们先看这啊，如果说正常的能有数据生成，那我们应该是OK的是吧，等会儿别着急啊，真快了，不至于不至于这么久感觉有点问题了是吧，我看一下啊，没有问题啊。

R3刚启动是吧，这里边是没有问题的，我看一下刚才的启动命令啊，杠三点启动它也没问题对吧？行，那我们再放一个数据啊试一下啊，这常应该是没有问题的，我再放一个追加到，诶追加翻2.tst啊。不行，还是有问题，我看一下这个日志啊，等会儿，然后这边我重启一下吧，把这个诶这个日志还是正常监控啊，我重启一下，看启动的过程当中有没有问题啊，因为之前都跑了很久了，是吧？嗯，重启一下这个是关掉了，关掉之后呢，它会有日志打印，那我们先给他停掉好。

然后接下来呢，我们去做一个事情，这样吧，我们做什么事呢，这个文件呢，我都给他干什么，先删掉，这是之前残留的数据啊呃，然后呢，还有这个。还有一个那个叫F42里边对吧，RM-F，我把数据测试环境呢，给它恢复影响，然后更重要的其实是受他影响啊，受他影响我把它干什么，更重要的是它删掉啊好，然后进到这个范斯里边。现在呢，没有东西对吧，那我们把这个任务重新启动。好，我看这个日志启动有没有问题啊，找到这块启动当中process看一下CHINA3没问题。

THINK3没问题，China启动了，然后source也启动了，Spring directory呃，监控到这个目录了，R3也启动了，好，那接下来呢，我们去翻翻出就看现在了，是不是就是啊，它是一个还是一样的，它这个file丝里面是不是以file有包含file就可以了，对吧，我叫一点点C，然后呢，I克一个好追加到咱们的一点点C里的总理。我看这个位置。时间是什么？哦，对，走没用啊，还害我激动了半天，然后我们看一下这个地方，我刚才是把东西扔出去了，没问题啊，然后我进到里面啊LS哎，进到Li底下，LS底下，我看是不是东西有没有扔进来啊。

我总感觉这个东西N在这儿是吧。这是con，然后呢，NG的一个。真没有啊，我刚才拖的位置有问题吗？这样LS当前目录，然后。Gra一下这个，我们看这个东西是不是有没有传进来第搜他。是有什么问题啊，我找一下啊，呃，他叫太阳地在这有。

有的对吧，有的，我看这个打包过程当中有什么问题吗？这样吧，我重新打个包啊，重新做一下，然后呢，我把这个停掉啊，把它停掉，停掉以后呢，我重新去打包，我先亲一下下。好切好切好之后呢，我们重新打包。这人真的一语中的是吧，修改源码之后跑不掉，亲一下，重新打个包啊，嗯，他给的目录里边他对吧，然后呢，嗯，这个地方进到live里边，然后RM-R法from NG tell DR的一个S对吧，看掉啊。然后我们已经删除掉了，删除掉了以后呢，我把这个拿过来就防止覆盖有问题吗？呃，人进来了对吧，然后海尔一下啊，这个东西呢，你也可以看一下这个时间啊。

刚刚时间吧，对吧，啊是三天用，那这个没有问题，然后我们重新启动一下啊呃，或者说这样CAD到这个教皇路底下VM一个DR，我把这个路径呢，我给它换一个。诶，我这个错了，我修改我怎么修改它了呢？CD到job里边，然后我一个应该是tell点对吧，这个内容啊，我给它放到。啊，Lo的三啊，让它重新再来一个目录吧，啊，叫三啊好，然后我们重新启动一下啊BNG叫agent，杠c count-NA3对吧？杠F是我们job底下有一个from叫TDR的一个a drs对吧？呃，走一下，看那个日志，这有了，这好的能用啊。

刚才我是启动错任务了吗？我感觉。看一下那个配置信息啊，总感觉啊，果然是我刚才一直起的是前面一个任务吧，DR其实应该起的是谁啊太啊我就感觉有这个问题搞半天，然后呢，我们去外面是不是叫三呢，有三了吧，说明现在呢，正常肯定是能用的，对吧？好，那我们再测一下到底能不能用，我们动态上传一个。CD的赛小斯，赛小斯里边挨克一个Spark对吧，追加到file尔一点开C，好让我们稍等一会是不是能过来呀，对吧，就是说我们修改完源码之后，它可以干什么，能成功正常用对吧？那接下来更重要的是我要把这个cell1.tt更名为赛2.txt，看它要不要上传，默认情况下没修改源码的时候，它是不是又上传一次，对吧？当然我们看到了好这个文件了，六六，如果说有的话，肯定会出现一个12的文件，对吧？好，那我们这个时候MV一点之前我们就这样做的啊，一改成三二吧，总理。

不能光没有，那接下来我们还得测一下，我往三二里边追加数据，它还得能够接着读取才可以才叫成功，因为有可能这个时候是由于改源码过程当中坏掉了，它是不是也不会有对吧？之前我们是不是发生过这种事情啊，这坏掉了它是不是也不上来对吧？好，这是现在这么长时间应该够了吧，我们去做一个什么事呢？我往再追加一个，我追加到范二里边走，你然后呢，我们刷新一下啊，稍等一下，然后我们看它的大小对不对，他等会嘛，还没有完全写入呢，着什么急呢，六个不是我们所说的从三个六加起来的吧，啊我们写的啊六个字节对吧？啊，是这样的，它第一是不是。

修改源码之后能够实现之前的功能没有区别对吧？但更重要的是更名操作之后怎么样啊，不会重有重复数据了，因为现在改源码之后只看ino的值状对吧，以前是看ino的，加上什么决斗路径啊，因为决斗路径由于更名操作它会变对吧？啊，是这样的一个操作。这个里面我们可以看一下啊，是不是输入对吧，最新的数据，他只会上传最新的，就算你更名了，他也会接着刚才的文件位置开始读吧，啊源码当中，原来的当中啊，它不行，一一旦更名重新上传重复数据对吧，所以做这个事情。