14_尚硅谷_Flume案例_监控本地文件夹（案例测试）

好HDFS呢，我们已经开了，我还用这个路径没问题吧，因为这个小时已经什么。变了，上午那个目录是11，还记得吧？好多吧。来。我们之前是不是上午也用了呀，在说底下，哎，这个时间11没问题吧，现在要说的话应该是14了，对吧？啊14了，所以呢，你还有这个路径，这个没有问题啊，这个没有问题，然后呢，我们去启动我们的任务啊，首先呢，我在本地make DR一个什么。阿的对吧，阿的啊，把它准备好，然后呢，我们再开一个什么。Cdd Mo，然后这个呃，为了测试，我在这里面呢写几个文件啊VI一个1.tt走，哎，插入好，这里面呢，写一个hello word可以吧。Hello，问，然后呢哈。硅谷保存退出啊，然后CP一个1.txt，呃，变成2.tt。

啊，然后再CD一个三啊，我们等会就上传三个文件吧，啊就先三个就够了啊，准备测试数据的好，然后呢，我们就启动那个什么。From a的对吧？B from a呢？A-C-F是job，底下有一个DR这个配置文件码，然后是杠，哎，我们用的是A2L，不要写错了啊，不要写错了，而且你在这个配置文件里面不要前面写上，后面写A1，那也会报错对吧？啊注意这个是A2，你要确认一下这是A2，还有啊，呃，这里边都是A1A2啊，不要写al好吧。之前应该有人写al吧，不要写错了，不要写错啊。然后呢，呃，这个结束了吧，不用那个什么杠D那个东西了吧，因为不是啊，不是走一下。走一下。

好，这个开始走了，然后呢，我们去干什么？我直接CP到upload里面可不可以对吧？走，然后我们L一下这个upload。完成了，那说明这个东西是不是到我们了，刷新14有了吧，14有了，哎30秒这个还是跟上午一样吗？啊30秒我们等一下，或者说呢，我再来干什么。CB2.xd到这个什么。里边走。好，二点。走。这个30秒是不是有点长。有时候专门的等数30秒好像很慢对吧，如果说不想等的话就挺快的啊，那我们三呢，留着等会再再放啊等等会再放，等到它，诶这个走完了，做完之后我们把它干什么。下下来看一眼吧，啊，下下来看一眼，OK，来点，其实你能看到。

26。补上上传两次嘛，我们两个文件不是CP的嘛，对吧，来也就是说他除了这个文件内容应该不会携带其他的内容对吧。放在桌面，放在桌面OK。然后呢，我们来看一下这个内容。桌面，呃，是哪个。900对吧，九零这个吧。是不是就两个没有任何多余的内容吧，只上传我们什么文件内容能看出来吧？啊，只上传文件内容，那同样的我再把三人进去。CB3.txt扔到哪啊？的。好，那你L下的他瞬间就上升来了啊，因为它默认是500毫秒去扫描一次，这个文件夹，500毫秒去扫描一次啊，500毫秒去扫描一次，OK，那这个时候它会触发一个新的文件码。

啊，触发一个新的文件是这意思啊，同样的也就是说，因为这个地方呢，我们写的是FDFC嘛，跟我们上午所聊的一样，那你看它这个大小。你看这个大小就过了，我就不用把它非得想象来看了嘛，对吧？啊，跟我们本地文件完全一样啊，跟我本地完全一样，这意思，这是我们所做的一个测试啊，所做一个测试，好，那接下来这样。这个后缀名是不是他自己添加的。那我们如果说我有一个文件名叫这个东西，它是识别了自己的这个后缀名，还是说他再给我们追加一个。com。对吧，我们试一下，我们试一下我CP一个什么。1.tc到叫四点TC点是么的，我复制一下对吧，好方式操错了走啊，然后我CP4.ts这个的到哪。

Lo里边。走。啊，按道理来说，如果说他能上传的话，是不是已经完成了，对吧，我说话说这么长时间，因为之前123是不是瞬间就完成了，对吧，好下这个什么。有东西吗？有加一个的吗？没有，所以他简单的去交易什么后缀名的，我之前是不是提了一个点，你取得后缀名一定不要是你公司当中准备上传的这种文件所拥有的这种后缀名啊。能听懂，假如说你们，你要再上传的后缀名有什么a.a.b.C点乱七八糟一堆，你就不要取了这个后缀名，在这个当中取一个吧，因为有的文件就上传不了，他不是说无论你什么文件真进来了，我给你干什么，添加一个后缀名，不是这样的。啊，不是这个意思，好，然后接下来还有一个。你不是500毫秒扫描一次吗？对吧，那你看啊，连这个东西都不上传了，那接下来一个问题，我在这个我去修改这个文件，你觉得它还能识别到吗。

识别不了了对吧，识别不了了，因为只要带了这个后缀名的，不好意思，我都不扫了，里面的东西我都不读了，对吧，因为连他都干什么。整个的没有上传吧，我还会读里面东西吗？根本就不会读，所以呢，这个地方它并不能监控什么。动态变化的数据能听懂对吧，我们先说了，假如说有一个专门的目录，这个目录里边东西呢，都要上传在HD，但是呢，这个目录里边，将来我往里面扔的数据都是什么，直接把整个文件往里扔的能听懂。啊，直接往里扔的，还有一个点要注意一下，呃，你们做测试的人肯定会有会有人这样测，所以呢，我提前说一下，这个里面我不是扔了123嘛。对吧，是不是有人还想着我再往里边扔一个一。对吧，你这里面不叫一点TC点他利率的吗？我再往里面一扔一个什么1.c。

这个能行吗？来，我们先刷新一下，让他文件生成了，那如果说可以的话，这个东西应该会触发它什么新文件，这有问题吗？这没问题吧，这个东西是不行的，你想一下为什么不行。阿巴达你看这块啊，他也没有报错是不是。但是这块。诶，出现了一个新的。出现了一个新的，然后来注意这个东西，数据上来了。来看这。1.0C没有改名字，其实这个地方啊。

说什么？不能够改名字。不能够改名字，也就是说你不要干这样的事儿，而且同时这个点也告诉我们什么事。这个地方能上传上来，说明他是先上传，上传完了之后再去改名字，是不是改名字发生了问题啊。因为他在改名字之前是没有问题的，是不是把数据上传上了二六个字节没有问题吧，都上传上来了，但是不好意思，最后我改名的时候，我发现当前目录里边已经有这个名字了吧，啊所以呢，你就不要做这样的事啊，不要做这样的事儿，而且呢，你看啊，这个一旦发生了。走，然后接下来我们，呃，这样我做一个测试啊，CPA点开C，我把那个任务重启了吧，它里面不报错吗？我们重启了对吧，我们想着应该不报错了吧，对吧？好，这样我们先看一下。

1.txt。又上传了，而且还有一个问题啊。就是你此时再上传其他的还上传不了，因为它里面报错了啊，就是你在生产环境当中一定不要干什么。干这样的事啊，不要干这样的事，那为了这个任务能重新执行呢，你得把这个里边的什么删掉啊，1.tst把这个删掉，删掉之后再去干什么重启啊，重启那你这个东西呢，就能又接着用了，明天用啊就能又接着用了啊能又接着用了，这是我们做了一个测试，然后还有一个点啊，啊来在这个当中。我们写了一个正则。忽略了还记得吗？对吧？啊这个正则，这个正则表示什么意思呢？前面任何字符都可以，只要以T结尾的都干什么。不上传啊就不上传，OK，那我们把这个任务停掉，停掉之后呢，我们来改一下，把它拿过来。

放在点放在这个下面吗？看到没这个地方注意改一下点，还有这个吧，啊这个表示这个正则表示以time结尾啊表示以time结尾，OK，然后我们来。重新启动这个任务对吧，而且呢，刚才的那个文件夹我们也已经，呃听到原始的一个状态了，啊，原始的一个状态了，好这个任务启动了，启动之后我们CP一个1.txt变成什么1.tmmp。正常的，我们之前把它扔进去，是不是没上传啊，对吧，我们先这样。刷新一下，而且这个数据还有问题，看到没。对吧，啊，这个数据问题那我们不管啊，也就是说你之前那个文件夹里面有个错误的内容。好，那这个时候我们应该把它扔进去吗？CP一点。啊，1.3到lo啊来走。还好下这个。

阿。他不会改名字啊，因为我们通过正则把它什么忽略掉了啊，也就是说你想哪一类日志呢，你不上传，那你就把它配一个什么正则啊，给它忽略掉就行了啊，给它忽略掉，它不会触发什么。新文件吧，因为没有东西上来吧，啊，没有东西上来这意思啊，这个要注意一下，这个是关于我们director的一个点啊，刚才我们所提到的几个点，第一个这个配置文件你可以去看一下啊，里边那个东西啊，包括之前我们已经讲过的内容，接下来。这个地方。第一个，不要在监控目录中创建并持续修改文件。啊，这个持续修改讲的就是什么，我们之前所提到的，你它不能监控一个什么动态变化的文件吧，啊，它不能监控一个动态变化的文件，第二个它上传后是会以complete的结尾，这个主要我们可以自己配的啊，可以自己配它默认的是什么是这个内容。第三个啊，这个要稍微的记一下，就每500毫秒去扫描一次这个文件夹，看里边有没有新的文件需要上传那那种。

啊，500毫秒扫描一次，500毫秒扫描一次，那之后呢，就是这个内容啊，去touch文件往里面扔啊随便扔就行，就是这个太过滤掉了，它上传不上去啊上传下去。