11_尚硅谷_Flume_实时读取目录文件到HDFS案例分析.avi原创

啊，接下来呢，我们开始讲啊，讲第三个案例，实时读取目录文件到as啊上午呢，我们讲了两个案例，一个是呢监控端口啊，另一个呢是监控文件对吧？啊一个还有日志，那现在呢，我们开始监控。一个目录。在监控文件和监控目录在企业开发中都有应用啊，每一种都有，那一个呢，是就是说这个log这个文件啊，它有变化，我们就要实时助手，那另一个现在这个呢，就是目录，这个目录当中有多少个文件啊没有上传，那我们就统统把它上传上去。是这个过程啊，那我们来看。需求使用弗洛姆监听整个目录的文件。然后上传，上传到哪呢？AJS。来看一下啊。这么多，这个是待上传的文件。啊，这代查文件往哪发呢？往这个路径上放。

这个路径OBD model下面新创建一个lo文件夹是空的。啊，然后往这里面写文件就行了。那最终我们要把文件上传到as啊。这边是，这边是。那中间就是这个桥梁，就是这个agent。那from agent里面。有一个有一个think。那它对应的呢，就是对应的是读取文件目录的。啊，那这个呢，是像一个水池一样。那他的这个呢，还是我们之前写的A。这个China呢，依然是没有变化，也就是说只改变了它的上学。啊，这边的数据变成了文件夹，而不是文件。那这么一个场景，看看我先干什么？D加上创建符合条件的配置文件，也就说创建左侧是文件夹的啊，右侧是HS的。

我们写了这已经第三个案例了，你会感觉这个服超级灵活啊，不管你前一集是什么样的上手，后期是什么样的。都可以进行配置啊，改几行代码就OK。啊，执行配置文件开启监控，那你说开启监控这个。啊，文件夹这里面有任何的数据变化，立刻。那这边呢，是上传文件，往这里面就添加文件啊就是。店就行了。这个踏踏踏。好，那最终呢，是把这个数据呢，上传到A上，然后进行一个查看。第五个，查看这个目录下，目录上传的文件是否已经标记为。啊，这个啊，他不光把你这个文件读走，这里面的文件读走，还给你标记什么呢？读走的文件标记为。

啊，当然标记为什么啊，这是我们后面可设的。是在这个配置文件里面配置的。然后呢，像这种点T后缀结尾的文件不上传。比如说你可以写个正则匹配啊。什么样的文件能上传，什么样的文件不能上传？都是可以进行一个设置，这就符合我们的要求了啊呃，我跟你说一个在企业真实开发的场景是什么样的场景呢。这个这个步骤。它就是日志生成的目录对吧，但是这个目录呢，它是什么样的呢？按小时或者按分钟按时间去设置的，比如说一小时一个文件夹。是吧，啊，第一个小时一个文件夹，这是第二小时一个文件夹。这是第三个小时文件。那这边就可以读，按小时来读，比如说读第一个小时读完了，它就会将它标记为。啊，然后读第二个标记为complete，标记第三个complete。

那一目了然，哪一个上好了，哪一个没上门。