12_尚硅谷_Flume_实时读取目录文件到HDFS案例实现.avi原创

好，下面呢，我们来实操一下。啊，也是具体实践步骤。首先呢是创建一个文件，比如说DR as和比如说source呢是目录啊，这呢是。HTS。然后这么一个靠啊。Touch v，那具体下面是这个过程。好，那我们来创建一下。账户里面去。大一个。杠。你是是。点目的地呢，是。DS com。V点。那至于这里面写什么啊，我们来看。还是战略笔记？这比记下来呢，也就这段代码。上面这个，你这个什么性格。是吧？呃，这个D。

大的。这里面有两个啊，上面那个叫get，也是用户查询的一个手册，下面呢叫develop get开发的手册啊，像我们后面这个自定义。那这个就是用到的是开发啊，像我们前面用的压力呢，都是U。使用城市。在。这是啊。就相当于是这种是吧。行，那这里面呢，就是监控一个目录啊，去读取这个目录下面的所有的文件。

这种配置这里面有N多配置信息啊，并不代表你所有的都要求你去配置，你看这里面配置它的一个类型，配置了你要监控的哪一个目录对吧？然后这是文件的头是否添加啊。好，那么回过头来还是看我们这个笔记。上面这些代码呢，跟这个是一模一样的。这么多啊，你不要看的多，其实这里面整体来说，你说分几块记得吗。首先是第一组件算一块对吧，然后之后是S啊这对吧啊然后呢啊，最后一块拼接对吧，都是这套路吧，啊都是这套路哈，没有其他的。那我来看吧，第一块。主件这块，那就是这个agent这个名字需要起一下啊，这个还写还是你是一起的，起什么都行啊，包括后面这个south的名字的名字，China的名字也是允许的啊，取哪都行，只不过呢，为了这个，呃，连续性那就都是三了。

因为这A是三嘛。那下来呢，我们来看一下这个上这一块啊，上这一块。那上这块我们这个上课类型。DR。啊，也说监控的是目录啊，流式的这种像水石一样的目录。那你要监控到目录，肯定要指定的是到底哪一个目录啊。OBD model。那后面这有一个file是什么后缀是吧。你说定义文件上传完的后缀标记为什么？就是说号码那要标记成这。当然你可以表成其他的啊，根据你的爱好，但是这个是比较有含义的。表示完成了，那再往下呢，是这个。

也是传递过程中，这个文件头有没有。那这呢，如果是有，那就。之处。这个是往往用在什么呢？呃，这个文件头要有啊。用在这个拦截器。后面我们在做项目中有个拦截器。啊，因为这个拦截器的拦截的类型往往都存在这个。那后面再说啊好，那再往下这有一个ignore。啥意思？忽略对吧，哎，忽略忽略呢，你看后面这个是一个正则表达。啊。能表达式，其实呢，我给你简单翻译一下啊，其实就是前面是任意字符开头都行，新法表示任意，那这个是相当于正能表达式的开始啊。这里都行，然后呢，这个斜杠后面加一个点。Time。啊也说转呢，必须是点结尾。这个意思，前面是任意，后面是点。

那这种呢，就全部都忽略掉，忽略掉的含义就是。不上传不处理。对吧，啊，就这忽略所有。它结尾的文件上传。这意思啊啊。再往下。那再往下呢，就到了这个这个阶段的一个这。那谁我们对应的是。包括这个路径，其实跟我们上一个案例的这个配置完全一样。啊，所有的下面这配置全一样啊，又来了一遍。你就发现这些代码都是冲乎可用。你像那个up啊，文件的前缀啊，这个是是否按时间进行一个滚动，这是是否用本地时间啊。批处理的，呃个数啊，100个批处理啊，这个是是否支持。压缩的一个设置，包括这边呢，是。六十十分钟对吧，啊，这是128兆生成一个新的文件。啊，等等这些。

包括这个覆盖数。其实跟上一个A的。性是一模一样的啊。当然这些你可以简化处理啊，并不要求你所有的都需要配。只需要配置些相关的就行。那这个这个没准完之后下面到了这个。你发现几乎我们所有的传书都一样。啊，全是一样的啊，然后这个1000这个是十。那有没有想过，如果说我们这个数据量特别特别大。处理不过来的时候。怎么办？调哪个参数？哎，我们就要调整这个。容量对吧，哎，加大它的容量啊。那加大流量的前提就是你这个服务器啊。得内存得够用对吧？啊得够用可以增大，往往在企业开发中这块增加到多大呢？最大的加到十几。也就是说二级最大一级那个汇总聚合的前面是不是吗？聚合那啊。

根据数据量的话。往往都加到10G左右。看你到底多大啊，这个我说的实际呢，是每天产生的数据是两个T。每天两个G。行，那我们再往下看啊，再往下看。再呢，就是最终。就是最后一块拼接啊，将这个R3 C3 K3进行一个组合，那个是R3的数据到C3 C3的数据到K3。就完事。所以说看的代码很多，其实呢，你一翻译过来啊，根本就没啥。OK，而且这些代码你不需要你去记，只要你要求你去理解，会查手册就OK啊，你要想把这个全都记住，我还告诉你，还真不行啊，为什么呢？呃，现在的弗洛姆1.6版本的配置，1.7版本的配置，1.8版本的配置。不一样啊。

不一样，所以你记住也没有用啊，这没有用，但是呢，你这个学习方法你必须得会。啊，你要不会这个方法那就完了。啊，他真不一样，这个要注意啊，包括上一次那个呃，企业的老师来啊，来讲课啊，他们用的就是呃。当时是1.6。咱们讲课用的1.7。那就完全配置就不一样，就跑不了啊，就改这个就改了将近两小时。所以说这个你要死记硬背还真没用啊。行，那这个我们拿过来。搞定啊。这是前期这准备了，搞定了，搞定之后下面呢，我们要开始模拟测试了，看一下。是不是需要这么一个目录啊，而且需要往这个目录里面加文件吗？嗯，然后最终这面是ADS。那我们先看一下这个，我们继续有没有起来。

GS机器是在的，那你说HS端是OK的，那你进一步确认的话，你可以打开。OK。那现在这边呢，是。目前就一个他啊。最终我们把数据上传到哪。HD什么路径啊？是个的up的啊，得有个这么的吧，OK哈。那我们要在这个这里面建一个。在这make d啊。CD阿尔法。进来之后我往里面创建啊，上去一个爱的硅谷点。没问题吧，这个文件。

这是上传了一个啊，这是一个啊，我还没有开启监控啊，哎，我要开启下监控啊。NBD。Agent。杠杠杠杠杠杠，那A。A3对啊，一定要记住了啊A3，然后是A3在兆下面啊DS对吧。还有一个杠杠炮火。杠杠。赶快，是这样吗？嗯，OK，那我们开始。系统监控了吗？然后来到这里面。

已经完事了是吧，啊的已经上传成功了，那再来一个touch。艾特微博点看。能不能成功？是不是没有提示上传成功啊，啊，为什么。过滤掉了不让你上传对吧？啊，那我再来一个它一个at。第二。T。就这么快。500毫秒扫一次。好，那我们看一下最终的目的地有没有。刷新。对吧，嗯。2018年9月8号啊，14点也是下午两点，对吧，是不是这个文件呢。那这文件多长时间再往下走一个。60，呃，是十分钟对吧，我说600吗？是十分钟啊。

好，那这呢，就是这个案例。比较简单吧。