19_尚硅谷_Flume高级_拓扑结构

好，那接下来我们要聊的是它的一个拓结构。拓扑结构，拓扑知道什么意思？只考虑只考虑关系，你们之前讲那个什么机价感知的时候，是不是讲过网络托付对吧，投入结构就是。多个东西在一块连的一个关系图吧，啊就讲的这个事都没结构，OK，那我们看一下第一个。叫简单串联。这种呢，直接用的相对来说比较少，但是呢，它它这个东西啊，是我们其他托普结构的一个。前。啊，因为你能实现这种简单的一个什么连接，所以你才能形成很多复杂的一个结构，啊，很高复杂结构，那这块呢，就是我们之前提到的一个什么。阿罗。这个和。

阿波罗S进行了一个对接啊，那这样呢，就能将我们两个给它连在一块儿，而且这两个可以是同一台机器的两个，当然注意我这块说的。你要知道一下它应该指的是谁啊。A着呢，不是说你在本地非得装两个搞两个的文件，然后在里边不用你写两个A着呢。就是两个符的任务能听懂啊，你可以这个两个串联的A1A连的二，可以在同一台机器也可以干什么。跨机器。跨机器，因为生产环当中是这样的，我们之前所讲过，生产环境当中呢，它是将数据写在后台的日志里的，对吧。那你想想看这个葫芦。哦，我们之前提过一个点，就是后台服务器跟大数据集群不在一块儿。这个数据呢，落在这儿，落在这个地方，那你告诉我这个装在哪。

我装在这能读人家。磁盘里面的文件吗？我在A机器说读B机器磁盘里面的文件直接能读吗？这个读不了，这个读不了你得通过什么。端口网络通信给他看是吧。传过来能听懂啊传过来，那这个时候呢，假如说你想做两层这层呢，你还要把附中也在这边也有一个，那你就要用到什么。这个内容给它串到一块，因为你从最原始的读文件的这个数据一定这个A类的放在哪呢。放在后台这边的能听懂。一定是放在后台这边的，因为你跨机器不可能说读到人家磁盘里边的内容，你只能说把人家数据读出来之后，写到某一个端口，然后干什么。读过来能听懂啊，写到某一个端口这个是OK的啊，写到端口里边读这个数据，这个是没问题的，但是你说直接的说把人家磁盘远程的把人家磁盘数据直接读过来，不好意思，监控不了，那你想想看，你假如说做监控，呃，他要DRAC都可以读文件吗。

那你告诉我这个文件地址怎么写呢？能写人家机器的地址吗？写不了啊啊写不了，所以呢，你只能放在其他的一个机械，所以呢，这个时候呢，要用到串联，你来做这个事啊，串联的事情来做这个事，而且呢，直接这样用啊，其实比较少，它是我们其他的一个前提来看一下，第二个叫复制和多路复用。那你看这个地方。HDFXGX你不用管它是什么东西啊，它肯定是区别于HDFS吧，假如说这个东西呢，是那个logo。可以吧，假如说这个数据，我采集的数据就一个日志，我想将这个数据发到SDF1份，同时也发到什么控制台一份，甚至我还有其他的，我再发一份。

是不是想做这个事对吧，那这个时候你是不是要用China选择器里面的。哪种？Replicating这种吗？是不是副本的这种啊，那来完成这个功能嘛，啊，因为你采集了一份数据，你想发给三个不同的人，那你是不是要用副本机制啊，对吧？啊就是副本机制，这个就是我们说的复制多了复用啊，这个是可以的，好接下来是我们所提到这个什么。负载均衡或者是故障转移，那你看这个时候用到了什么。一个China多个S，这个不是think组的应用吗？对吧，Think组，那如果你think组配的是load balance，哎，如果你配的是balance，那就是什么带均衡，如果你配的是over呢。那就是故障转移对吧？啊，你要注意一下负载均衡跟故障转移啊，这个呢，因为是这样的啊。

这一个China处理数据，当然有同学在在想，哎，你这个最后都写的ids，那我直接这样这写一个IDC呢，直接对对过来不好了吗。那你单个的这个性压力就什么。就很大。对吧，那我可以干什么事呢？我用三个信用轮许的一个方式，轮许的方式，哎，给他干什么。发到三个不同的A段的里边，让三个不同的A段的去写什么写数据，那你当前这块的一个C的压力是不是变小对吧？啊，这个压力就变小了，因为HDF这个东西吞吐量还是比较大的啊，吞能量比较大的是这意思，同时还有一个点就在于，还有一个好处在于哪呢？假如说啊，假如说你这个HD这边写入的速率比较低啊，由于写入的速度比较低，是不是这个China是不是会缓存很多的数据啊。对吧，好，那有同学想了，你这个NDFD，你一个人写D，我三个人写，难道就不低了吗？同样还是低，但是它有个什么好处，它可以缓存。

更多一点嘛，啊，用三个人来做这个缓存就做这个事的，所以呢，负载均衡主要的就是解决，那你想想看，负载均衡他本来是做什么事的吗。解决单台机器或者单个进程的一个压力过大的问题吧，啊把压力分摊下去就做这个事儿了，啊做这个事儿了，同样的还可以故障转移吧，啊可以故障转移，那假如说这一个东西呢，你觉得他不放心。对吧，那我就三个同样的任务吧，假如说我先优先的往里放，假如你挂掉了，我发给他吧，哎，由你来写，那假如说你还挂掉我干什么，还给你啊，还给你，你就在这个工作过程当中，是不是可以把其他两个再提起来啊，对吧？啊做故障转移这个也可以的，但是其实生产环境当中更多的还是用的是这个负载均衡。啊，因为故障转移这个事情啊，我们所讲的是他挂掉了对吧，假如说他挂掉了呢，你转移给谁啊，转移不了吧？啊我们之前就说过这个东西呢，存在什么单点故障的问题啊，单点故障的问题，因为你这个正好第二层才做这个事，但是最原始的数据呢，你说两个人去读。

不好意思，这个做不了，两个人读一个文件可以，读一个文件可以，但是读出来数据两个人是什么？备份关系啊，备份关系完全一样的，不是说哎，你工作的时候我不工作，你工作时候我不工作，他他做不到这个事能听懂。啊，是这样的一个东西，这是我们所说的负载均衡和故障转移这种，那接下来还有一个叫聚合。聚合这个东西呢，用的也是比较多的啊，用的也是比较多的，能看出来这个在做什么事的。多个源头，而且这个源头应该是一样的数据吧，要不然你你汇总没有意义了是不是啊，你汇总，然后最后这个数据呢，都要写到SDF，当然你可以这样。

你写你写，你写。但是你要知道后台整个的一个服务器，成百上千台，同时上千个人去操作这个HDFS，还有你用某一个人去操作。对于HD来说，这边压力就不一样吧啊，因为HDFS整个的可开启的一个用户数也是有限的啊，你除非把那个参数给它调了啊，给它改高，那这个呢，就是生产环境当中，主要就是体现我之前就提过一个点，现在的后台服务器不可能是什么。单台的了，他一定有很多台。啊，很多台，那每一个呢，都是我们有的数据吧，啊，每一个都有我们的数据，而且这个数据不是说副本关系啊。不是副本关系一个有一个东西叫N，大家听过吗。

是这样的，我们后台是有很多台服务器处理同一个业务，同一套业务，但是任何一台都不可能说同时处理什么，那么多用户的一个请求吧，那这个时候就要用到什么负载均衡，那你处理的业务，你们假如说十个十个处理业务一样，那用户请求来了，到底谁来处理呢？对吧，前面有一个什么软件层的负载均衡有一个NX，由N轮询的。A用户来了一个请求发给你，好，B用户来了发给你，再发给你，允许到来发送啊，允许的发送，也就是说这个每一台服务器上都会路盘有自己的什么。日志文件，而且日志文件大家都是什么不一样的，那你要对用户行为日志进行分析的时候，你是不是要把这个所有的数据都给他干什么，都给他汇总过来啊，对吧，而且公司当中成百上千个你当然我们之前说过一个点，就是你可以把这个什么。

啊，1000多个同时自己去操作，还是给FS这个是可以的，但是更多的时候我们该干什么。做一下什么。聚合啊，做一下聚合啊好，同时做聚合的时候发现这么多数据写给他一个人。压力太大了吧，所以你可以结合着上面的那个地方来用，也就是说将来在生产环境当中，架构可能是这个样子的。前面呢，假如说有100台。啊，假如说这个100台第二层我们是不是要汇聚吗？汇总也不汇总到一台，我可以汇总到什么。三台或者四台啊，汇总到四台上面去写，那一方面是不是减少了第二层这边一台的压力，因为一台的话压力太大了，第二方面是不是降低了操作HDF那个什么。个数版，哎，操作的一个个数，因为你直接假如说成千上百啊，这么多台一个机器直接操作还是D好，还是用四个操作还是DF好。

四个吧啊用一个当然更好，但是一个加力就过的对吧？啊可以配置成这这样的一个形式，后台呢，你有多少台服务器，有多少个A的。啊，第二层呢，通过负载均衡的一个方式发送到什么多台机器上面啊，多台机器上面去做相应的一个汇总啊，做相应的一个汇总是这个意思啊，当然了，你每一个前提条件就是说他能够去汇总这个数据吗。啊，能够去汇总这个数据啊，它作为一个前提啊，同样的这是一种汇总，还有另外一种。另外一种是什么意思啊，是这样，这一块我们是不是看到用一个S去做这个事，对吧，也就是说这个阿布罗S阿布罗S阿布罗think，他发网的呢，是假如说统一了，你都往44端口发，你也往44端口发。对吧，这是一个点，另外的一种汇总方式是这样的来。

这个我现在要汇总他们三个人，他呢是往44端口发，我是往五五端口发，我是往什么。666。这个也能给它汇总起来，那第二层呢，假如说我们汇总到一个A站子里边，第二层应该怎么写。是不是应该有三个source，三个source对应的什么，一个China，一个，然后写到SDF，这种方式也是可以的一种。啊，能听懂啊，这个呢，你可以发到不同的端口啊，发到不同的端口啊，这边呢，有三个哨子来接收。啊，三个so索，因为我们之前在写配置文件的时候，发现整个配置里边是不是可以写SS配多个圆啊，啊配以多个圆，你只要把这个多个圆都跟这一个拆到黄金了，它就是一个什么。聚合就是一个什么汇总能听懂啊，这是我们所说的整个的一个拓扑结构啊，拓扑结构那后面呢，我们就会有一些企业当中经常用的，就是同时也用到这里边拓扑结构的一些案例啊，一些案例啊。