00:00
好,来打开一个空白屏幕啊,来我们看看咱们现在要对比的几种方案分别是啥啊,呃,我们目前要实现的工作这个呃,这个目标很明确啊,就是要将呃,我们这个日志服务器上的日志文件先传到卡夫卡,再传到HTFS对吧?这是我们现在要实现的功能啊,那实现这个功能咱们方案其实多种多样啊,多种多样,那第一种方案呢,咱们就先说我们文档上这个方案啊,前面来一个flu啊,这个flu我们采用什么东西啊,采用t source采集文件啊,然后呢,使用卡夫卡channel,把数据呢写到我们卡夫卡集群当中对不对?那后边呢,我们再来一个使用卡夫卡S啊,然后呢,使用HDFSS中间来一个channel。啊,用memory用fair都行啊,这咱们文档当中方案对吧?那接下来咱们再来说一个刚才自己想到的方案,刚才咱们自己想要一个什么,就只用一个什么东西,只用一个flu啊,只用一个flu,那这个flu呢,它会干什么呀?哎,它会采用啊这个比如说tail d s啊,然后采集文件,然后采用什么,采用卡夫卡。
01:11
啊,卡夫卡,然后呢。然后再来一个啥,再来一个h I think对不对?那你说这个数据它的走向应该是什么样的,比如说这个是卡夫卡集群,那走向应该是啥样的走向太要S是不是采集数据,那往卡夫卡channel里写,你往卡夫卡channel里写,实际上是在网上写,往卡法集群写对吧?然后后边呢,你这是不是有HDS性,需要从channel里读,然后写到HTFS对不对?你虽说是从卡夫卡channel,但实际上从哪读的?从卡布卡集群里边读的吧,对不对,你是不是还得读回来对吧,然后呢,再通过这个HF think呢,再把数据写到远程的hfs集群上,对吧?啊,这是咱们第二种方案,那其实还有没有其他方案呢?还有啊还有还有当然还有就跟第一种比较像啊,第一种什么样的啊,来一个卡夫卡泰S卡夫卡泰那数据呢,写的卡夫卡这个集群,那还是写在上面的,哎,这是我们卡卡集群对吧,那还是这样的,那后边这个怎么整。
02:08
哎,再来一个卡夫卡channel,再来一个HDFS进卡对不对,那数据呢,从这读过来,然后呢,再从这写出去,这是不是咱们可以有这样多种方案啊,哎,都能实现我们想的效果啊,那当然这里边实际上我们用哪两种是哪种是最好的呀,其实。啊,其实下面这种就挺好啊,下面这种就比较好啊,这种比较合适,比较精,比较简洁啊对不对,我就直接怎么样,就是哎,卡夫卡里写一次,从卡夫卡里读一次完事了啊其实这种是比较合适的,但上边这个呢,其实也行,上边也行啊哎,中间这个其实是不可取的啊,主要是为什么中间这个不可取,咱们来分析分析为什么你嗯,可能大家会感觉啊,我中间这个应该是配置起来是最简单的吧,我只要一个辅助就行了,你别的得起好几个辅助木,对吧,但其实中间这个并不好啊,怎么不好,咱们来看一下啊,中间这个辅呢,它实际上它压力会比较大。
03:01
啊,首先啊,大家得知道这个咱们得部署到哪儿。得部署到日志服务器上对吧,对不对,那日志服务器首先我需要干什么,我需要接收咱们客户端买点发过来的数据,对吧?啊,那首先也就是说你所有的数据需要先怎么先通过客户端往这台服务器上边先写一次,对吧?啊然后呢。然后干什么?然后我tell第四,哎,我需要采集文件,然后呢,需要把数据往卡卡发送一次,对吧,那就是我需要把数据呢再往外写一次啊,这个需要经过网络传输吧,对吧,又是远程的开发集群吧,然后呢,还怎么办?我h hi think从China拿出还得再读一回,也就数据呢,还得再写回来一次啊,那然后呢,再通过h his性格再写出去,是不是又写出去一次啊对不对,相当于数据在我这个节点里边,相当于是什么呀。虽然没有七进七出啊,但是两进两出对不对不对,那进来两次,出来两次,嗯,那实际上这对这个节点啊,我这个呃,压力相对是就比较大了啊,现在比较大了啊,这一台节点我写进来两次,我得写出去两次啊,那这很很显然是不太好的啊,不太好的,那所以说我们最终就不能采取这种方案啊,那咱们怎么办啊,把这个读写任务给它,给它分开对吧?啊分开那比如说用第一种方案,呃,那相当于什么啊,我数据啊怎么办?我从咱们那个客户端就是买点往这台节点里边发一次对吧?发一次之后呢,然后我通过卡夫卡拆往外写一次,是是不是就完事了啊,那后边我这台节点呢,这个辅助我们呢,相当于从卡夫卡里读一次,然后呢,再往h hiy,写一次是不是就是两台节点分别每人只读只写一次啊对,相当于把这个呃任务呢,相当给它给它分开了啊,这个负载均衡一点啊,不让某一台节点压力过大,那同理咱们下面这台节点下面这种方案呢。
04:54
也是一样的啊,数据我写进一次往外,呃,往外这个发一次,然后呢,再读进来,这个呢,再往外写一次,是这样的啊,然后最后一种方案跟第一种方案都行啊,这两种方案都可以啊,那咱们文档上呢,采用的是上面这种方案啊啊把这几种方案给大家对比一下,大家得知道我们为什么选了它而没有选中间这个啊,中间这个看着简单的,其实很麻烦,这个不太好啊,很不好啊,行,那我把视频录一下。
我来说两句