00:00
好,下面的话我们来看一下啊,这个在使用之前呢,你还是要熟悉一下它的组成,比如说它的south,它的它的S到底包含哪些,比如在企业开发的时候,我们怎么选怎么用。那首先看一下啊的这个主件首先是。S的话,本次呢,我们会选择什么呢?会选择S。啊,咱班这个上课讲了吗?讲基础的时候讲过吗?来讲过的同学给我个一没讲同学。Tell之前讲过吗?啊,讲过讲过就好说了啊,OK,没问题。嗯,感谢各位老铁啊,那这个t DR source呢,它相比于这个eec和这个sping这个啊directory source,比如说文件夹的source,还有这个ECC这种命令的这种方式啊,会有一定的优势,它具体会有哪些优势呢?来看一下,支持。
01:04
也就是说它这个挂了之后,我可以从上一次读取的位置继续再往下读,这功能呢,是非常非常重要的啊,否则的话,你这个呃,读一个文件对吧,读到一半,读到一半的时候挂了,挂了之后你下次再重启的时候,你再要从头开始往上读。那受不了,那就会产生大量的这个重复文件啊,不是我们想要的,我们希望的是从从这啊上这个位置再往下继续读。OK。那么一点这个1.6以前呢,啊,需要自己自己去定义这个source,记录每次读取的位置时现段。呃,什么含义呢?现在这个浮动1.7及以上,它是支持断奶吸传的,但是1.6之前它没有。没有这个断点续传这个t DR source,那怎么办呢?往往企业里面是自己去自定义这个。S实现断点,其实这个断很很简单呢,断点吸的原理不就是你从从零这到100对吧,100我读到50的时候挂了。
02:02
那我下次的时候希望呢,从50往后读,那就是你每次读文件的时候,你需要把这个读的文件这个位置持久化,到磁盘呢,就是发文件里面呗。那就可以了,你只要持有画到这里面就行了,那这个跟谁类似啊,不就跟你那个卡夫卡奥不类似吗?Kaf。卡的ET不就维护到这个,你可以维护到MY,也可以维护到主keepper,它可以维护到这个red my,呃,这个其他地方都可以。啊是一样道理啊,就是维护这个off你读到哪了。啊,你读文之前,你先读一下这里面哦,读到上次读到这个位置,那我从下一个开始往后读。啊,就这样一个功能哈,其实自己自定义呢,也是没有任何问题的啊,网上一堆代码哈。来看一下eec s呢,它可以实时收集数据。但是在不运行或者命令出错的时候。数据将会丢失,因为它是采用这种执行命令的这种方式,一旦挂掉之后,那你后面就就得就得重启的,那但是在这个过程当中产生的数据,它就基本就丢了。
03:03
说你这个这个正在读这个读这个文件对吧?啊读文件读文件呢,突然间这个挂了,挂了之后,你后面这些文件它就再读不了了啊,或者是新产生的文件就读不到了。啊,这个时间它就没有监控,另一个呢,是这个Ling d source啊监控目录它呢,不支持断奶续传,也是一旦挂掉呢,他要从头开始读。从你这个目录里面从头开始读,会产生大量的重复文件,不想要啊不想要,呃下面呢,还有一个这个经验值就是败size啊,每批次拉取多少,你说你这个扫帚去读的时候,那那一次读几个呀。你是来一条我就读一条,还是来这个一条我读一条呢。啊,这都不是啊,这个呢,正常情况下呢,是这样啊,一般它的默认值呢,是这个每批次呢拉取是100个event。啊,每批拉100个一本。那么这个一变它的一条呢,大概呢,正常咱们之前是1K左右对吧?啊,如果是1K左右的时候呢,在生产环境下,我们可以把这个100啊啊,适当的一个调大,调到500~1000。
04:09
啊,这样的一个值哈,其实呢,就是增大这个助母拉取的这个速度。啊,不知道这个大家是否理解哈,你想原来呢,你这是读啊这这这就这样的文件吧,这文件来一条来一条往上追加追加,那我是来一条就读一条还是怎么样呢。哎,我可以攒一批次啊,一批次拉取,一批次拉取啊这样一个过程,呃,下面呢,还有一个呢,是这个China啊China的话,本次呢,你们上课之前学过有fair channel,有memory channel,那本次课呢,我们选择的是一个叫卡法channel的。啊,卡瓦传统,为什么选择这个卡瓦传统呢?看一下这张图哈,这张图我们选择了卡瓦传统,要是卡瓦传统的话,这个数据啊,直接会写入到这个卡卡里面去。他这个中间这块少一个S,就省去了这个S阶段。
05:02
啊,如果你不采用这个卡法传的话,以前是怎么做的呢?以前这块呢,你是需要这块加一个memory channel或者fair channel,然后这块呢,需要加一个卡法。可以实现对应的功能,对吧,也能实现这个功能,但是呢,它这个性能呢,明显弱于这个卡卡头的性能。可想而知啊,因为你在传输的过程当中,中间省去了一个信。那效率就高很多。哎,所以说在企业当中呢啊,最近会用这个卡马传统,但是以前为什么这个卡瓦传统没火呢。这里面有个故事,你你要知道哈,有个故事要知道啊,注意哈,这个卡瓦能在1.7之前并没有人使用啊,甚至说很少有人使用,因为它有问题。它有什么问题呢?它里面提供了一个参数,叫这个price as这么一个参数,参数干嘛的呢。这个参数是控制这个。如果这个数你设置为,或者你不设置啊,就以前会现一个什么情况况描述一。
06:09
他给你传的每一条数据,它前面都是加上一个呃,Topic啊,Event,然后后面拼上你的日志数据。拼接上这是数据,那你产生的效果呢,就是这个,比如说我们这个是start。然后后面它紧接着就是你那个像这个服务器时件,然后竖线啊,这个这个这没有啊,这就是日日数据,然后另一个呢,是这个。然后咱们那个格式是服务器时间中线日志数据还记得吧,啊是这样的一个格式,那这样格式呢,每条数据它都会加上前面这个topic格,每条数据都能加上topic格。
07:06
那这样的后果是什么呢?你在下一级处理的时候,你就需要把它去掉。把这些东西去掉,因为它对我来说没有用啊,我只需要用这个日志信息就行了。只要用用这个日志信息就行,但是呢,莫名的给我加上它。但是呢,他在设计代码的时候啊,他设计了说这东西呢,你可加可不加。也就说你需要的话,那你就加一个处,不需要加个false,但是很遗憾,在1.7之前呢,你用这个功能,你无论设置true还是false,它都有这个数据。哎,所以说这个就是啊,有一些公司在考虑想用这个蛤蟆头,但是后来呢,把它放弃掉了啊,是这么一个背景哈,这个背景要知道啊,如果在面试的时候提到这个事的时候,你给他一讲娜绝对是一个加分项啊,说能证明你在三年前干过对不对。像这块呢,是这个啊,生产经验值非常重要啊,非常重要啊,你们总说这个这个我老师,我这个怎么可能干过三年呢,333年开发呢啊不是你在企业里面待了三年,你就有三年经验啊,跟这个是一点关系都没有啊,你这待了三年,也许你一点经验都没有啊,你只有这个,呃,是你具备了这个三年开发经验,开发三年这个开发经验,工程师具备的这个技能,你才能说你具备了这个三年经验哈。
08:22
嗯。你包括这个最近嗯,有来有学了这个五年,做了五年Java的程序员,又来咱这儿这个学习,那按理说他有五年这个Java Java经验,他找工作应该不愁任何问题啊,对吧,但是现在他面临的问题就是找工作困难,做了五年Java找工作困难。因为他说了,他这这这五年当中有两年基本上就是这个闲置了啊,基本上就是就是待着了啊,就是在那个属于这个济南嘛啊,济南这种二二线城市啊,二线城市啊,天天就是去公司上班啊,就是一个走走走过场啊,什么也不用干。啊,非常爽,有问题的话就是找这个呃,找外面的团队帮他们解决技术问题啊,自己天天就在办公室待着啊,待废了哈,现在呢,突然觉得这个呃公司没啥意思,挣的薪资待遇少,想出去看一看啊,发现自己什么也不会啊。
09:14
好,那这是这块啊,说的有点多。
我来说两句