00:00
呃,这是咱们昨天写好的那个配软件啊,看这里边有有没有这个什么问题啊。命名啊,给SS这个,呃,配置这个属性,让大家要注意的是就是这块啊。这个全列名啊,这个一定得跟自己写的代码保持一致,对吧?啊一定得保持一致啊,再往下走加入这样这个拆咱们这个配完了,那配配的时候呢,咱们这个参数啊,可能大家是比较陌生的,这个参数大家还记得是什么作用吗?啊,这是卡卡channel的一个参数对吧?啊,那卡夫卡channel咱们使用的时候呢,呃,有这样的两两种场景,三种场景啊一种是什么,有source有think啊,有south没没think啊,有think没S啊这样的几种方式啊,那咱们现在回顾一下啊,那我现在如果说啊,我是有从south往卡夫卡China里边写数据对不对,那这个参数它的作用就是什么呀。就是什么意思啊,如就是说是否保留疑问的结构对吧?啊,如果说设成处,那这边的这个现象应该是什么样的,它底层应是怎么做的呢?它是怎么做的啊?一个flu的疑问有两部分组成,Hier和body地对不对?如果说设成处。
01:12
那我跑到卡夫卡里边是不是得封装成一个record对象啊,对不对啊,那个producer record,那producer record啊,里边就会包含什么,会包含header和body,如果设成false,那是不是这个record里边只包含body,对不对,这是从这边这个角度去说啊,那假如说我从另一个角度啊,咱们think去卡普卡channel里边拿数据对不对,那是不是也有这个参数啊,对不对,那这个参数这时候就就怎么去理解呢?就是是否按照这个普event的结构去解析,对吧?啊OK,假如说这个射政处啊,那射程处这这个后边会怎么做呢?嗯,你数据到think之后,是不是肯定是疑问的结构啊,对不对,那是怎么来的?哎,他会把卡夫卡当中的这个body,呃,就是卡夫卡当中这个record啊,Record是不是?呃会会按照这个疑问的结构去解析啊,它会把它解析成hier,哎,解析成body。
02:09
啊是这样的,那如果说是找boss呢。如果是后边咱们设成false呢,就是不按照这个的疑问结构去解析,对吧,那言外之意是怎么做呀,是不是直接把整个record放在哪。全部放到包子里对吧?啊,这是后边读的时候啊,它是这么去做的,所以这个参数呢,咱们得从两个角度去看啊,就是往卡夫卡里写是什么意思,从卡夫卡里读它又是什么意思啊,咱得搞清楚啊,搞清楚行了,呃,那可能这么说呢,大家可能还是呃不好理解,那咱们现在举一个小例子啊,那假如说我现在啊,咱们这么去做啊,我举个例子啊,比如说这儿是卡普卡集群啊,然后咱们前边现在啊,注意我前边我现在呢,是有一个这个呃,South,然后加一个卡卡channel。啊,然后我后边呢,来来一个flu,这个flu后边也是什么呢,也是卡卡,然后呢,加一个think,加一个think,这个大家能理解吧,那假如说我现在啊,这震听我在前面这个flu的S里边,比如说我加了一个拦截器,这个拦截器干什么呢?拦截器就在咱们这个event当中加了一个header,加了一个K一个V。
03:17
啊一可以个位啊,那我现在呢,想实现一个这样的功能啊,就是到了咱们这个SK这边。啊,我还想保留到保留到这个KV,那你说咱们这个那个两个参数应该怎么设置啊,就是在这边这个卡不卡拆头是不是有一个那个pass as event呀,那这边是不是还有一个pass as event呀,对不对,那说这两边应该怎么设置啊。这边应该设成啥。摄入处对吧,这肯定得保留,你这要是不保留,后边肯定没有对不对,这个摄入处,那后边这个摄入什么。是不是也是true啊,对不对,因为往里写的时候我保留了hier了,那我解析的时候,我是不是也得把海字解析出来才行啊,对不对,其实就这意思啊,就是前后咱们使用的时候得得得得能灵活运用啊,就这意思好吧,行,那这个参数应该没问题了,让大家写的时候呢,要注意一下啊,前面这个参数是不是都有什么卡不卡点啊,这儿是没有那个卡卡的啊,前面好多班这个同学都会这个,自己自己敲这种参数也自己敲,而敲那个卡不卡啊,结果相当于你这个参数就没配呀。
04:21
对不对,默认值它就是出了啊,就是跟你就会有问题啊,好再再往下走。下面这个绑定它的关系,这个A,咱们这是没有C啊,没有CL,最后一行可以去掉了吧,诶行,那现在我们相当于这个配置文件又回顾了一下啊好,那ctrl a ctrl c把配置文件呢,我们放到呃的这个,这个放咱们集群里边啊现咱们呃,因为是102103都要部署,对吧,我们现在102测试测完之后呢,咱们再给它放在103啊,那我们现在CD到这个OPT Mo啊呃,这个配置文件呢,你放到哪其实都可以啊,只要你这个启动的这个用户啊,对这个文件有读的权限就行。
05:03
嗯,这个能理解吧啊,只要有独立权限,你放哪都行,那现在我们给它,呃创建一个文件夹,专门用来存放咱们的这个配置文件,我就美DR叫jobs吧啊,Jobs乔布斯啊,刚才我们进到这个jobs啊,咱起个名字,这个名字也是随便起啊呃,我习惯上起什么呢?我习惯了按照咱们这个souths加think来去命名,当然大家也可以根据这个目的地和这个数据来源去命名,都行啊,那咱们这个south是什么呢?是tell d south对吧?啊,Tell d啊,然后后边呢,我们是kaf KA相当于我们进到这个夫卡了对吧?啊,虽然咱们没有卡夫卡性的,但是咱们也是相当于进了卡夫卡,那这个相当于是til没拼错吧,然后呢,卡不卡啊,然后注意一定得是点com结尾对吧?啊,然后把这个配置文件给它粘过来啊,然后呢,我们呃,这个shift的对对行,那现在我们相当于完成了这个卡夫卡的这个康复,呃,不是卡卡,就是这个配置文件的这个编辑行,那接下来呢,我们需要做另一件。
06:04
什么事啊,需要把咱们的的拦截器的炸包放到哪的label录下,对吧?啊,那接下来我们进到的label啊,那现在把炸包我们上传上来。嗯。啊来,我们现在找到这个左边是不是这个就是咱们那个昨天写的夹板对吧?啊,已经打包好放在桌面上了啊,诶这边还没连上啊。嗯,哎,来,咱们这个双击一下走好已经连上了,呃,已经传上来了啊传来之后呢,咱们检查一下LS-A的这个L,然后呢,我们grab一下gra,咱们叫做什么呀?呃,这个f flu me,这应该会很多吧,啊会很多呀,全是啊这个应该没问题了吧?啊这个应该没问题啊行,那好的,那接下来呢,我们呃去测试一下咱那个到底能不能哎,正常的这个使用啊,那我们现在CD这个der啊,那现在咱们想一想啊,我们这个进程要是启动的话,那它是不是tell drr s会去采集咱们对应的文件呀,就咱那个文件里边现在有没有内容。
07:12
有没有内容?有吧,我们之前不是测试生成往里边已经生成过了嘛,对不对,里边是有东西的,那所以说只要一启动是不是就能够获取到这个数据啊啊,那我现在CD杠回到刚才的这个辅录的根目录来回来再返回这个前面这个路径,那现在我们怎么样才能更呃这个更快的看到效果呢?是不是咱们现在得先启动一个卡卡的消费者啊,然后再启动辅助,那这个卡卡这边是不是就能正常能够显示出来呀,对不对,因为咱们卡卡有什么特点,默认是先消费,呃,这个消从哪开始消费啊,默认从最新啊,那所以说我现在先起卡夫卡对不对,然后再让辅论我往这个卡夫卡的topic里边写,那是不是肯定就能消费出来啊,诶咱们先去卡卡,哎,我们现在要,诶还有一个问题啊,还有什么问题呢?就是咱们那个卡普卡的topic是不是还没有创建出来啊,对不对啊,那这个你自愿啊,咱们在这个自己测试嘛,自己测试啊,你让他自动创建也行,只不过就是自动创建的话,是一个分区,一个副啊,但是咱们在线上的肯定不能自已创建啊,肯定不能让他自己创建,肯定是咱们创建啊,那这个呃,比如说几个分区,几个副本,这是不是都得去算一下的呀,对不对,在咱们这就让它自动创建吧,啊来我们现在进到这个OBD Mo掉啊卡不卡啊,把这卡不卡的这个生消费者脚本记起来啊,卡卡conso。
08:34
啊consumer,然后后边杠杠boot s点啊然so啊还102啊9092,然后杠杠topic,那消费的topic是啥啊,9092什么一会改一下啊,咱们叫做topic log对吧?啊topic log,那现在我们给它指明。啊,应该是9092啊。零二啊,那现在我们先把消费者起来回车。
09:01
好,提下来了,那现在报一个错啊呃,说这个什么错啊,就是说我去,呃没有这个topic对吧,没有这个leader,那现在已经应该这个topic已经创建出来了,对吧?啊好,那接下来我们启动辅路啊,激动人心的时候到了啊BNG啊然后后边呢A,然后呢杠ad啊杠A啊杠杠F啊jobs下边指着咱们看文件对吧?那大家自己做测试的时候啊,最好让让怎么办,最好把日志打在空制台,那这样如果说出现什么错误呢,咱们能够及时的发现啊对吧?哎,咱们当大地啊,然后flu.flu.log等于info啊conso啊,大家知道这个参是它实际上是什么意思吗?这个。这实际上是覆盖了我们的那个log分阶当中的一个配置文件啊,一个属性啊,一会儿去给大家看一下啊,那我们现在直接回车了啊,走你。
10:01
啊,咱们看一下这个,呃,很显然没有报错对吧?啊,没有报错,那右边呢,已经把咱们那个日志一条一条的打印出来了,对吧?啊,那就说明我们现在这个数据就是已经能够诶成功的写到卡卡当中了啊这个是没有问题的啊行,那这个既然已经测通了,那咱们这块就诶给它CTRLC停掉就行了,好,那现在咱们简单说一下这个,呃,辅录这边啊,就是咱们这个这个参数怎么回事?啊,这个参数怎么回事,这个参数呢,实际上大家可以看一下啊,我们CD到哪塞到的com目录去,这里边是不是有一个log分街点purpose啊,这个log分街跟咱们前边自己造日志的时候使用的那个log back啊,他俩是不是应该是同样的东西啊,啊就专门用来诶这个诶打日志的框架啊,那接来咱们简单看一下这个文件啊,咱们是不是在那配了一个什么东西,叫做这个东西叫做。lo.root.log对吧?啊,咱们让它等于的是什么?等于是info ino是什么ino级别对吧?那后边是log file啊,这是什么?这是它,呃,相当于是这个文件的一个什么东西啊。
11:10
啊,就是日白日的一个什么一个aend啊,咱们前面给大家讲过,我们log back当中是不是有一个aend的概念呀,对不对,那在捞分节当中,我们同样是有这个aend的概念的,你看这是log分节的aend,它叫log file啊对不对,Log file呢,肯定就是也它这也是什么rolling fileend,它是怎么是它这应该是按照呃文件大小去滚动的啊,看这个有有大小啊,文件大小去滚,咱们是按照日期啊,那下边同理还有一个什么呀,还有下边的比如说console和喷。对不对,康ER分就是让什么,就是让他把日志打那控制台,那咱们这儿是不是就相当于,呃,它默认是什么呀,默认是把。把什么把这个日志写到文件里啊,那咱们是不是给他把这个属性覆盖成了info conso,让它打印在了这个控制台啊,啊,对不对,实际上是这样的一个作用啊,这个比较简单啊,行了,那现在我们相当于就完成了这个测试的工作了,哎,没有问题啊,我把视频录一下啊。
我来说两句