00:00
好,接下来呢,我们来看一下第二个文档,卡夫卡外部系统的一个集成。那这里面呢,主要集成了企业当中比较主流的几个组件,那比如说呢,像flu Spark flink以及spring在生产环境当中都是大量使用的。那么这些组件都可以作为卡法的生产者,也可以作为卡法的消费者,那这里面呢,咱们全方位一网打尽,那首先呢,我们来看第一个就是集成对应的好。那这里面哎,我在卡巴当中创建一个主题,就是first主题,然后呢,这边来一个的生产者,把数据啊发往到这个主题当中,通过消费者进行一个消费,哎这样来完成生产环境当中啊,哎这种使用场景呢,也是比比皆是。那下面来看一下,我们先来研究一下生产者把数据如何发送到卡法当中,诶。那么。我们有这样一个详细的场景啊,在我们服务器当这个目录下,比如说o BT model APP log里面有一个文件叫APP点啊星,那后面呢,我们是点log啊这么一个文件,然后呢,我们通过flu来实时的监控这个文件里面数据的变化,只要有数据变化我这边就能捕捉到。
01:19
那这个得用什么S呢?哎,得用flu的TDRS。它的特点就是支持断点续传,也同时可以时刻的监控每一个文件的变化,哎,把它数据呢获取到啊好。那这里面由于我们传输的就是普通的日志,没有必要追求太高的可靠性啊,反而呢,我们追求的是效率,所以我们这里面选择的是memory channel。它是完全基于内存的。速度很快,哎,但是呢,很容易断电之后丢数啊,但是丢数呢也不怕啊,其实最多也就丢100个event,那于说100条日志,因为啊它的内存大小最差上限就是100啊。行,那后续呢,这块呢,我们数据啊是发往到卡夫卡当中,所以说哎,我们这个think呢,只能配置卡夫卡think这样的一个配置使用哈,那为了配合这个实验,哎,我们来了一个卡法的消费者,比如说你数据发到这儿之后,怎么能证明有没有发到这儿,那这时候呢,哎,我们开启一个卡法的消费者来读取这个topic类数据,那这样不就OK了吗?好。
02:22
那在准备这个实验之前,我们呢,先做一些准备工作,第一个准备工作就是启动卡卡对应的集群。那这里面呢,我们还是用目前企业当中用的比较主流的就是主K包配合上卡卡进行一个集群搭建啊这种方式啊,虽然说呢,咱们说这个呃,卡2.8以后这个RA模式啊,非常啊去掉了主keepper,但是跋竟呢,它刚推出不久,在生产环节当中需要点时间进行一个迭代,那我们现在呢,还是选择企业当中用的比较主流的啊JK以加卡帕这种方式啊,那把集群呢集中起来。ZK。
03:01
Start。那下面呢,卡不卡集群start。好,整个集群我们就已经启动完毕了,那下面我们来做一件事,启动一个卡法的消费者,比如说相当于啊,我们提前把这个消费者给他准备好。那这个消费者呢,就来消费这个主题啊,这一块好,那我们起一下呗。我们放到104上。c.model卡不卡?B卡不卡?很臭。很凶猛,杠杠。What?Stop。Server hi豆1029092好。尴尬。First,哎,来消费这个first主题,我先把后半截给大家写完了,你说当前这一块这一部分已经写完了,因为这个first主题我们提前是不是已经创建过啊,那这个我就不创建了哈,那下边的话呢,我们就来准备一下这个flu,比如说把它先安装上之后呢,再写里面这个配置文件,好吧,那安装flu。
04:10
那我们首先把这个价包拿过来哈。呃,安装不太会的同学呢,建议大家看一下啊,咱们上硅谷官网的一些视频和对应的资料啊,或者在B站上也都有对应的资料。那我把加班拿过来。在这啊,1.9.0的。好。那下面呢,我们对这个夹包来进行一个解压,T-ZX。VF。阿帕奇。第二。让大CD model走。行,那得到它之后,对这个名称啊,我们修改一下。就叫。进入到福录目录。
05:00
进来之后这里面呢,你看这个B目录,猜测一下是不是都是系统相关的一些脚本啊,哎,那这个Co呢,是配置文件相关内容,那这个live包下呢,哎,是引入的第三方的一些架包,好,那接下来我们先解决一下hi豆跟的一个兼容性问题啊,我们来到这个live包下。猎豹下找谁呢?哎,找这么一个假包。下看。哎,这可以双击打开啊。嗯,找哪一个加包找这个。这里面有个他这个价包啊,啊,它跟hi3.1.3的这个价包版本不一致,那你只能二选一,那这里面我们将这个。哎,把它干掉,干掉之后,我们把hi杜op的环境变量给他声明了,你只要配置了hi doop的环境变量,那这事儿就OK了啊,也就是说那这个姆在找这个夹包找不到的时候,会从这个黄金备量里面补充到对应的这个夹包,好吧,那我们先把它删掉啊。
06:00
来到这里面RF杠,RF,嗯,把它干掉,干掉之后你要检查一下你的嗨多环境变量有没有配置,其实你打一个ha,嗯,你按太宝剑,比如说你啊,你按太宝剑它能够补齐,那就说明没问题哈。啊,你看哎,Hide person就能够输出来对应的内容啊,这也是证明hi度和环境变量已经配置OK了啊,如果没配置OK的话呢,你就这样。速度,VMETC。他说。麦因为进来,那你进来之后你会发现,哎,这里面的嗨度环境变量,其实我们已经配置完毕了哈行,那这个呢,是基本工作,那准备完毕之后,那下面还有一个需要我们配置的。这里面呢,在这个log附件里面啊,它有一个flu的日志,日志的一个存储位置,那这个呢,我们最好给它配置到我们自己安装的这个加包下面,哎,方便我们对日志的一个管理和查看啊。行,那我们来到这个。
07:01
老佛。它是在这个康复目录,在这里面是他。VM老婆见。那打开之后往下找。这里面有个这个它默认是存储外当前目录的这个点log啊,你给他改一下啊,改成绝对路径。拿过来。那这个路径就配置好了。行,那现在这个flu呢,安装我们就已经准备完毕了哈,那下边我们来做什么事儿呢?哎,下边的话我们就开始配置对应的这个。
我来说两句