41_尚硅谷_Kafka案例_Kafka之与Flume对接

太麻烦，自己去录。人家说了他可以，他要他要陪陪宝珠睡觉，他说你别一起来，我害怕好吧，太可怕了，这个啊，然后我们继续啊，这个看一下这个芙蓉对这个卡卡。啊，对接卡不卡，整个的配置是这样子的，但是我们要先聊个点，就是说什么时候就现在为止，那什么时候用卡普卡什么时候用呢。对吧，大家有没有想过这个问题呢。为什么我对呀，那有个问题，为什么要用对接卡卡呢？对吧，高级了，高级不是这样的，电电脑中也不是啊，不是，那不是浪费吗？对吧？啊是有原因的，是有原因的，因为生长环境当中啊。它那个数据啊，采集字日志文件。

对吧，从日志文件里面采集的这个东西，看着我很不舒服，嗯，你们还在下东西是吧？系统重启没，应该是卡了，你看我这个非洲这个都卡成这样了，有一个啊，那就这样吧，就这样啊，我就不管了，呃是这样的，就是那为什么要用对接卡卡这个问题，对吧，现在我们就单独的使用这个卡不卡，你说这两个应用场景能搞清楚。对吧，什么时候用，什么时候卡不卡，单独施工的时候。怎么考虑呢这个问题。对吧，啊是这样的来，嗯，因为生长环境当中啊，更多的是将数据写到日志文件的，那我们它就是一个日志采集框架，对吧？日志采集框架卡不卡写的案例当中，生产者有从日志采集吗？

有从文件系统买搜这些地方吗？还是DFST9吗？就他的source有那么多吗？就是它的一个生产者，那个码是不是代码呀，是代码，也就是说它采集日热文电脑当然可以，因为我们可以在producer里边去写个I，读进来是不是也可以麻烦吗？麻烦们，所以说更多的日志采集到我们会选用，好，那问题来了，你选用from就选用from，你后面对接卡不卡。你from不是可以对接很多地方吗？对吧，你对接到HD from呢也可以，对接Spark也可以啊，虽然代码比卡不卡复杂一点，但是也可以，对吧，总比我在中间加一层卡夫卡要好，你就算复杂，那个代码复杂一点，你还可以对接什么本地文件系统，那为什么要加一个卡夫卡？是这样的，就是我们之前分析的，那如果说我有多个业务线。要用这个数据，你from怎么做？

注意多个业务线用这个数据，你一定不能说A给一号业务线，二给B，好给B业务线吧，不能那样给吧，要怎么给啊，所有的大家都要一样。对不对啊，所有的大家都要一样，那你在做这个事儿的时候，首先内存是不是多个。嗯，对吧，内存多个啊，而且呢，能支持动态添加吗。不能吧，我们之前就提过这个事儿，所以但是卡巴卡他能不能做这个事儿。哎，我多加一个优务线，可以动态参加吧，我刚才写的三个，突然领导过来了，说三个优线不够，我现在加两个能不能加，需要改什么配置吗？不需要把刚才那个三业务线已经跑起来了，我再加两个是不是无所谓啊，我从开始消费对吧，从来消费还有一个，哎，我增加业务线，这个是动态增加了，我增加业务线之后。你的副本数需要增加吗？你以前存两个还是两个了，它不像我们，你增加一个腰线，是不是增加一个China，也就等于整个副本数就扩展了一个了。

是不是这个意思，所以呢，他们两个人各自有各自应用场景，然后把他们俩结合起来，我们就能做到采集日志文件给多个人来使用，能听懂。啊，所以呢，要对接起来用，而而且正好form它也提供了卡不卡相关的一些组件了啊，卡不卡相关的一些组件啊，所以呢，你要搞清楚一个应用场景啊，应用场景OK，那我们按照之前所说的这个时候呢，是不是应该写一个form的什么。配置文件了呀，它是的一个A的对吧的一个A的好，那我们CD还要到job里边。喂，啊，看吧。叫卡夫卡点可以吧，啊叫卡夫卡点康复OK，我们来用，呃，那这个时候呢，我们还是同样的。到这个地方来配一下。

选中我们那个内容。啊，就是我们要用这个东西，要搞清楚为什么要用对吧，叫宝，然后是这个卡夫卡点com这个点开，那我们就做最简单的一个测试。我们用这个，呃，那看。加。什么东西肯定是卡，你跟卡卡对接，你最后一个前面source跟China都不是卡卡，那你只能用卡了吧，啊卡卡，那这个比较简单，前面呢是命名对吧，井号命命名。啊，那A一点这个命名呢，我就拿一下了，直接打开这个什么。官方官方文档对吧？啊的官方文档是用的最多的点看还是用1.7吧，假如说有有变化对吧，1.7，呃，然后搜一下CRLF是不是ne。那开对吧，在这我们拿一下。

把这个拿过来看到C。好这块呢，连声明都给我们带了，对吧，这个是什么？最后的绑定是吧？啊绑定，那我们写一下注释，这个呢是我们要的so。这个是什么办的对吧，这个改一下，我要用那个老的对吧？啊用还是用五个四端走吧，6666，哎，官方文档提供了，还六六是吧。无所谓了，那China对吧。China啊China呢，用的是我们还是用一下谁呀买卖China来拿一下来把这个东西拿过来。C。看到没在这吧，什么百分比啊，这个东西我们都不要了，一万一万，嗯，按照之前的我们应该是一百一千是吧，对吧。

啊，应该是1100，这个是容量，这个是事物容量吧，啊事物容量应该小于它整体的一个容量对吧？啊整体容量OK，那这是China，那最后还有一个SS格这块应该加一个A1.s对吧，S等于一个K1啊这个非常好，好最后应该第一个井号，这个地方叫什么。Think对吧，Think我们拿一下这块呢，我们要用的是卡夫卡think啊卡不卡，卡在这来点一下好，然后呢，拿到我们要的一个相应的一个配置可以吧，把它拿过来改一改对吧。改一改好，最后呢，我绑定也写一下，等会呢，那里边有的东西我们要改啊，放在这啊，这个应该是。然后这个是全吧，注意没有S是吧，定不一样，那我们改一个啊对。

这个地方K1对吧，啊，四点K1啊，这个东西改一下好，然后呢，我们看一下第一个类型你能改吗。不能改了，类型是固定的，人家就叫，而且你看出来这个东西。是不是像后来增加的呀，用全类名这种是吧？啊没有改编码，用后来增加的自定义的，我们自定义不这样写的吗？对吧？啊后来增加的，因为早期版本当中没有卡卡卡卡都没有好，那接下来第二个逃。改一下吧，我们往那个里面发对吧，啊，不能说不说他都把用逗号给他什么隔开。他多零三冒号九逗号，他多零四，然后冒号九九对吧？啊把三台机器都配一下，不要激动，不要激动啊，有什么好看的对吧，我这个。

哈，102啊，103104，咱们都配一下对吧，这个呢用first，接下来还有来看。哎，这一块。首先不看这个。看到了什么东西的一个。一次提交了一个内容多少个对吧，诶这个东西熟吗？熟吧，对吧，这谁的东西produce的吧，那这个就很好理解，因为卡不卡think是不是往那个。卡夫卡里边发数据啊，那你这个卡夫卡think这块是不是充当了卡夫卡的一个生产者的作用，对吧，人家无非就是一块代码，这个代码里边呢，从China里边是不是通过事物拿出去，对吧，拿完数据之后是不是要写到。

卡夫卡里边啊，对吧，所以呢，它这个有卡夫卡什么。生产者的一些参数，至于这个还可以干什么，压缩压缩我就不要了吧，啊，压缩就不要了，什么STEM这个方式就不要了，其他的这些东西保留了，那这个数据经过我们端口发过来，数据会在哪显示啊？First，消费者那个地方对吧，好CTRLS保存一下，然后接下来我们来启动第一个我们启动一个什么。消费者可以吧并卡夫卡叫。Consumer杠杠。入哈多宝1028号。连族K报的端口号是2181对吧，刚刚。然后是first对吧，啊，跟那边保持一致啊，跟那边保持一致好，然后还有吗？没了对吧？啊来消费，那接下来我们应该去启动什么。

From是不是，然后还要开一个窗口去往端口发数据对不对，对吧？啊来这个地方呢，启动from还记得怎么词的吗？B from n，然后是agent，杠C-f job底下是卡夫卡点对吧？然后接下来是杠N，是不是用的A1A1，这个时候不用杠D什么点root.log了吧，因为是卡卡对吧。好，这个就起来，起来之后呢，我们应该用NC叫local host5个四吧，走。好。这边啊，因为都有这个出发过程，我们稍微等一会，然后好，那这个速度就会更慢了吧，之前到log都很慢了是不是啊，那你在到卡布卡S还要写到卡夫卡，然后卡布卡呢，是生产证写进去，然后消费者的消费是不是很慢啊，对吧？所以让你多等一会吧，啊多等一会我们到哪等着诶在这来了吧啊hello，这是爱的硅谷。

哎，这个好像挺快的，对吧，挺快的，来看一下啊，我觉得今天这个机器好像挺给力的。这个是吧，啊这个。这可以吧，这个速度是不是可以对吧，正常的这个速度就好了，之前做测试是不是慢的要死，今天又好了是吧？啊那天好的，这个就挺快的，对吧，你敲的有多快，它这边显示的有多快吧，就跟在这边敲是那种感觉一样的吧，啊那这个是整个数据流是联通的啊，联通的也就是说深圳环境当中，你不要想着好像诶我用的服务你在用卡普，这个是不是速度会越来越慢啊，速度会越来越慢啊，是这个问题啊。