温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
好,那现在呢,我们把整个的日志采集平台咱们来总结一下,嗯,那我们的日志采集平台呢,我们一共是,呃,使用了哪些组件啊,咱们使用了这个,呃呃,咱不能说组件啊,咱们得从数据的来源来说起啊,咱们数据从哪来,从我们这个客户端的啊,这个前端买点而来,对吧?他会把数据呢,发到我们的日志服务器里,这日志服务器呢,是我们102103这两台机器啊,102啊,1103啊,那在咱们的实际的生长环境中呢,那这个日志服务器呢,它可能于我们的大数据集群,也可能呢,不位于咱们的大数据集群。能理解吧,也就是说白了,你的日志服务器上面呢,可能部署了海杜op了,也可能没部署海杜吧,如果部署海杜那很省事对吧,那是不是跟按照咱们这个呃这个咱们课上演示的这种就行啊,对吧,我这个录怎么配就一样了,那假如说哎你这个呃日志服务器上边,哎它没有部署海doop啊,也就是没有什么海do home啊等等这些东西,对吧?那你说咱们这儿应该怎么去处理的?
01:06
怎么处理啊,那你就得注意一些事项了,比如说咱们那个路径啊,对不对,就是hts think那个pass啊对不对,那些东西当然这块,呃,到时跟FS倒是没关系,对吧,这跟HF没关系啊,它跟什么有关系啊。是不是跟卡夫卡有关系啊啊对不对,咱们因为这个日志服务器上边部署的lo,我们是把数据收集起来放到哪的呀?哎,放到卡夫卡当中的啊对不对,那当然呢,如果说呃,我们这个呃在生产环境下呢,这两台服务器还是有有这样的这个可能性嘛,就是说它可能位于大数据集群里边,也可能不位于啊如果位于,那我访问卡夫卡肯定是没问题的,如果不位于咱们的集群,那你必须得保证这两台节点是能够访问咱们的卡夫卡的,对吧?啊得能够访问卡夫卡才行啊是这样,这是大家呢需要去注意的一点啊好,那数据我现在已经到了日志服务器了,那接下来我们就部署了一个,诶这个flu,呃flu呢采用TS啊,然后呢,采用卡夫卡T数据呢,就会被发送到咱们远程的卡夫卡集群上边啊,卡布卡集群里边啊,是这样的,那后边我们数据最终要写到hfs的对不对,那要写到hfs的话呢,我们这又需要一个,呃,这个采用卡普卡S或者是直。
02:21
直接采用卡开也行啊,然后这边呢,我们采用一个h I think,那这块大家就要注意了啊,注意什么问题,你这个flu它是否部署在了这个hi do集群当中啊,那一般情况下,这个咱们实际上是可以让他部署在在弗鲁姆集群,当这个卡普卡集群当中的,这个是我们自己管的啊,至于你的日志服务器有可能它不为你你的大数据集群,这是有可能的啊,但是后边这个一般情况下就是我们自己定了,你想部署在哪部署在哪啊,那比如说我就部署在大数据集群里边了啊,那我的海度home啊等等都有,那就照着文档去做就行啊,万一你这台节点没在咱们的hi杜op集群当中啊,那是不是那些路径什么的就得注意一下了呀,就得指明HDFS什么这个冒号S1028020等等这些东西就得注意了啊,是这样的一些东西啊,那其实咱们呃,在这个采集项目当中,咱们做的呢,就是这些。
03:14
啊,就是配了前后两个相当于就啊别的其实没有做什么啊,这就是咱们这个核心的一些东西啊好,那视频录一下吧。
我来说两句