00:00
好,刚才呢,我们是说这个定好了,我们要这个,假如说有八台服务器,对吧,要买八台服务器,那么下面问题又来了。啊,你的老大会问你买八台服务器没问题,那问你八服务器上都安装啥呀。你都安装哪些组件啊,你像你在一个技术选型的时候已经说了啊这个。啊,这个流程吧,流程上有,嗯,看一下在这个流程图上,你你看到了啊,我们要安装这个flu,要安装卡普卡,安装scoop,安装买口,安装ES have ATS登录伊kding。呃,GR等等这么多框架,那你有吧台服务器。下一个面临的实际问题就是。每台服务器上装上。那你思考一下,每台不行装啥呀?嗯,这都是你在企业里面要思考的问题,包括在面试的时候,面试官也会问啊,说这个我这个公司呢,是从零到一。啊,你你我我他只会告诉你一句话,说我每天的日活是多少,或者每天的数据量是多少,在哪里存着,那剩下的事儿你来帮我架构一下。
01:06
啊,但是这种问题其实最简单哈,最简单,那你学完这书场你会发现啊,这种问题太简单了啊,你们最擅长的就是从零到一啊,去解决这种企业级这个呃,架构方案啊,没有任何问题啊行,那就是八台服务器啊,每台我们要装什么东西,那下面呢,我以三台服务器为例哈,三台服务器为例。嗯。啊,三代服务器,三服务器的话,你看啊,你一般会怎么画呢?我要装哪些服务。啊,装载服务,你像里面要装的有这个A服务,As里面包括name note服务,这些note服务,还有second name note,对吧?啊这些你都要考虑到考虑到,然后雅安,雅安里面也有not manager,有manager。那他们这些服务又往哪里面放,那我这里面是选择了三台服务器的一个架构哈,嗯,三台服务器的话,你看我这里选择是name noe啊,放在这儿啊,No no no啊,然后呢,No啊放在这然not matter3台都有,Matter呢跟这个no这个避开它这里面最主要的就是。
02:08
他跟他要避开。啊,他跟他要避开对吧,那下面呢,我这里面还有很多啊,还有很多,你看这里面这么多组件啊,都要记住,然后你后面还要算一下哪台这个进程数用的多。那用的多的话,那就相当于这个,呃,占的这个配置你要相对高一些,你像我这个102这个102这台机器我相的给的内存,嗯,我一般呢,我就是我会给到这个八。嗯,844吧,啊844,但是像你们要是16G内存的话,就可以给到这个644。啊,64这样哈,那像12G内存的话,真的还不太好,给12G内存的话,那你也得给个六二。622吧啊,只能这样了啊,12G内存,但是你要8G内存的话,8G内存那就没法玩了啊,真没法玩了,那就322。
03:01
12也跑不动啊,8G内存怎么玩也玩不转啊,只能是加内存条。啊,只能加内存条上8G内存,实在没办法,12G的话还能勉强用一下,但是有条件的同学,我一定建议你12G的内存也也适当增加一些啊,适当增加一些。前期的投入是有必要的哈,那这块呢,你这服务性能这个好的话啊,到你毕业的时候,至少每个月能差出这个,呃,2000块钱吧,啊,这是至少的。你现在可能你说老师你就瞎说,嗯,这个怎么可能呢,这个就一台服务器就差这么多钱呢,是这样的,因为你的服务器,比如说你这个性能比比较卡。啊,比较卡,你光整那个环境啊。你就会浪费很多时间,一些没必要的时间,就突然间他自己崩了,系统崩了,你在生产环境下根本就不可能遇到那这块,你可能整那个崩了,你你要来来回回反复,至少要浪费个一个小时,几个小时的,同时呢,这里面主要还有一个最主要的问题哈,这个是到一个小事。啊,因为当姐就bug了,就影响心情知道吗?这非常影响心情。人家这个执行这个任务的时候,诶瞬间刷秒秒杀过来了,就执行完了,到你那噔噔噔噔等,然后咔挂了,挂了之后,然后你你又重新来,然噔噔噔噔噔咔又挂了。
04:10
这这个很烦啊,让让人很烦躁啊,所以这个这块呢,有条件同学一定要这个啊,想办法啊换一下。行,那这是三台的哈,三台的大家可能觉得这个,哎,跟企业的是不是有点差距啊,我们换成那个。啊,高面。因为我要让你们买这个吧台服务器的话,你们就哭了哈,嗯。对,我最怕的就是这个心情啊,心,这个心情很重要啊,很重要。你天天要是同桌是一个美女妹子的话,对吧?学习肯定有动力啊。如果你是一个这个,呃,这个。一个男人。那么心情也许会好一些,是吧,啊,如果,如果你俩在一起,那可能好一些,但但是呢,嗯,如果。这个聊的不是特别好啊,那那那可能就够呛了哈,影响你心情,那俩人天天吵架。
05:02
嗯,来看一下基金规模。班花啊,激情四射啊,也许吧,啊,希望你们能试射成功啊,啊波波老师这个经验非常丰富啊,这个。岛国经验充足啊,来看哈,这个呢,是企业级的这个配置啊,企业配置这是我拿了其中一部分。简单给大家示了一下啊,如果你们日后买的是这个十态服务器的话,十台服务器呢,这里面我们会安装两台内部node啊,会搭建这个高可用,然后resource manager呢,也会搭建这个高可用啊,其他的这个data not节点,No manager节点啊,没啥说的,那之后呢,你们后面会安装这个主题本。啊主K本的的话,我们会安装三台啊,后面会给大家说啊主key安装多少台合适啊,一般呢就是三五七十一对吧,基数台啊基素材呢,还有一些企业经验值啊在里面放着哈,好,然后另一呢是卡不卡,那卡不卡呢,通常情况下呢,会跟这个主一波安装在同一台机上。
06:02
啊,为什么要安装在同一台机上呢?呃,因为啊呃,它俩之间这个通信非常非常密切。如果你放在这个不同节点上,那么他们就是大量的这个跨集群通讯嘛,就跨服务器节点通讯,那这样呢效率会比较低,所以说它俩一般放在一起,那另一个呢是flu,那flu呢,我们希望呢,采集完数据直接就写到这个对应的这个考法里面去啊,相对速度快一些,再有呢,这个flu呢,如果我们。有专门的日志服务器的话,它是单独部署的,它会单独单独部署到日志服务器上啊,进行一个采集,然后再读回来啊,这里面呢,这个由于没有单独部署,所以我们就放在一起啊,放在一起采集完之后。直接往里。然后他们之间呢,进行内部的一个通讯,好,而且你会发现我这这三台服务器,它并没有跟这个这个manager和no内not放在一起,因为他们都是吃内存的啊,所以说尽量跟他们避开哈,然后你后面呢,还会用到什么h base啊ES你们没学啊,干掉啊,还有个MYSQ这块了,对吧的话呢,这个呢相当于是个客户。
07:06
对吧,还有客户端,因为底层行的是这个MR。啊带弄的,然后内部弄呢,是负责这个呃,管理集群的啊,上面呢负责任务的部署啊,它就相当于客户在不耗任何资源,所以说我们就放在这儿了,然后另一个呢是MYSQ,因为MYSQ它也是就是存储小量数据嘛,啊就是一些have的原数据会放在这里面啊,所以说它俩呢尽量也放在一起,因为通讯这个速度快嘛。啊,这样情况啊,行,那后面18个再说这呢,就是这个集训部署的时候要考虑的一些事情啊,等到最后呃,讲完数上项目的时候,再给大家这个详细的去穿啊,现在先有个印象啊,大概是怎么一个部署情况,尽量呢是把这个内存。啊,比较大的呢,尽量分开,然后另一方面呢,要这个这个框架比较联系比较紧密的,通讯比较频繁的框架呢,我们要放在一起啊,这么一些原则啊。那行,那由于呢,我们这个现实条件呢,我们只有三台服务器,那三台服务器的话,我们尽量尽量去避开,像内部not和铝买,但是实在避不开的情况下,没有办法啊,像我们那我这里面我就着重的把这个能安装的框架上,一般呢我就安装这个102上。
08:11
这样的话呢,因为我102,我可以给他适当的更高的一些配置啊,更高的配置,比如说我给他8G啊,或者6G的一个内存啊,这样的话也不会太影响一个运行情况,好,这是啊集群规划。
我来说两句