00:00
好,接下来我们来看一下集群资源的一个规划设计。什么意思呢,在上节课当中啊,我们说假如说我们要购买十台服务器。那十台服务器当中,每台服务器里面到底要部署哪些框架呢?比如说我们有hioop,有主keep,有have,还有还有卡普卡,还有JK等等,这些框架都要安装在哪几台服务器上呢?他们之间又真该怎么样部署呢?这是我们接下来要思考的问题,对吧?好,往下看,那在企业当中啊,通常会搭建一套生产集群,也会搭建一套测试集群。为什么要搭建两套集群呢?其实正常情况下,生产集群是用来运行这种哎固定的生产任务的。对吧,那测试集群呢?测试集群通常用于上线前的一个编写代码编写和测试啊,你不可能你在写代码的时候直接用生产集群吧,那万一把生产集群给整坏了呢?那损失是不是惨重啊。
01:01
对吧?啊,或者你误以误删库了呢,把生产机群给删了呢,哎,这个风险太高了,所以说通常我们要搭建一个测试机群,在这里面把所有的代码各方面都测试好了之后,再部署到生产集群上进行一个生产使用,诶是这样一个过程啊。那下面我们先来看一下生产集群怎么搭建。其实在搭建集群的时候啊,哎,我们要进行一个集群规划啊,集群规划的时候有这么如下四条原则。那第一条原则就是消耗内存的尽量分开。那举个例子,比如说这是我们这十台福气啊,十台服器。我们这里面有hi do的NN和hi do的resource manager,那这两个呢,都是比较消耗内存的,那我把它两个放在不同的服务器上,所以说就叫消耗内存的,尽量分开。那接下来数据传输比较紧密的,尽量放在一起。那谁和谁数据传输比较紧密呢?这个主K和卡不卡他们两个传输比较紧密。为啥这么说呢?你还记得吗?我们在学卡夫卡的时候,卡夫卡内部是自带主K的。
02:06
那么它这个通讯啊,是非常频繁的。那你如果把这个JK你部署到这儿。哎,不知道这三台服务器上,那你这个主keyboard和卡不卡,是不是涉及到了一个跨节点的通讯呢?诶你跨服务器通讯,那你这个呢,现在呢,是在一台服务器上内部进行通讯,你说哪个速度快呢?那很显然是在服务器内部进行通讯效率更高一些。哎,所以说呢,叫数据传输比较紧密的,尽量放在同一台服务器上。那再有客户端尽量放在一到两台服务器上,方便外部访问。那这有什么意思呢?那这这里面我们的客户端有谁呢?有have客户端,有Spark客户端。那他为啥不每台服务器上客户端我都部署一个呢?方便多人操作使用呢?它不这样,哎,记住一个原则,大家思考啊,那你想外部来访问的时候,如果每台服务器上我都放客户端,那你是不是所有的服务器都得对外开放权限呢?
03:06
都能进行操作。对吧,那带来的风险是不是更高一些,比如说咔咔删掉了,来了一个Q杠九,哎,把这里面的服务杀掉了呢。那是不是风险高一些,那反过来,如果我把客户端都放在尽量的一到两台服务器上,那我是不是只有这两台服务器对外暴露这个权限是不就可以了,其他你想访问我访问不了啊。对吧,哎,这就是好处,哎,降低对应的一个风险。好,那再来有依赖关系的,尽量放在同一台服务器上,那比如说这里面的have和这个阿兹卡班。那么他们两个也是,哎,需要主件与主件之间的一个相互依赖。哎,传输数据比较紧密,那我们就把它两个也放在一起啊,这就是这个,呃,部署集群的一个原则对吧?哎,部署一个原则。消耗内存尽量分开传输数据比较紧密放在一起,客户端尽量放在一到两台服务器上好,有依赖关系的尽量放在同一台服务器上。
04:07
那接下来思考,那这个每台服务器我都。你看这里面我JK为什么部署三台呢。卡夫卡为什么不三台呢?为什么不三台呢?哎,这个又涉及到一个数据量的一个计算。哎,其实呢,正常以我们中小型规模,那么主力本卡不卡部署三台就够了,那我们在后面会给大家介绍说到底卡不卡部署多台合适,诶有对应的一个经验公式啊,那后面再说好吧,啊,那这是生产集群,那如果测试集群,你说像我们现在啊,在学习阶段,我们用这个测试集群就可以了。那通常情况下,在企业当中测试集群一般都是三台,因为三台能够代表一个集群,对吧?哎,就可以了,好,那你看我这里三台服务器,哎,我们也是遵循上面四套原则啊,尽量的去满足上面要求,这样去部署啊,部署这么多组件,那第一台服务器上我们部署的要多一些。
05:02
你看部署了19个这个服务,为啥呀?因为我们第一台服务器给的配置呢,相对来说要高一些,如果你是16G内存,那这里面我们通常会给它呢,呃,是至少是6G左右啊,644啊可以,当然你给8833也行。啊,咱们的电脑呢,至少应该在16G内存以上,如果不是这个配置的话,建议大家呢,尽快啊更换电脑或者购买内存条,你像我电脑呢,是64G内存。信呢,我可以都给他888。啊,甚至说我十六八八也可以啊,是没有任何问题的,所以呢这块呢,这个啊电脑很有呃,很重要啊很重要啊学习的时候呢,尽量把这个配置啊配的高一点好吧?啊那下面这块呢,我就不给大家具体说了啊,那你在搭建集群的时候,一定要这个对应的集群规划,如果没有这个集群规划,你想你在搭建的时候,你在哪台飞务器上安装什么组件都不清楚。那你后面这个集群没法大。啊,所以说这个呢,列表呢,是一定要有的,后面的话我们就会按照这个列表去搭建我们整个大数据测试集群,OK吧,诶好。
我来说两句