00:00
接下来我们去配一下第二一个HDFS。然后打开,打开之后呢,咱们这有一个configuration啊,也是空的,把文档东西先粘过来再给大家解释啊。来,先把这个拿过来,把它放在这C。哎,走你好,那我们现在呢,呃,往上看啊。大家一起来看一下,那这边我们有以下几个参数,一个一个看,首先第一个。啊,这是namenode web端访问地址对吧?Nameno web端访问地址,Web端,那这个其实就是咱们那个,呃,HDFS那个页面了,对吧,那端口号9870,这个不用管,就这个也变过,这个在海DO2的时候呢,端口号是50070啊到了三变成9870了,哎,它就是一个默认端口号的问题啊,就老变啊行,那下来往下走。第二一个呢,是呃2N,也就是咱们那个secretary name note,它那个呃页面的地址对吧,也是页面的地址啊,是9898啊啊再往下走,下边这个参数实际上是比较重要的啊,指的是咱们呃,HTFS啊,它这个副本的数量,HTFS副本的数量,那其实正常咱们在增长应该设成几啊。
01:15
呃,一般都是三啊,一般都是三啊,一般都是三,呃在这边因为我们呃虚拟机嘛,呃,而且呃大家那个测源空间也都不是那么充足了,所以咱们这块呢,就给它相应的调小一点,咱们调成一就行了啊,调成一就行了啊好在生长方式下不能调成一,哎至少得三啊,这得三行,咱们把这个记住啊,这个比较简单,好,那接下来我们去改下一个下该谁了,下一该这个雅S了,对吧,那我们打开雅SVM啊。啊,这些参数呢,咱们不用记住,你不用记住都需要配啥,但是你看到这个参数呢,啊,咱得知道它是啥对吧?哎,咱们把这个先粘出来给大家解释一下啊。CTRLC,好,那我们来到这个开头,我们一个一个看一下啊。
02:01
哎,我这个是不是没没有按I呀,我这个按一下U撤撤销一下啊来我放在这。摁A,然后站起来,然后这这好,那咱们一个一看啊,先看第一个,嗯,第一个,那第一个呢,这指的是什么?指的是呃,咱们这个呃note manager这样的一个,这个AX service这个其实指的是什么?指定让我们去,其实就指定我们那个map produceduce里边那个杀的方式啊,沙Le的方式啊,这个沙uffle咱们这儿用的是什么?是它自带的map produce沙uffle对吧?但其实大家要认清啊,这个沙uffle咱们能不能用其他的呀。可以的,就是mmr当中那个杀的方式啊,我们其实是可以换的啊,你用它默认的就是MA6杀uffle啊,那你要用第三方的呢,就拍变成第三方的,你甚至都能怎么样啊。自定义shutle啊,但是这个大家可能不会写对吧,那这个大家就知道这个意思就行啊,这呢请只只用它默认的MAP6SHUT啊,再再下一个,下一个呢,是我们雅案当中resource manager,它的这个地址海图标成三啊,咱们只有这么规划的啊好,那下边。
03:06
下面呢,是这个环境变量的这个继承啊,相当于是我们的note manager,这啊需要从咱们,呃,因为note manager我需要干什么呀,是不是需要启动那个container去跑咱们的任务啊,对不对,那这个相当于是我们的container那个容器,从咱们note manager上面去继承哪些混变量啊,那这些都得写上啊,这是咱们官网上要求咱们去加的啊,这都会用到的,好,那咱们把这个哎搞定下一个,下一个呢,这块大家应该能看懂吧,这是咱们看一下。这几个参数大家熟悉不?还有印象吗?都没印象了,所以不说话呀,是困了呀,还是这个真不知道了,我希望是困难啊,头一回希望大家是困了,来往下看啊,看一下这几个参数,呃,这几个参数呢,指的是,呃,什么雅安容器允许分配的最大最小内存啊,那这个来一起看一下啊,这个相当于是呃,什么雅安点schedule的点,然后呢,这个minimum,呃,这个education啊,这个这个MBMB就是单位照壁啊照啊这箱子指是什么啊,指的是啊我的一个容器就是一个container啊,这个被分配的最小内存是512兆。
04:17
啊,那这个下面这个参数呢,相当于是我的一个肯根那啊能够获取到的或者叫做被分配到的最大的内存是多少呢?是4096兆啊四个G相当于是这是0.5个。啊是这样,然后这俩参数默认值呢,都是多少,默认都是八个G啊,默认都是八个G啊,那一般情况下我们可以调整一下啊,把它这个呃最大内存呢,呃,一般情况下可以调成稍微的调小一点啊,调成四个G啊,或者是保留八个G也行啊呃,在咱们资源充足的情况下啊,是这样,那然后这最小的话呢,我们一般情况下给它调成一个G啊,或者是0.5个G也行啊,一般情况下一个G啊啊呃,如果说呃最小就是八个G的话呢,这个可能有点浪费啊,有点浪费,那所以说这个最小的一般需要调整一下,咱们给它调成诶0.5或者是一个G就行啊好,那接着往下走。
05:08
下边还有一个参数啊,这个参数大家看能不能看懂。啊,这个雅安容器允许管理的物理内存大小,可能这个翻译呢,大家可能呃不太好理解啊,这个直接这么跟大家说就行了,这个相当于什么啊,相当于是我们的一个note manager最多提供多少内存给雅安进行调度。因为大家都知道咱们,呃,雅安要进行这个资源的分配,要进行任务的调度,对吧,那资源来自于哪儿啊。雅安的资源来自于哪儿?雅安资源实际上就来自于每一台note manager对吧?啊,那一个note manager最多分配多少内存交给我们的雅安去调度呢?由谁来决定,就是由他来决定的啊,由它来决定的啊,他决定的,那这边我们相当于呃,这个每台这个node me提供多少内存给他用啊,诶40964个G啊,四个G,但实际上这个参数应该怎么配呀,应该是不是根据咱们这个服务器的资源去进行配置啊,就比如说我现在呢,买了一个这个服务器是128G内存啊,然后这个note manager这台这这个节点上面我就部署note manager了,然后呢,我就没有再部署其他那种占用内存的服务了啊,假如就是说耗内存的只有一个note manager,那我是不是就可以把这台节点呢,绝大多数的内存都交给E去调度啊,对不对,那比如说128,我可以给他100个G让他去调动啊,是这样当然的,如果这台节点上边我还有其他比较耗内存的组件,比如说谁,比如说h base的那个region server,它是不是比较占用内存啊,它要求得。
06:40
开16~36个G对不对,那你是不是得把这部分给它留出来呀?啊,这个大家得搞清楚啊,得搞清楚啊,那咱们现在呢,我们这几台节点啊,我的这几台节点目前都是每台节点四个G啊四个G,然后我这是不是也是给他分配了,说让他去分配四个G啊,那其实这么配行吗?振配肯定是不行的,因为你这系统一共才四个G,那你是不是肯定得留下一点这个内存去供其他进程去使用啊,对不对,所以说你这么配肯定是不行的,正常情况下在咱们这儿无所谓啊,无所谓为什么,因为我们后续呢,呃,跑的任务呢,哎,不会那么的多啊,不会呢,所以说你根本就用不了这么多啊,所以说你写4096也没事啊,也没事儿,就用默认值就行,就这么写就行啊啊啊,那这个完事之后,咱们接着往下走,下边还有俩参数啊,这俩参数什么是什么,关闭雅安对物理内存和虚拟内存的这个检查限制,这个翻译也是稍微有点小小小毛小毛病啊,这个其实跟物理内存没关系啊,这边呢,纯粹只是关闭了雅安对虚拟内存的这个检查啊,雅安对虚拟内存的检查,因为大家都知道啊,我们的这个,呃,所有的这个现在的操作系统当中啊,都有一个什么概念呀。
07:49
都有一个虚拟内存的这样的一个概念啊,都有一个虚拟内存的概念啊,呃,这个如果大家要是学过,呃,操作系统啊,这个计算机操作系统这门课的话,那虚拟内存肯定是知道的啊,我知道咱们这儿就不展开去讲了啊,这个要讲的话就太多了啊,然后这块咱们说一下什么东西呢?说一下这个咱们目前面临的问题啊。
08:08
咱们这个呃,就是3OS6之后啊,它的3S它的那个呃,应该是相对是红帽系的对吧?啊是那个系的那个六之后呢,它这个虚内那个内存的管理机制啊,就是发生了一些变化啊,然后导致跟什么呢?导致跟我们的阶梯K8,哎他们之间呢,哎会有一点点问题,什么问题,如果说一个JDK8,然后呢,跑在这个三头S6以上的这个系统上,那会导致它那个虚拟内存就比较大。啊,首先要明确啊,虚拟内存呢,呃,实际上是不会影响咱们这个呃任务的执行的啊,不会影响咱们的任务执行的啊,是这样的,只要我的物理内存够用,那我任务绝对是能跑下来的啊,这点咱们先明确啊,然后就有有一个这样的问题,就是我们的JDK8呢,跑在红二六之上啊,这个系统上的虚拟内存会比较大,一个进程的虚拟内存比较大啊,那它大的话呢,我们雅安这边对他有一个呃,相对有一个这个检查机制,如果超过那个限制,呃,它会把这个任务给kill掉啊,那所以说咱们这儿呢,为了保证这个任务能够正常执行,那我们必须得把这个虚拟内存检查给它关闭。
09:17
啊,给它关闭啊,但是关闭之后呢,那我任务能不能正常跑,能因为物理内存够用,我任务绝对是能跑下来的啊是这样的啊,咱把这把这个知道就行了啊,其实实际即便是在我们的生长环境下啊,那咱们这个东西也是要关闭的。啊,你只要是咱们这个阶梯K8,然后呢,跑在我们这个呃红呃三段S6以上的系统上,那这边你就得给它关闭啊,就得关闭啊,这个大家得注意啊,即便是剩角玩下这个也是要关的,好那咱把它关掉就行,照着文档啊好,那这个参数咱们就说完了,然后shift a zz,行,那到目前为止我们已经完成了三个文件了啊,咱们继续往下进行啊,还有这个一个map right,咱们给他配一下啊,大家坚持一下啊,这个配置文件没啥意思对吧,确实没啥意思啊。
10:04
然后大家自己做的时候呢,咔咔复制粘贴就完事了啊,但是我呢,我不行,我还得这个说两句来,咱们把它这个CTRLC拿回来,好,那看一下这个参数啊,这个参数呢很简单,Map,然后呢,这个framework这个点name这个指的是什么啊,只是指明咱们这个map的资源调度框架,咱们是不是指定雅安呀,对不对,但这个能能不能指定别的呀。能啊,咱们的这种资源调度框架呀,其实不只有咱们这个,呃雅安啊,在国外呢,也有几个其他的这个比较火的,呃,应该是有一个,好像是有一个呃麦斯对吧,这个大家在学海度的时候应该也提到过吧,啊是咱们国外的一个,这个就是独立的资源调度框架,咱们也可以用它啊,但是一般我们国内就是用雅安啊,用雅安就是一样的啊啊那假如说我这个参数不配的话,那大家说应该是什么样的效果呀?要不配这个参数,不配这个默认值是啥呀。Local啊,不跑不配的话就是local模式啊,就是local模式啊,啊,那这个大家知道就行了,然后咱们shift CZ行,那现在这个也搞定了,然后我们现在看最后一个文件,最后一个文件就是这个所谓的workers,其实这个workers这个文件的名字也变了,以前是什么呢?这以前是叫s slaves啊slave现在大家知道它为什么变吗?
11:19
其实好多框架咱们这个都变了啊,其实对没错,有同学知道啊,跟咱们那个就是美国那个主权是有问题的,因为s slave跟master这个来源于什么呀,其实来源于那个奴隶制对吧,Master相当于是他的主人,Slave指是奴隶,然后现在这个,嗯,就是就是因为有有有有相当于是你知道叫slaves是不是可能跟那个有点关系啊,所以现在好多这个框架呢,它这个主从模式都不叫slaves了,都都变了啊,比如叫什么leader啊,叫follower对不对,它也不叫什么master和slaveils了啊,是这样的啊,其实跟这有关系的,简单了解一下吧,那咱们把这个workers配一下,那这workers实际上配的就是我们这个,呃,Notde,呃,Note那个notde manager以及data notde那个节点,对吧?啊,咱们给它都给它写上来,来把这个配置出来。
12:08
呃,把它干掉,那我们配上102103104就行了啊来CTRLC来拿过来,诶没有按I对吧,这在这个大家得一定得小心啊孩子5102113104好,那shift z搞定行,那到目前为止我们这个呃,所有的核心配置就算配完了。
我来说两句