00:00
好,接下来呢,我们来看一下HD FS set对应的配置信息啊,首先来看第一个,第一个呢是这个d FS name node啊其实就是name no的这个啊,通外部的一个通信端口,那这个呢是9870,这是针对的hi豆3.2系列,9870,那如果你是2.x系列,那对应的端口号是多少?哎,是50070啊,这个要了解一下,因为我们这个内诺的这个节点在哪个节点上,是不是在这个102上,所以说这地方我们配置的是102,那接下来再往下看说ton,也就是secondary name note,它对应的这个web访问地址是多少呢?还个104对应的9868啊,那你看是不是104,我们是已经部署的是ton嘛,啊一切呢,都按照这个集群规划去走啊。啊,那再往下看,下一个呢,是配置的这个HTS对应的副本数啊,副本数呢,默认是三个,大家都知道,那由于啊,我们现在是学习阶段,为了减少大家的一个磁盘空间,所以说这里面呢,我们配置为一啊OK啊,现在把这个配置文件我们拿过来。
01:11
Vmh DFS set。进来之后啊,打个O插入进来。右键。粘贴。然后呢,我们进行分发as再收。好,那现在呢,诶这我们也已经配置完毕了啊。好,接下来呢,我们来看一下啊,雅安当中雅n site对应的相关配置,那第一个配置参数呢?哎,这里面也就是说计算数据的时候啊,我们采用的是map suffer这种方式啊,其实通常情况下我们都是用的啊这种方式啊。行,那下面往下看,那我们resource manager是部署在哪个节点了,看一下这个基金规划,我们是部署在103,哎,所以说这块呢,要指定resource manager,哎,在I103OK吧,好。
02:00
那再往下看,那这个就没用了哈,下面呢,是这个环境变量的一个继承啊,其实准确来说啊,这个呢是hi doop3点啊3.1吧,到3.0。的一个bug哈,啊一个什么bug呢?这里面啊,在配置环境变量的时候啊,继承环境变量的时候,少了一个啊,少了一个hioop Mac red home,在hi多3.2的时候,就已经把这个黄金变量加上,如果你是3.2往上,那这个呢是不需要配的。那那如果你是这个3.0~3.1,那对不起,那这个配上啊,其实它一个bug啊,嗯,不用管了啊,那往下走,下面呢,是雅安容器分配的最大最小内存。哎,这涉及到雅安的一个调优了啊,其实这里面讲的稍微要少一点啊,如果大家呢,想啊详细的去看啊,这块调优可以看一下嗨度那个视频当中啊,生产调优手册啊里面对它呢有详细的讲解,那这里面要简单介绍一下啊,首先第一个雅安容器允许分配的最大最小内存,那这个最小内存最大内存其实默认值都不是这个。
03:01
啊,默认值的这个是八,这是一。啊,最小内存是一,最大的是八,那这个为什么这么改呢?原因是因为我们这个服务器的最大内存是不是才四个G啊。那你四个G的话,你这块默总默认的它是八,你是得往小了调啊,哎,得往上小调,最多你才四个G,所以说这块呢,得调成跟你那nu系统最大值相等。啊设计那这个呢,呃,最小这个呢,原来是一个G有点多,那是这里面给一个啊512兆啊OK啊,那下面呢,是雅安容器允许的这个啊。物理内存啊大小,那其实这个值呢,默认呢也是八个G,那这里面呢啊,给它调小一点啊,跟你内容系统保持一致啊,最多呢就是四个G行吧,OK啊。加到下面呢,是雅安对虚拟内存的一个限制啊,这个呢,准确来说啊,是这个啊,JAVA8和对应的这个VMV2虚拟机。诶,他们之间啊,在分配内存的时候啊,这个啊兼容性不是特别好啊,产生了对这种bug,那这个虚拟内存的检测啊,建议大家呢,就直接把它关闭掉就可以了,那但是那个物理内存检测你可以把它开启,那这样呢,就不会导致一些内存泄露的一些风险啊,所说这里面呢,呃,我们就直接将它设置成false,关闭这个虚拟内存检测啊详细的讲解呢,我在这个调优的时候啊,给大家是讲过的哈,这里面不再赘述了。
04:21
行,那我直接把这个参数拿过来。拉过来之后啊,雅赛。打开。DD让它删掉哦。分发SSYNC雅恩杠轴。这样呢塞,我们就已经配置完毕了哈。好,接下来呢,我们来配置一下map right set,那在这个map right set里面啊,配置非常简单,我们只需要配置一个参数就可以了,比如说指定这个map流程序啊,运行在雅N上,因为它默认的是在local模式下啊,在里面修改一下啊。
05:08
那好,把它拿过来。Map red set进来。O插入。粘贴。然后呢,SSYNC分发。这样呢,我们就要分发完毕了,分发完毕之后呢,接下来我们再配置一下这个沃克斯啊,沃克斯在hi多2.s系列的时候,这个叫slaves啊,3.s系列呢,是伯克斯啊,主要是这个有种族歧视啊,这是相关的概念啊,这是工作者,那个是奴隶啊。那行,那我们打开这文件,在这里面配置相关的这个节点,那我们比如说我们data note有几个节点,我们这里面就配置几个,那我们10203装四上都需要有DN对吧,那我们就都给它配置上啊。
06:03
Vm workers斯进来默认的是local模式啊,DD删掉I,然后将这个内容转过来,那这里面配置这个文件的时候有哪些注意事项了吗?还记得吗?有两句话,一个呢是不能有空行,另一个呢是不能有空格啊,什么意思,你看我现在这里面就有一个空行。那未来啊,这个文件会作为其他的一个脚本的一个输入,它会便利,这里面它会把这个空行当成了一个主机名称,那就报错啊,所以说这个不能存在,那把它删掉好,那同时呢,你也不能这样有一个空行,那有一个空格啊,如果你有个空格的话,它会把这个孩程四加一个空格当成主机名称,那这个呢也是不对的啊,所以说把它啊再删掉。一个都不能差啊好,那下面呢,我们来分发一下XYC,然后沃克斯分发。
我来说两句