温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
好,接下来我们来看一下HDFS参数的一个调优,那这里面调整了其中一个参数,那这个参数干嘛的呢?我先给大家画一个图来看一下啊,首先呢,这是name note,这是date note date note date note。假如说这是102103。104。好吧,哎,这是N。嗯,那么大家回忆一下data node的一个工作机制,它什么工作机制呢?这里面有对应的文件块啊,文件块它在一上店的时候,它会将这里面的文件块信息向内note进行一个注册。对吧,哎,注册成功之后,他告诉他,哎,你注册成功了,每一个文件块都要进行一个注册。那大家思考一下对吧,哎,波波老师呢,他一个人呢能接四个,哎,能接四个,那这边还有呢,还有一些这个客户呢,是吧?哎,需要波波老师来接。那波波老师怎么办?他可以选择,哎,我自己再慢慢接对吧,哎,我把这些客户都接了。
01:03
同时呢,他还可以有一种办法叫找兄弟啊,对吧,波波老师有这么多兄弟,哎,可以叫一个张三李四王五啊,来吧,帮我一起来接客啊,一起来接客。那这样面就起到了一个并发度啊,这个提高的一个效果,那到底我需要叫几个兄弟,这是困扰波波老师的了一个痛点,那同样道理我们来看一下啊,那这个其中这个参数呢,就是它你需要叫几个兄弟?哎,这里面有个公式叫20乘以log以E为底集群的个数,比如说我们的集群是八台服务器,那我们需要设置41个,比如说设置41个类似于这种客户端来结合。啊,那为什么是41个呢?那这个就计算公式呗,哎,我们可以调用这个Python相关的一个数据库啊。来到这。看一下进来之后啊,看一下这个命令叫导入一下这个数学公式啊,Import math过来。
02:04
OK,然后接下来计算一下print,打印T20乘以,然后log log8集群函数是八嘛,好。拿过来对吧,哎,这就是41,那如果基因台数再增加一下,我变成二台服务器,看59。就这么简单,然后退出,退出了。啊,就是通过这种方式,也就是说设置name note和data note之间建立的这种心跳客户端,设置多少个。哎,这个非常有用哈,在企业里面是一定要配的啊,根据你的基金台数进行一个配置。
我来说两句