温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
好,接下来我们来看另一个非常核心的参数,叫name node的一个心跳并发配置。啥意思呢,在这个集群当中啊,有一个name node,对吧,没啥说的。那他在一上店的时候,是不是data notde要向name note进行一个汇报啊,哎,也就是说注册。注册相关信息。那好,那我这个data note,如果我有成千上百台这个data note。那我那弄的是不是就得准备N多个线程来接客?也就是说,迎接他们对应的请求汇报吧。好,那到底我准备多少台合适,那同时我这个客户端也会跟这个内蒙进行请求啊,因为我像这个ADS哎,申请执行任务。对吧,哎读进行读写先锋操作,我这客户端也有可能有很多。那问题就是我这个name node准备多少个线程是合适的呢?思考一下。那这事儿肯定也得有人管,对吧?那这个参数呢,就是由它来控制的,叫DFS name node handle count。
01:08
配它就行了,它的含义呢,就是name node有一个工作线程池,用来处理不同datanode的并发心跳以及客户端并发的原数据操作。那默认值是多少呢?默认值是十个。那默认值是十个的话,那是多还是少呢?哎,这里面企业经验里面有一个公式。它的个数等于20乘以log,以E为底集群的参数。那我们是几台呢?现在是不是三台服务器啊。那同学说这个海哥,我这个对数都忘了,怎么计算呢?没关系,哎,这有现成的公式,你可以调用Python的这个函数库进行一个计算,那下边给大家算一下啊,如果是三台服务器的话,我配置多少个线程啊,这个比较合适。打开。哎,你一输入Python对吧,啊OK,然后下面呢,It。
02:05
哎,执行导入函数库,然后下面执行。打印对吧,哎,打印int计算计算呢,20乘以。match.love。哎,这里面传进来三对吧,三台服务器嘛,执行。也就是说现在呢是21个线程是最佳的。退出。哎,这就这个意思哈,这时候这里面配置的是21,那我们配一下哈,来到A。As set打开,打开之后shift g来到行尾,然后O。插入。粘贴进来。OK,分发。SSYS,诶。这样呢,这个a set就配置好了。那后续他在启动的时候,就可以按照这个参数进行一个启动,那么就能达到这个集群性能的一个最佳状态啊,再就是name note心跳并发的一个配置,配置多少合适。
我来说两句