温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
好,接下来呢,我们看一下雅恩相关参数的一个调优。那这个调优啊这块呢,有一道京东的面试题,诶他当时出的题呢,是这样的一个描述哈,说呢,总共集群呢有七台服务器,然后每天呢有几条数据,它的架构是这样的,说这是数据源,然后用来采,采完之后到卡不卡。然后呢,卡不卡。会把数据上传到HTPS,然后之后是到have,哎这样一套架构,比如说数据源,那现在他提出的问题是什么样呢?这样的一个问题,所以呀,数据统计呢,主要用这个have circle。然后呢,没有发生数据倾斜,小文件呢,已经做了合并处理,并且开启了结外重用,而且IO没有主摄。内存用了不到50%,但是跑的任务非常非常慢。比如说你前面能够基本想到的这种常用的问题。他都给你堵死了。
01:00
但是就是运行的慢。那这时候你怎么对这个机群进行优化?而且呢,他还说了,说数据洪峰过来的时候,整个鸡群有可能还会瘫掉。哎,其实这是一个典型的这个集群资源没有利用到位产生的,跟大家解释一下啊,比如说咱们这有一个note manager节点。那么note默认的内存只有八个G。那么生产环境下,一台生产服务器集群内存通常是128G。你生产集群是128G,但是note manager它的默认内存就是八个G,你不修改这个参数,最多你在生产环境下只能用8G。那不就相当于资源浪费吗?那怎么办呢?哎,生产完下你可以将这个8G调整为100G左右。那为什么不调到128G呢?因为啊,在这个服务器上还有其他服务在运行,比如说这里面有flu,比如卡不卡,他们在运行的时候是不是也需要对应的内存呢?啊所以说这块呢,不要用满啊,100G就够了。
02:01
那还有,那同时这个no manager默认的CPU核数是多少啊。哎,默认的CPU核数呢,只有八个CPU核数。但是我们生产环境的服务器,哎,之前给大家讲过,是不是20核40线程的。那你20盒,这是八盒。那怎么办呢?那我说要提高对应的这个七配合数啊,哎,我可以提高到比如说15盒啊,甚至多一点点,但是也不要说拉满拉到20盒左右,还是给其他的组件留有一定的资源。OK吧,哎,所以说在生长下呢,要注意,哎,如果发生。如下这种情况的描述,那通常就是你的资源没有利用到位,那怎么办?哎,调整你的note manager使用的内存数啊,以及呢CPU核数,这样就OK了。
我来说两句