前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >2021年大数据Hadoop(二十九):​​​​​​​关于YARN常用参数设置

2021年大数据Hadoop(二十九):​​​​​​​关于YARN常用参数设置

作者头像
Lansonli
发布2021-10-11 15:43:40
4020
发布2021-10-11 15:43:40
举报
文章被收录于专栏:Lansonli技术博客Lansonli技术博客

关于yarn常用参数设置

设置container分配最小内存

yarn.scheduler.minimum-allocation-mb 1024

给应用程序container分配的最小内存

设置container分配最大内存

yarn.scheduler.maximum-allocation-mb 8192

给应用程序container分配的最大内存

设置每个container的最小虚拟内核个数

yarn.scheduler.minimum-allocation-vcores 1

每个container默认给分配的最小的虚拟内核个数

设置每个container的最大虚拟内核个数

yarn.scheduler.maximum-allocation-vcores 32

每个container可以分配的最大的虚拟内核的个数

设置NodeManager可以分配的内存大小

yarn.nodemanager.resource.memory-mb 8192 nodemanager

可以分配的最大内存大小,默认8192Mb

定义每台机器的内存使用大小

yarn.nodemanager.resource.memory-mb 8192

定义交换区空间可以使用的大小

交换区空间就是讲一块硬盘拿出来做内存使用,这里指定的是nodemanager的2.1倍

yarn.nodemanager.vmem-pmem-ratio 2.1


  • 📢博客主页:https://lansonli.blog.csdn.net
  • 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正!
  • 📢本文由 Lansonli 原创,首发于 CSDN博客🙉
  • 📢大数据系列文章会每天更新,停下休息的时候不要忘了别人还在奔跑,希望大家抓紧时间学习,全力奔赴更美好的生活✨
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2021-06-08 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 关于yarn常用参数设置
    • 设置container分配最小内存
      • 设置container分配最大内存
        • 设置每个container的最小虚拟内核个数
          • 设置每个container的最大虚拟内核个数
            • 设置NodeManager可以分配的内存大小
              • 定义每台机器的内存使用大小
                • 定义交换区空间可以使用的大小
                领券
                问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档