YARN 任务队列管理

最近更新时间:2019-08-02 11:45:26

您可以登录 YARN 自带的 YARNwebUI,登录方式为通过 EMR 提供的快捷入口,查看快捷入口请参考产品部分说明,登录后您将看到如下图:

YARN

从图中可以看到整个集群的一些监控信息:

  • 应用信息:9个等待,7个执行,51个完成,总结67个;其中有15个 container 正在执行。
  • 内存信息:总共36G,使用了30G,保留10G。
  • 虚拟核信息:总共20个,使用了15个,保留5个。
  • 节点信息:可用节点5个,退服0个,丢失节点0个,不健康节点0个,重启节点0个。
  • 调度器信息:使用 Fair Scheduler(公平调度器),最大最小的内存和 CPU 分配信息。

其中 Application Queues 栏包含了集群的任务队列信息(以 root.hadoop 队列为例):

  • 使用的资源:内存30720M(30G),虚拟核15个。
  • 正在执行的应用7个。
  • 等待的应用9个。
  • 占用最小资源:0M,0核。
  • 占用最大资源:36860M,20核。
  • 队列资源的稳定的公共共享。
  • 队列的瞬时公平共享资源。
  • 该队列占用资源的比例为83.3%。