job监控与hadoop权限管理

监测Hadoop控制中心及作业运行状况

MapReduce框架由一个单独的Master JobTracker和集群节点上的Slave TaskTracker共同组成, 在Hadoop的JobClient提交作业和配置信息给JobTracker之后,JobTracker会负责分发这些软件和配置信息给slave及调度任务,并监控它们的执行,同时提供状态和诊断信息给JobClient。为了检测Hadoop控制中心及作业运行状况,需要先从JobClient端连接到Jetty服务器,然后通过JonConf来获得Job相关静态信息,然后通过JonConf、JobID、JobClient、JobStatus、RunningJob之间的接口获得正在运行中的Job信息。同时,可以通过ClusterMetrics和QueueInfo获得相应集群信息和队列信息。为了进一步获得Task信息,需要通过JobClient、TaskReport、TaskStatus、ClusterStatus之间接口获得Task相应信息。

Hadoop统一权限管理

Hadoop统一权限管理分为用户分组管理和作业管理。其中用户分组管理用于按组为单位组织管理,某个用户只能向固定分组中提交作业,只能使用固定分组中配置的资源;同时可以限制每个用户提交的作业数,使用的资源量等。作业管理包括作业提交权限控制,作业运行状态查看权限控制等。如:可限定可提交作业的用户;可限定可查看作业运行状态的用户;可限定普通用户只能修改自己作业的优先级,kill自己的作业;高级用户可以控制所有作业等。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Hadoop实操

CDH集群跨多版本滚动升级

3282
来自专栏Hadoop实操

如何使用StreamSets从MySQL增量更新数据到Hive

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproje...

5K13
来自专栏Hadoop实操

如何编译适用于CDH的Tez版本并集成Kerberos环境的Hive2

在上一篇文章Fayson介绍了《非Kerberos环境下Hive2.2.0 On Tez集成》,使用Apache官网默认编译好的0.8.5版本的Tez,默认的版...

5612
来自专栏Hadoop实操

CDH高可用集群误删NameNode故障恢复

在已启用HA的CDH集群中,误删Standby Namenode服务,导致集群异常,无法再次通过CM启用HA。异常如下

79811
来自专栏个人分享

Hadoop on Yarn 各组件详细原理

  运行在独立的节点上的ResourceManager和NodeManager一起组成了yarn的核心,构建了整个平台。ApplicationMaster和相应...

1501
来自专栏Hadoop实操

如何在CM中启用YARN的使用率报告

CDH的高级功能"群集利用率报告"(Cluster Utilization Report)是整个多租户方案体系里的一部分,可以用来查看租户的资源使用情况,并可以...

5205
来自专栏Hadoop实操

如何修改启用了高可用HDFS的NameService ID

2662
来自专栏Hadoop实操

如何使用StreamSets实时采集Kafka中嵌套JSON数据并写入Hive表

4644
来自专栏Hadoop实操

Spark的HistoryServer不能查看到所有历史作业分析

Spark的HistoryServer能正常查看之前的历史作业日志,但新提交的作业在执行完成后未能在HistoryServer页面查看。

1.4K8
来自专栏Hadoop实操

在同时使用Hive+Sentry,因HMS死锁导致的高并发写入工作负载时,查询速度缓慢或者停滞

1725

扫码关注云+社区

领取腾讯云代金券