job监控与hadoop权限管理

监测Hadoop控制中心及作业运行状况

MapReduce框架由一个单独的Master JobTracker和集群节点上的Slave TaskTracker共同组成, 在Hadoop的JobClient提交作业和配置信息给JobTracker之后，JobTracker会负责分发这些软件和配置信息给slave及调度任务，并监控它们的执行，同时提供状态和诊断信息给JobClient。为了检测Hadoop控制中心及作业运行状况，需要先从JobClient端连接到Jetty服务器，然后通过JonConf来获得Job相关静态信息，然后通过JonConf、JobID、JobClient、JobStatus、RunningJob之间的接口获得正在运行中的Job信息。同时，可以通过ClusterMetrics和QueueInfo获得相应集群信息和队列信息。为了进一步获得Task信息，需要通过JobClient、TaskReport、TaskStatus、ClusterStatus之间接口获得Task相应信息。

Hadoop统一权限管理

Hadoop统一权限管理分为用户分组管理和作业管理。其中用户分组管理用于按组为单位组织管理，某个用户只能向固定分组中提交作业，只能使用固定分组中配置的资源；同时可以限制每个用户提交的作业数，使用的资源量等。作业管理包括作业提交权限控制，作业运行状态查看权限控制等。如：可限定可提交作业的用户；可限定可查看作业运行状态的用户；可限定普通用户只能修改自己作业的优先级，kill自己的作业；高级用户可以控制所有作业等。