Spark的HistoryServer不能查看到所有历史作业分析

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

1.问题描述

Spark的HistoryServer能正常查看之前的历史作业日志,但新提交的作业在执行完成后未能在HistoryServer页面查看。

2.问题复现

1.分别使用root和ec2-user用户执行作业

2.通过sparkHistory Server可以正常查看到所有历史作业

3.将/user/spark/applicationHistory目录的所属组修改为supergroup,再次执行作业

| sudo –u hdfs hadoop dfs –chown spark:supergroup /user/spark/applicationHistroy |

|:----|

作业执行完成

HDFS上正常记录了spark作业日志,但作业所属group为supergroup

sparkHistoryServer报异常,没有权限访问历史job目录

4.在History Server未查看到刚执行完成的007作业

3.问题原因

由于/user/spark/applicationHistory目录的所属组为supergroup,导致所有用户作业的目录均为supergroup组,之前能正常查看的历史作业由于目录的所属组任为spark。

4.解决方法

将/user/spark/applicationHistory目录及该目录下的子目录所属组修改为spark

| sudo –u hdfs hadoop dfs –chgrp –R spark /user/spark/applicationHistory |

|:----|

修改后所有历史作业均可正常查看

醉酒鞭名马,少年多浮夸! 岭南浣溪沙,呕吐酒肆下!挚友不肯放,数据玩的花!

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

原文发布于微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文发表时间:2017-09-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Jed的技术阶梯

Spark性能调优01-资源调优

在开发完Spark作业之后,就该为作业配置合适的资源了。 Spark的资源参数,基本都可以在spark-submit命令中作为参数设置。

13520
来自专栏分布式系统和大数据处理

安装和配置Hadoop集群(3节点)

在 安装和配置Hadoop(单节点) 这篇文章中,已经进行了Hadoop单机伪集群模式的部署。生产环境中,Hadoop都是以集群方式进行安装和部署的,否则,就不...

37850
来自专栏Hadoop实操

在同时使用Hive+Sentry,因HMS死锁导致的高并发写入工作负载时,查询速度缓慢或者停滞

18350
来自专栏个人分享

Hadoop on Yarn 各组件详细原理

  运行在独立的节点上的ResourceManager和NodeManager一起组成了yarn的核心,构建了整个平台。ApplicationMaster和相应...

15710
来自专栏Ken的杂谈

Hadoop高可用集群部署指南

Hadoop是一个由Apache基金会所开发的分布式系统基础架构,用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。

22130
来自专栏Hadoop实操

Cloudera Manager分发Parcel异常分析

在使用Cloudera Manager分发Parcel包时一直处于激活状态不变,相关CM日志及CM界面截图如下:

98170
来自专栏Hadoop实操

如何在Azkaban中安装HDFS插件以及与CDH集成

前面Fayson介绍了《如何编译安装Azkaban服务》和《如何编译Azkaban插件》,本篇文章主要介绍如何在Azkaban中安装HDFS插件以及与CDH集群...

1.3K80
来自专栏Hadoop实操

如何在CM中启用YARN的使用率报告

CDH的高级功能"群集利用率报告"(Cluster Utilization Report)是整个多租户方案体系里的一部分,可以用来查看租户的资源使用情况,并可以...

53450
来自专栏云计算教程系列

在腾讯云CVM上搭建Hadoop集群

本教程将介绍如何在腾讯云CVM上搭建Hadoop集群。Hadoop中是一个Apache的框架,可以让你通过基本的编程处理跨服务器集群的分布式方式的大型数据集。H...

26840
来自专栏Hadoop实操

如何在CDH集群中安装Hive2.3.3

63830

扫码关注云+社区

领取腾讯云代金券