首页
学习
活动
专区
工具
TVP
发布
社区首页 >问答首页 >Spark作业未显示在Google Cloud的Hadoop UI中

Spark作业未显示在Google Cloud的Hadoop UI中
EN

Stack Overflow用户
提问于 2018-11-01 19:48:48
回答 1查看 89关注 0票数 1

我在Google Cloud中创建了一个集群,并提交了一个spark作业。然后,我使用these instructions连接到UI :我创建了一个ssh隧道,并使用它打开Hadoop web界面。但这份工作并没有出现。

一些额外的信息:

  1. 如果我通过ssh连接到集群的主节点并运行spark-shell,这个“作业”确实会出现在hadoop web界面上。
  2. 我很确定我以前做过,我可以看到我的作业(包括正在运行和已经完成的)。我不知道这中间发生了什么让他们不再露面。
EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2018-12-19 04:58:12

问题是我在本地模式下运行作业。我的代码中有一个.master("local[*]")导致了这个问题。删除它后,作业会像以前一样显示在Hadoop UI中。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/53100710

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档