我在Google Cloud中创建了一个集群,并提交了一个spark作业。然后,我使用these instructions连接到UI :我创建了一个ssh隧道,并使用它打开Hadoop web界面。但这份工作并没有出现。
一些额外的信息:
spark-shell
,这个“作业”确实会出现在hadoop web界面上。发布于 2018-12-19 04:58:12
问题是我在本地模式下运行作业。我的代码中有一个.master("local[*]")
导致了这个问题。删除它后,作业会像以前一样显示在Hadoop UI中。
https://stackoverflow.com/questions/53100710
复制相似问题