我们的Spark web UI (当从Yarn UI或Spark History Server访问时)不再更新,当我查看正在运行的Spark应用程序(我们的应用程序在Hadoop/Yarn集群上以客户端模式运行似乎当我第一次在Spark web UI中查看应用程序时,我得到的是当前状态。但在此之后刷新浏览器窗口不会显示任何更新。只有在<
我想知道有没有办法让spark-submit临时改变yarn作业的配置?
这个问题是因为我们的Spark over yarn集群的历史服务器只允许管理员访问,这对用户检索自己的作业日志并不方便。我了解到mapreduce-default.xml中的"mapreduce.job.acl-view-job“可以更改特定作业的ACL。因为我正在使用spark-
我在AWS上以纱线集群模式运行spark应用程序。
如你所见,我无法从Web获取任何运行状态。从console中,我只能得到16/05/26 10:12:01 INFO yarn.Client: Application report for application_1464256533172_0002(state: RUNNING),它只是表明它是活动的。+++看起来还不错。至少已经显