以前在appengine库中的/_ah/mapreduce/status URL中有所有作业的仪表板。如果我使用com.google.appengine.tools:appengine-mapreduce:0.2并导航到/mapreduce/status页面,就会得到RuntimeException: Not Implemented。已经将仪表板移到appengine-pipeline项目了,还是简单地删除了?
如果没有任何开箱即用的仪表板,那么自己创建类似的仪表板的最好方法是什么呢?
我需要运行一个同时安装了Dataproc和cluster连接器的BigQuery集群。
我使用的一个变体(因为我无法访问一般使用的存储桶),一切正常工作,但是当我运行一个作业时,当集群启动并运行时,它总是导致一个Task was not acquired错误。
我可以通过简单地在每个节点上重新启动dataproc代理来修复这个问题,但是我确实需要这样做才能在集群创建后立即运行作业。该脚本的这一部分似乎没有正常工作:
# Restarts Dataproc Agent after successful initialization
# WARNING: this function relies
我在google dataproc上运行apache spark java作业。该作业创建spark上下文,分析日志,最后关闭spark上下文。然后为另一组分析创建另一个spark上下文。这种情况会持续50-60次。有时我会反复收到错误Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources。 根据对SO的回答,当启动作业时没有足够的可用资源时,就会发生这种情况。但这通常发生在工作中途
如何能够向Google (PySpark)提交多个作业,并将不适合当前执行器的作业排队?
只有提交作业才不适用于排队,这里是下列任何作业的输出:
$ gcloud dataproc jobs submit pyspark myjob.py
...
WARN Utils:70 - Service 'SparkUI' could not bind on port 4040. Attempting port 4041
为此,纱线应采用“队列”参数。但是,我找不到与dataproc一起使用它的文档.?
我在Google Dataproc上运行MLLIb Spark Jobs。这些作业是计算密集型作业,需要超过20分钟才能完成。
但是,当我转到"Cluster details“web UI时,它将以图形形式显示"cpu利用率”,无论我选择什么时间间隔,我都只能得到一条"No data for this time interval“消息。
对我来说,这是一个完全不起作用的UI。不仅对我,而且对我公司中使用Dataproc的其他人也是如此。
知道会发生什么事吗?可能是时区问题吧?