所以,我一直在尝试运行Spark-scala。(conf)
for(item <- pi) {}然后,我确保我的机器上的端口33291-当我运行该程序时,它成功地命中了spark集群,并且似乎分配了内核:但当程序实际运行hadoop作业时,应用程序日志显示:
15/12/07 11:50:21 INFO DAGSchedulercheck your cluster UI to
HADOOP(2.7.3)/SPARK (2.1)环境在单个节点集群中运行伪分布式模式。当在本地模型中运行时,应用程序工作得很好,但是在集群模式下,试图以纱线为RM来检查其正确性,并遇到了一些障碍。This timeout is controlled by spark.rpc.lookupTimeout
at org.apache.spark.rpc.RpcTimeout.org$apache$spark$rpc$RpcTimeout$$createRpcTimeout