因此,我使用EKS部署一个EMR应用程序,遵循AWS的EMR研讨会,声明Fargate配置文件。
我尝试了所有的东西都是没有服务器的,所以即使我的EKS集群也运行在Fargate上(kube,default等等)。
我创建了一个带有Fargate配置文件的自定义命名空间,并提交了一个Spark作业。这份工作仍处于待定状态。
当我添加一些托管节点组时,作业已成功提交。
我尝试提交非常轻的作业,当我移除托管节点组时,激发作业处于待定状态。
Events:
Type Reason Age From Mes
我有一个奇怪的问题,在Kubernetes上运行的Spark作业失败了,在有很多随机操作的作业中,会出现很多"Missing a output location for shuffle X“。增加executor内存并没有什么帮助。在本地*模式下,相同的作业只在Kubernetes集群的一个节点上运行,但是运行得很好,所以我怀疑它与Kubernetes或底层Docker有关。当一个executor死了,pods会被立即删除,所以我不能追踪它失败的原因。有没有一个选项可以保留失败的pod,以便我可以查看它们的日志?
我正在尝试向Azure-Kubernetes- Gen2 (AKS)提交一个ADLS服务上的Pyspark作业,并得到以下异常:
Exception in thread "main" java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.fs.azurebfs.SecureAzureBlobFileSystem not found
at org.apache.hadoop.conf.Configuration.getClass(Configuration