1)如果spark任务执行成功,不会自动重试 2)如果spark任务执行失败,手动提交时不会重试 3)如果spark任务执行失败,脚本自动调教时会重试一次
配置参数--conf spark.yarn.maxAppAttempts=0即可。 想不明白,为什么手动提交没有问题,脚本提交会自动重试。。看配置文件也没看到该配置,网上说默认是4。应该是yarn配置的是1。
spark.yarn.maxAppAttempts The maximum number of attempts that will be made to submit the application. It should be no larger than the global number of max attempts in the YARN configuration.