前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >脚本提交spark任务会自动重试

脚本提交spark任务会自动重试

作者头像
YG
发布2018-05-23 17:24:20
1.9K0
发布2018-05-23 17:24:20
举报
文章被收录于专栏:YG小书屋YG小书屋

1)如果spark任务执行成功,不会自动重试 2)如果spark任务执行失败,手动提交时不会重试 3)如果spark任务执行失败,脚本自动调教时会重试一次

配置参数--conf spark.yarn.maxAppAttempts=0即可。 想不明白,为什么手动提交没有问题,脚本提交会自动重试。。看配置文件也没看到该配置,网上说默认是4。应该是yarn配置的是1。

spark.yarn.maxAppAttempts The maximum number of attempts that will be made to submit the application. It should be no larger than the global number of max attempts in the YARN configuration.

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2018.05.08 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档