腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

YG小书屋

专栏作者

64

文章

123679

阅读量

28

订阅数

脚本提交spark任务会自动重试

1）如果spark任务执行成功，不会自动重试 2）如果spark任务执行失败，手动提交时不会重试 3）如果spark任务执行失败，脚本自动调教时会重试一次配置参数--conf spark.yarn.maxAppAttempts=0即可。想不明白，为什么手动提交没有问题，脚本提交会自动重试。。看配置文件也没看到该配置，网上说默认是4。应该是yarn配置的是1。 spark.yarn.maxAppAttempts The maximum number of attempts that will b

2018-05-23

1.9K0

ES-Spark连接ES后，ES Client节点流量打满分析

问题描述前段时间用es-spark读取es数遇到了client节点流量打满的现象。es-spark配置的es.nodes是es的域名。由于其中一个client是master节点，然后普通查询变得特别慢，运行20多分钟后，主节点崩溃。解决方法临时解决方案：降低es-spark的并发，并重启主节点。最终解决方案：设置es.nodes.wan.only为false，即不用域名访问。将es.nodes配置为client节点的IP。原因分析域名访问时必须配置参数es.nodes.wan.only为true

2018-05-23

3.1K3

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态