flink(12)-flink on yarn

yiduwangkai

发布于 2020-04-24 17:08:30

7880

发布于 2020-04-24 17:08:30

flink yarn flink on yarn有两种模式，分别是session cluster和per job

session cluster session cluster是一个long running的模式，先拉起一个flink集群，然后大家向这个集群提交任务集群启动的脚本如下

bin/yarn-session.sh -n4 -jm1024 -tm 4096 -s 2

任务运行模式同步和异步主要体现命令的区别在如下

同步
bin/flink run -c mainClass /path/to/user/jar
异步
bin/flink run -d -c mainClass /path/to/user/jar

per job per job，是每个任务对应一个集群，每次提交的时候会单独拉一个集群起来，任务run的命令如下

同步
bin/flink run -m yarn-cluster -d -c mainClass /path/to/user/jar
异步
bin/flink run -d -m yarn-cluster -d -c mainClass /path/to/user/jar

本文参与腾讯云自媒体分享计划，分享自作者个人站点/博客。

如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体分享计划，欢迎热爱写作的你一起参与！

登录后参与评论

0 条评论

热度