首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >Flink动态标度1.5

Flink动态标度1.5
EN

Stack Overflow用户
提问于 2018-07-09 07:41:45
回答 2查看 595关注 0票数 2

这与Flink 1.5中的动态重标度有关。

我使用Yarn来运行Flink作业。我从静态资源开始这些作业。是否有任何选项可以在特定情况下自行扩展这些任务,比如是否存在内存问题。

在Flink 1.5发行说明中 -

Applications can be rescaled without manually triggering a savepoint. Under the hood, Flink will still take a savepoint, stop the application, and rescale it to the new parallelism.

这意味着,我将不得不监视我的作业内存,并将不得不触发手动重燃。这些方法能解决这个问题吗。

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2018-07-09 20:48:34

从1.5开始,Flink并不支持你想要的。重新调整作业规模的过程是:

  1. 使用并行性initialParallelism和maxParallelism maxParallelism启动作业。
  2. 手动停止。
  3. initialParallelism <= parallelism <= maxParallelism重新运行它。
票数 3
EN

Stack Overflow用户

发布于 2018-07-10 10:37:59

您仍然需要监视您的应用程序,但是通过运行以下命令可以很容易地完成重新标度:

代码语言:javascript
运行
复制
./bin/flink modify -p <NEW-PARALLELISM>
票数 3
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/51240346

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档