基于NAT的Flink任务管理器

文章/答案/技术大牛

发布

1回答

apache-flink、nat

我正在尝试通过NAT运行Flink集群，其中通告的端口将不同于绑定端口。在Flink中有对此的支持吗？我查看了配置和源代码，但没有注意到支持NAT的任何提示。如果没有，推荐的实现方法是什么？

浏览 23提问于2020-01-26得票数 0

回答已采纳

1回答

如何使Flink任务管理器在K8s上运行

kubernetes、apache-flink、taskmanager

我使用以下命令在本机K8s上使用会话模式创建了一个Flink集群：基于。我能够向集群提交作业并查看Flink UI。但是，我注意到，Flink只在作业提交时创建一个任务管理器结荚，并在作业完成后立即删除它。以前，我在Google上尝试使用基于纱线的部署，使用该

浏览 10提问于2022-08-30得票数 1

回答已采纳

1回答

我在一个由3台机器组成的集群上使用Apache 1.4，其中一台是JobManager，另外2台是主机TaskManagers。我在集群模式下启动flink并提交flink作业。我已经在flink配置中配置了24个任务槽，对于该任务，我使用了6个任务插槽。在代码中，我启用了检查点，并将重新启动策略设置为fixedDelayRestart。当我提交作业时，我看到3个任务被分配给工人机器1，3个任务分配给工作机器2。现在，当我在Work

浏览 4提问于2018-01-15得票数 2

1回答

在Flink独立集群中运行多个Flink程序(v1.4.2)

apache-flink、flink-streaming

我有一个基于Flink 1.4.2的Flink独立集群(1个作业管理器，4个任务槽)，并想提交两个不同的Flink程序。不确定这是否可能，因为一些flink归档文件说一个作业管理器只能运行一个作业。Flink集群只有一台机器可用，我们不想使用任何资源管理器，比如Mesos或Yarn。有什么提示吗？

浏览 2提问于2018-06-12得票数 3

1回答

本地模式下任务管理器的Apache数量

apache-flink

我正在开发一个基于Apache (1.5.0)的流式应用程序。作为其中的一部分，我已经在我的Windows机器上以本地模式启动了Flink。为了以8的并行度运行我的工作，我需要8个任务管理器每个提供一个任务槽。我添加了一个任务管理器，命令如下： /cygdrive/b/Binaries Flink/flink</em

浏览 1提问于2018-06-11得票数 2

回答已采纳

1回答

使用Docker构建Maven项目并作为Flink作业提交

java、docker、maven、docker-compose、apache-flink

我正在尝试使用docker构建一个maven项目，并在flink中提交一个生成的jar。但最终，还是有一些例外发生了。任何人都可以帮助我解决这个异常。=/opt/flink ENTRYPOINT [".io.netty.util.internal.ThreadExecutorMap$2.run(ThreadExecutorMap.jav

浏览 59提问于2020-08-08得票数 0

1回答

将Flink* keyby与大量的key一起使用是否正确？*

apache-flink、flink-streaming

如果有1000万个订单，200,000个或更多的商家。现在我需要计算每个商家的订单数量，所以我使用以下方法(参见代码)。这是正确的吗？因为会有很多键，我不知道Flink会不会把每个键都放进去，也不知道会不会导致OOM？

浏览 135提问于2021-01-07得票数 0

回答已采纳

3回答

如何使用部署在Kubernetes上的Flink运行Beam管道？

python、kubernetes、apache-flink、apache-beam

当Flink在Kubernetes中作为吊舱运行时，有人知道如何使用Flink运行Beam管道吗？我已经成功地使用可移植运行程序和作业服务成功地运行了Beam管道，该服务指向在Docker容器中运行的本地Flink服务器。我实现了在我的Flink容器中挂载Docker套接字，并将Flink作为根进程运行，因此类DockerEnvironmentFactory可以创建Python线束容器。不幸的是，当Flink在Kubernetes中运

浏览 0提问于2019-09-09得票数 3

1回答

在Yarn上运行Flink* 1.5*

apache-flink

我们在hadoop 2.6群集上运行Flink 1.5.0 Yarn会话。./bin/yarn-session.sh -n 4 -jm 1024 -tm 4096 -qu但是这不会启动任何任务管理器。日志上说Flink JobManager是从leader id 000000开始的...在JobManager web界面中也没有任务管理器。当我们向这个jobManager提交一个flink作业时，一些任务管

浏览 10提问于2018-08-21得票数 0

1回答

如何在windows上重新启动Flink任务管理器？

apache-flink、flink-streaming

我的目标是杀死Flink任务管理器，然后在Windows上重新启动它。这是需要的，以刺激错误在Flink，以便我可以看到检查点工作。通过查找任务管理器所侦听的端口，我找到了任务管理器PID。因此，杀死这个PID应该会杀死任务管理器，但是我无法找到在windows上重新启动Flink任务管理器的

浏览 0提问于2020-03-01得票数 0

回答已采纳

1回答

如何从会话模式切换到Flink应用部署的作业模式？

config、apache-flink

此外，我们通过一个ansible角色在openshift上设置了flink集群，但不幸的是，它不是从ansible galaxy存储库中获取的，所以我不能引用任何已发布的设置。可能，大多数配置更改都必须在上面提到的配置flink文件之外的地方完成。我不明白的是，如何控制提交新作业会自动为每个作业派生一对新的作业管理器和一个任务管理器(1+1)实例，而不是只使用一个作业管理器

浏览 33提问于2019-09-06得票数 1

回答已采纳

2回答

并行性在Apache Flink中是如何工作的？

apache-flink

假设我有一个包含3个节点的Flink集群。一个节点用于作业管理器，另外两个节点用于任务管理器。每个任务管理器有3个任务槽。因此，当我提交并行度等于2的作业时，Flink将分配两个任务槽。所以，我的问题是，Flink将如何分配这些任务槽？一些场景 Flink是否从每个任务管理器分配一个

浏览 13提问于2020-08-23得票数 0

回答已采纳

1回答

如何在提交作业时设置flink任务管理器内存

memory-management、apache-flink、batch-processing、taskmanager

如果我向flink和提交了一个作业，那么我知道此任务所需的最大内存。如何调整工作中的任务管理器内存？或者只有修改源代码才能达到我的目的？

浏览 7提问于2022-05-01得票数 0

回答已采纳

1回答

在Flink* 1.14.0中为特定任务管理器指定插槽共享组*

apache-flink、flink-streaming

我正在尝试Flink 1.14中的细粒度资源管理特性，希望它能够为某些TaskManagers分配特定的运算符。按照中的示例代码，我现在可以定义我想要的任务共享组(使用setExternalResource)，但我没有看到任何选项来“分配”具有此“外部资源”功能的TaskManager工作者实例。遵循中基于GPU的示例，如何确保Flink“知道”哪个任务管理器实际上拥有所需

浏览 1提问于2021-11-09得票数 0

回答已采纳

1回答

Apache作业没有安排在Kubernetes中的多个TaskManagers上(副本)

kubernetes、apache-flink、flink-streaming、flink-cep

我有一个简单的Flink作业，它从ActiveMQ源代码和接收器读取到数据库和打印。我使用2 TaskManagers在Kubernetes中部署作业，每个任务的Task Slots为10 (taskmanager.numberOfTaskSlots: 10)。我配置的并行性超过了可用的总TaskSlots (本例中为10 )。当我看到Flink Dashboard时，我看到这个作业只在一个TaskManager中运行，而另一个TaskManager没有乔布斯。我验证了

浏览 2提问于2020-03-06得票数 2

1回答

Flink特定TaskManager的高CPU使用率

apache-flink、flink-streaming

使用Flink v1.13，我有3个任务管理器和1个作业管理器，它们的流没有限制，使用rocksdb作为状态后端(它们都运行着独立的服务器)。当我启动flink应用程序时，任务管理器的一个cpu负载高于其他任务管理器。我只是使用以下方法计算任务管理器jvm cpu负载：(flink_taskmanager_Status_JVM_

浏览 19提问于2022-01-12得票数 1

1回答

Flink职务群集与会话群集-部署和配置

java、docker、deployment、apache-flink、flink-streaming

我们不希望每个Flink集群部署一个以上的作业。在这

浏览 1提问于2020-01-10得票数 2

回答已采纳

1回答

如何通过JMX远程连接Flink？

jmx、apache-flink

对于我即将到来的学士学位论文，我想开发一个工具，从Apache Flink收集系统和应用程序数据，并将这些数据以某种“事件”的形式发送到另一个系统。此工具将安装在Flink作业和任务管理器节点上。除了来自dstat等linux系统实用程序的数据之外，我还想收集JMX数据。我的问题是，我不知道如何通过远程JMX连接来使用端口与jobmanager建立连接。虽然收集器将在同一台机器上，但我确实尽量避免使用--javaagent来访问Flink</

浏览 0提问于2016-04-28得票数 4

1回答

如何在Apache中的分布式运行时管理内存？

java、java-8、apache-flink、distributed-caching

我们正在Java 8中构建一个基于Apache的数据流处理应用程序，我们需要维护一个对象的状态完整列表，这些对象的特性每10秒通过源流更新一次。根据规范，如果可能的话，我们必须不使用分布式存储。所以，我的问题是关于Flink的内存管理器:在集群配置中，它是否复制任务管理器使用的内存？或者有什么方法可以使用Flink的分布式内存解决方案呢？

浏览 1提问于2017-03-12得票数 0

回答已采纳

1回答

纱线上的链接:如何指定任务经理的数量？

apache-flink

在Flink的早期版本(例如)中，我可以为使用-n的会话模式和使用-yn的每个作业模式指定任务管理器的数量，但是这些标志在Flink的后期版本(例如)中并不存在。想知道如何为较新版本的Flink设置纱线任务管理器的数量？或者，我可以使用哪些相关属性来控制Flink所使用的资源？

浏览 4提问于2022-10-08得票数 0

点击加载更多