为什么Flink框架没有使用所有可用的插槽？数据集应该在每个任务管理器中吗？
Flink框架没有使用所有可用的插槽是为了避免资源浪费和性能下降。插槽是指任务管理器中用于执行并行任务的资源单元，每个插槽可以执行一个任务。Flink框架根据任务的需求和资源的可用性来动态分配插槽，以实现最佳的资源利用率和任务执行效率。
数据集不一定需要在每个任务管理器中。Flink框架支持分布式数据处理，可以将数据集划分为多个分区，并将每个分区分配给不同的任务管理器进行处理。这样可以充分利用集群中的计算资源，提高数据处理的并行度和效率。同时，Flink框架还提供了数据流的转换和传输机制，可以在任务管理器之间进行数据的传输和交换，以实现分布式计算。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云Flink计算引擎：提供高性能、低延迟的流式数据处理能力，支持实时计算和批处理计算。详情请参考：腾讯云Flink计算引擎
- 腾讯云弹性MapReduce：提供大数据处理和分析的云服务，支持Flink等多种计算框架。详情请参考：腾讯云弹性MapReduce
- 腾讯云云服务器CVM：提供灵活可扩展的云服务器，适用于各种计算任务的部署和运行。详情请参考：腾讯云云服务器CVM
相关·内容
我使用的是VM，我的集群由3个任务管理器组成，主任务管理器也是jobmanager和taskmanager (4个任务管理器和一个作业管理器)，所以当我运行jar文件时，它只使用了一个插槽，而我有4个插槽，大约一个插槽用于一个任务管理器，我不知道为什么框架不使用</e
浏览 33提问于2020-01-04得票数 1
回答已采纳
我有一个在大型数据集上操作的Flink批处理作业。我的集群由25个节点组成，作为一个独立的集群运行。其中一个关键步骤的并行度为70，我希望每个任务管理器在该步骤中获得2到3个插槽，而实际上只使用了一半的工人，其中一些人分配了多达8个插槽(这是他们可以获得的最大值)。除了对数据局部性的<
浏览 94提问于2019-03-04得票数 3
假设我有一个包含3个节点的Flink集群。一个节点用于作业管理器，另外两个节点用于任务管理器。每个任务管理器有3个任务槽。因此，当我提交并行度等于2的作业时，Flink将分配两个任务槽。所以，我的问题是，Flink将如何分配这些任务槽？ 一些场景 Flink是否从每个任务<e
浏览 13提问于2020-08-23得票数 0
回答已采纳
2回答
官方的Flink文档指出，对于cpu中的每个核心，您必须分配一个插槽，并同时将并行级别增加1。 我的一个自定义操作符需要超过1个CPU进行计算(这就是它在Heron中的工作方式)。我的系统的cpu是2.5。但是Flink只使用了1个cpu。您知道如何将Flink配置为在只有一个插槽的情况下使用
浏览 112提问于2020-12-17得票数 0
回答已采纳
根据，有两个方面影响任务可用资源的数量：
任务管理器可用的任务槽数。每个TaskManager有一个插槽意味着每个任务组在单独的JVM中运行(例如，可以在单独的容器中启动)。拥有多个插槽意味着更多的</em
浏览 0提问于2018-11-30得票数 6
回答已采纳
我有一组3机器，每个机器都有4核。每台机器都有一个任务管理器。我知道Flink中的插槽数可以由taskmanager.numberOfTaskSlots控制。我最初总共分配了12插槽(每个任务管理器都有4插槽)。虽然插槽之间没有明确的CPU隔离(如前面提到的)，但我假设每个插槽</em
浏览 14提问于2022-06-07得票数 1
回答已采纳
我在一个由3台机器组成的集群上使用Apache 1.4，其中一台是JobManager，另外2台是主机TaskManagers。
我在集群模式下启动flink并提交flink作业。我已经在flink配置中配置了24个任务槽，对于该任务，我使用了6个任务插槽。在代码中，我启用了检查点，并将重新启动策略设置为fixedDelayRestart。当我提交作业时，我看到3个任务</
浏览 4提问于2018-01-15得票数 2
我是Flink的新手，计划在EKS上部署Flink会话集群，其中包含1个作业管理器和5个任务管理器(每个任务管理器有4个槽)。不同的作业将通过UI提交给不同的应用程序。指向本地文件路径，该作业总共使用了8个槽，它分布在两个任务管理器上，运行良好，一天内没有任何问题。因此，所有的状态信息都存储在checkpoin
浏览 1提问于2020-05-17得票数 1
回答已采纳
2回答
我正在尝试理解.yaml文档中flink插槽和并行性配置背后的逻辑。但我想这只是一个建议。举个例子，如果我有一个强大的核心(例如，最新的i7具有最大的GHz)，这与拥有有限GHz的旧i7是不同的。因此，运行比我系统的</
浏览 4提问于2017-05-15得票数 2
我使用执行WordCount。它的文件大小为10 of。但是，对于一个100 the的文件，shell抛出一个NullPointerException：
at org.apache.flink.api.common.accumulators.SerializedListAccumulator.deserializeList有什么问题吗？在使用env.getConfig.setParallelism(4)设置并
浏览 0提问于2015-10-27得票数 2
回答已采纳
我有一个简单的Flink作业，它从ActiveMQ源代码和接收器读取到数据库和打印。我使用2 TaskManagers在Kubernetes中部署作业，每个任务的Task Slots为10 (taskmanager.numberOfTaskSlots: 10)。我配置的并行性超过了可用的总TaskSlots (本例中为10 )。当我看到Flink Dashboard时，我看到这个作
浏览 2提问于2020-03-06得票数 2
我有一个参数p，它是只读的，就像机器学习模型一样。假设我可以使用分布式缓存来缓存每个任务管理器上的文件，这样每个任务就可以在本地加载它。如果为map(new MyMapFunction(p))，则p将被序列化并反序列化到每个运算符；如果缓存并加载，则每个任务将加载p的一个实例。假设我有4个任务管理器，每个任务<
浏览 149提问于2020-08-19得票数 0
回答已采纳
我在一个由15台机器组成的裸机集群上制作了一个Flink流应用程序的原型。我使用的是yarn-mode，有90个任务槽(15x6)。
该应用程序从单个Kafka主题读取数据。Kafka主题有15个分区，因此我也将源运算符的并行度设置为15。然而，我发现Flink在某些情况下会将2-4个使用者任务实例分配给同一个任务管理器。这会导致某些节点变得网络受限( Kafka
浏览 0提问于2018-08-10得票数 2
我正在使用Flink来处理Kafka的流数据。流程是非常基本的，从Kafka消耗，数据丰富，然后沉到FS。“划分元素循环，为每个分区创建相同的负载。在存在数据</e
浏览 4提问于2020-06-16得票数 2
回答已采纳
假设一个Flink Job (三个任务管理器<code>D0</code>，<code>D1</code>和<code>D2</code>)消耗Kafka主题作为源，流是如何在它们之间分配的？
浏览 15提问于2020-08-04得票数 1
我们有一个flink应用程序，它在开始时有一个地图操作符。使用过滤器将此操作的输出流路由到多个窗口函数。窗口函数的并行度均为1。我们形成窗口函数输出的并集，并将其传递给另一个map函数，然后将其发送到接收器。 我们需要两个map函数的并行度来获得环境的并行度。正如预期的那样，窗口函数的并行度确实是1。我们为每个任务管理器设置了1个插槽。 问题是，
浏览 48提问于2020-08-08得票数 0
回答已采纳
b/w Native Kubernetes和Kubernetes部署的主要区别是什么？ 我是Kubernetes的新手，并试图了解Flink在它们上的部署有何不同。如果对内部结构有任何了解，这将是非常有帮助的。
浏览 53提问于2020-08-06得票数 3
回答已采纳
在flink流处理框架中，我没有几个问题。请告诉我你对这些问题的意见。
假设我用task-manger/job-manger?If节点构建集群，其中使用m节点作为作业管理器(对于HA)，那么，剩下的节点(n-m)是每个节点中的问号管理器？，那么我们有n核，那么我们如何控制/使用特定数量的内核到中，然后添加新节点作为任务
浏览 10提问于2022-08-17得票数 0
在Spark中，有一些配置允许您限制在每个从服务器中使用的CPU数量：
taskmanager.numberOfTaskSlots:单个TaskManager可以运行<e
浏览 2提问于2017-06-23得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
