flink作业的最佳heartbeat.timeout配置
Apache Flink 是一个分布式流处理框架，用于处理无界和有界数据流。在 Flink 中，heartbeat.timeout 是一个重要的配置参数，它用于设置心跳超时时间。心跳机制是 Flink 集群中 TaskManager 和 JobManager 之间保持连接的一种方式，用于报告状态和接收指令。
基础概念
心跳（Heartbeat）是一种系统监控机制，用于检测和诊断分布式系统中的节点是否存活。在 Flink 中，TaskManager 定期向 JobManager 发送心跳信号，以表明其状态正常。
配置优势
- 及时发现问题：合理的心跳超时配置可以帮助系统及时发现节点故障，从而快速进行故障转移或恢复。
- 资源管理：通过心跳机制，JobManager 可以更好地管理集群资源，例如分配任务或回收资源。
类型
心跳超时配置通常有以下几种类型：
- 静态配置：在 Flink 配置文件中直接设置一个固定的心跳超时时间。
- 动态配置：根据集群的负载和状态动态调整心跳超时时间。
应用场景
心跳超时配置适用于所有需要监控节点状态的分布式系统，特别是在高可用性和容错性要求较高的场景中。
配置建议
heartbeat.timeout 的默认值通常是 10000 毫秒（10 秒）。这个值可以根据具体的应用场景和集群规模进行调整。一般来说，心跳超时时间应该设置得足够长，以避免因为网络抖动等原因导致的误判，但也不能太长，以免延迟故障检测。
遇到的问题及解决方法
如果在 Flink 作业中遇到了心跳超时的问题，可能是由于以下原因：
- 网络问题：检查集群中的网络连接是否稳定。
- 资源不足：TaskManager 所在的机器资源（CPU、内存等）是否充足。
- 配置不当：心跳超时时间设置得过短。
解决方法
- 增加心跳超时时间：
- 增加心跳超时时间：
- 上述配置将心跳超时时间设置为 60 秒。
- 优化资源分配：确保 TaskManager 所在的机器有足够的资源来处理任务和发送心跳。
- 检查网络连接：确保集群中的所有节点之间的网络连接是稳定的。
参考链接
通过合理配置 heartbeat.timeout，可以确保 Flink 集群的稳定性和可靠性。
相关·内容
我们在应用程序模式下的Kubernetes上运行Flink作业，问题是当作业完成/停止时，作业管理器容器将退出，但1.任务管理器的部署2.作业管理器服务3.删除将仍然存在，除非我们运行kubectl configMap来清除它。
如果我们手动停止作业，这并不是什么大问题，但如果我们的Flink作业是一个批处理作业，稍后将完成，这意味着我们需要一个外部服务来监视作业管理器容器，并在完成后清理剩余资源，这是不太实际的。
我想知道这里的最佳实践是什么？我们是否支持在Kubernetes上运行Flink批处理作业？如果是，那么Flink作业本身应该有一种方法在它完成时清理所有东西，对吗？
浏览 5提问于2021-02-20得票数 0
1回答
对于Flink流/ Flink有状态函数，众所周知，对于小值(例如5ms)的setBufferTimeout将提供“最佳”延迟体验。其他推荐的配置值是什么，您必须注意(设置、重置、修改.)当优化Flink流或有状态函数中的延迟时，作业？
浏览 8提问于2020-09-18得票数 1
回答已采纳
嗨，我是Flink的新手，并试图用下面的场景找出一些最佳实践：
我正在处理一个Flink作业，它从多个CSV文件中读取唯一的数据。CSV中的每一行都由三列组成: userId、appId、name。我必须对这些记录进行一些处理(大写名称)，并将记录发布到Kafka主题。
我们的目标是过滤掉任何存在的重复记录，这样我们在输出Kafka主题中就没有重复的消息了。
我正在对流执行一个keyBy(userId，appId)，并保持布尔值状态“处理”，以筛选出重复的记录。
问题是当我在处理文件的过程中取消任务管理器时，为了模拟失败，一旦文件重新启动，它将从一开始就开始处理该文件。
这是一个问题，因为在任
浏览 3提问于2022-09-19得票数 0
我有一个flink作业，它使用logback作为日志框架，因为需要将日志发送到logstash，而logback有一个logstash (Logstash appender )。当flink作业从Eclipse这样的IDE运行时，我可以在logstash中看到应用程序日志。日志配置文件logback.xml放在src/main/resources中，并包含在类路径中。即使在IDE之外的命令行运行作业时，日志记录也可以正常工作。
但是，当我通过flink仪表板将此作业部署到flink集群(独立，开始使用./start-cluster.bat)时，logback配置将被忽略，日志不会发送到logs
浏览 1提问于2018-11-29得票数 3
回答已采纳
我使用Yarn来运行Flink作业。对于每个Flink作业，我都要创建一个检查点。
我提交一个在我的Yarn集群中运行的Flink作业。我有一个轮询作业，它检查一个作业是否在Yarn上失败并重新启动它。当作业再次提交时，Yarn为该Flink作业创建一个新的application_id。如何配置重新提交的Flink作业以使用重新启动的Flink作业的检查点。
我已将conf state.savepoints.dir = hdfs://localhost:9000/checkpoint/设为flink-conf. have‘
创建Flink作业时，streamExecutionEnvironme
浏览 0提问于2018-05-22得票数 0
回答已采纳
我正在尝试将使用SSIS包创建的数百个提要文件ETL作业替换为apache作业(以及kuberentes作为底层代码)的可行性。我在一些文章中看到的一条建议是“为一种类型的作业使用一个flink集群”。
由于我每天都有几个作业类型，这意味着最好的方法是在执行作业时动态创建闪烁群集，并销毁它以释放资源，这样做正确吗？我要在没有职务经理的情况下设置Flink群集。
任何关于批量ETL活动使用flink的最佳实践的建议。
也许是最重要的问题: flink是问题陈述的正确解决方案，还是我应该更多地研究Talend和其他经典ETL工具？
浏览 2提问于2020-08-17得票数 0
回答已采纳
1回答
我正在尝试从Apache收集指标到Prometheus。Flink文档说，我需要在我的flink- that . says中添加以下几行：
metrics.reporter.promgateway.class: org.apache.flink.metrics.prometheus.PrometheusPushGatewayReporter
metrics.reporter.promgateway.host: localhost
metrics.reporter.promgateway.port: 9091
metrics.reporter.promgateway.jobName: myJob
浏览 0提问于2018-11-19得票数 3
回答已采纳
我们需要在不同的flink作业中使用不同的log4j.properties配置。我们在纱线上使用flink。那么如何在Flink作业中使用定制log4j呢？谢谢！！
浏览 57提问于2021-07-23得票数 1
我在同一个Flink项目中有多个工作。我想知道，当我向Flink集群提交作业时，我不知道哪个作业正在为这个提交的jar运行。例如：
我在同一个flink项目中有两个作业，创建jar然后将其部署到集群。然后，我使用相同的jar提交两个作业。
然后，我更改job2，并创建新的jar文件。然后使用新上传的jar提交job2。
在这种情况下，当查看提交UI时，我真的不知道哪个作业是从这个jar中提交的。
为了防止这种情况，我可以创建多个具有不同jar名称的flink项目。
注意:我正在使用CI/CD管道，如果在同一项目中有多个作业，则无法动态创建jar名称。
这方面的最佳实践是什么？
浏览 7提问于2021-04-21得票数 0
最近，我遇到了一些关于开发flink作业的问题，它引入了spring和hibernate，作业将在flink集群上运行。因此，在任务管理器上运行flink运算符之前，需要初始化spring资源，而不是作业manager.But，我找不到合适的StreamExecutionEnvironment方法来实现。
以下是我尝试过的一些方法：
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
ApplicationContext context = new ClassPathXml
浏览 4提问于2016-11-11得票数 4
我开发了一个Flink作业，并使用Apache Flink仪表板提交了我的作业。根据我的理解，当我提交作业时，我的jar应该在Flink服务器上可用。我试着找出我的jar的路径，但不能。Flink是否将这些jar文件保存在服务器上？如果有，我在哪里可以找到？有什么文档吗？请帮帮忙。谢谢!
浏览 19提问于2018-08-21得票数 2
回答已采纳
我在一个独立的flink集群上运行作业，只有一个作业管理器，在一个docker容器中运行。每当集群崩溃并重新启动时，我必须再次手动提交作业才能启动。有没有办法让flink在群集重新运行后自动恢复作业？
浏览 74提问于2020-01-29得票数 0
回答已采纳
我们应该如何决定flink作业的最佳heartbeat.timeout配置。我正在使用flink 1.10.3，我的服务由于心跳超时异常而失败。当前设置的默认值为50秒。
浏览 1201提问于2021-08-10得票数 0
回答已采纳
1回答
我正在尝试部署一个带有docker compose的flink集群，这一直工作得很好，但是只要作业管理器重新启动，它就会丢弃所有的JAR文件。 根据flink网站：https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/docker.html 我需要像这样挂载文件夹位置：- /host/path/ to /job/artifacts:/opt/flink/usrlib 但是，成功执行此操作后，管理界面中似乎没有可用的作业。我可以进入容器，并看到挂载已成功 是不是找错地方了？还是我在这里还遗漏了什么？ 谢谢!
浏览 88提问于2020-11-11得票数 0
各位朋友：
我们有几个flink作业-作为单独的可执行Jars构建
每个flink作业都使用以下内容来运行-
> StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
>
> try {
> env.execute("FLINK-JOB");
> } catch (Exception ex) {
> // Some message
>
浏览 5提问于2019-02-22得票数 1
我有多个flink作业在独立群集上运行。我想为不同的flink作业不同的日志文件。那么如何在提交flink作业时传递不同log4j.properties文件呢？
浏览 1提问于2016-07-08得票数 3
我计划从Flink 1.5.2升级到1.6.0，然后进行作业迁移。为了最大限度地减少作业的暂停时间，我计划同时运行两个Flink集群，在成功迁移作业后，我会停止旧的。但是，当我尝试通过运行目录Flink1.5.2/bin中的stop-cluster.sh来停止Flink集群时，我发现停止的集群是Flink 1.6.0，而不是预期的Flink 1.5.2。
我做了一些测试，发现stop-cluster.sh只是停止最近启动的Flink集群，也就是说，如果你先启动集群1.6.0，然后启动Flink 1.5.2，之后当你运行stop-cluster.sh时，即使你在集群1.6.0目录Flink1.6
浏览 23提问于2018-08-30得票数 1
回答已采纳
2回答
如何在Flink转换中更新配置？
、、、、
给定一个Flink流作业，该作业将map()操作应用于流。
此map()操作从某些属性读取其配置，并相应地映射数据。例如，配置指定读取属性"input"，并使用不同的属性名"output“将其写入流。这个已经很好了。
现在，配置发生了变化，例如，转换将为输出使用不同的属性名。
因此，我正在寻找一种方式，让所有的Flink任务重新阅读一个新的配置在运行时。
有没有可能
将KafkaSourcewait挂起，直到管道耗尽(flush)trigger集群中的所有任务，以重新读取配置文件(coordinated)resume (coordinated)resume KafkaS
浏览 13提问于2022-10-11得票数 0
在需要时暂停或重新启动Flink作业的计算资源与持续运行Flink作业相比有什么好处？这是用于用例，新文件每天到达并在一小时内被摄入。这些工作现在一直在运行。但是想知道关于这种用例的任何最佳实践，这样就可以在向云迁移时对计算进行优化。
浏览 5提问于2021-06-18得票数 1
回答已采纳
我知道乔布斯可以通过flink或flink.bat向flink.bat提交。我想知道Flink是否提供Java来向JobManager提交作业？
浏览 4提问于2017-08-19得票数 1
回答已采纳
我有一个定期触发的批处理作业，它将数据写入MongoDB。这项工作大约需要10分钟，之后我想接收这些数据，并用Apache Flink做一些转换(映射，过滤，清理...)。记录之间有一些依赖关系，这意味着我必须将它们放在一起处理。例如，我喜欢转换来自客户id为45666的最新批处理作业的所有记录。结果将是一个聚合记录。
有没有什么最佳实践或方法可以做到这一点，而不用自己去实现所有东西(从最新的工作中获取不同的客户ids，为每个客户选择记录并转换，标记转换后的客户，等等)？
我无法流式传输它，因为我必须将多个记录转换在一起，而不是逐个转换。
目前我正在使用Spring Batch，MongoDB
浏览 1提问于2018-07-30得票数 1
2回答
我想将NewRelic工具添加到flink作业中。我看不出在哪里可以向bin/flink run <job>命令传递额外的类路径/其他参数。
NewRelic java代理希望将-javaagent:<path to jar>添加到执行路径中。传递配置文件路径也是可取的。
编辑：
我在所有(3)集群机器上将这一行添加到conf/flink-conf. this中：
env.java.opts: "-javaagent:/opt/newrelic/newrelic.jar -Dnewrelic.config.file=/opt/newrelic/newrelic
浏览 1提问于2015-11-22得票数 7
我们在hadoop 2.6群集上运行Flink 1.5.0 Yarn会话。./bin/yarn-session.sh -n 4 -jm 1024 -tm 4096 -qu但是这不会启动任何任务管理器。日志上说Flink JobManager是从leader id 000000开始的...在JobManager web界面中也没有任务管理器。当我们向这个jobManager提交一个flink作业时，一些任务管理器确实会在执行该作业的web界面上产生。这是从Flink1.5.0开始的预期行为吗？以同样的方式运行Flink1.4.2确实会在启动时产生任务管理器。
浏览 10提问于2018-08-21得票数 0
我正在尝试调优使用FlinkOperator部署的flink作业的内存配置。下面是我正在使用的内存设置。如本文档所述，我只配置了全部内存。
taskmanager.memory.process.size: "8000m"
taskmanager.memory.task.off-heap.size: "500m"
taskmanager.memory.jvm-metaspace.size: "250m"
当作业开始处理时，指标显示flink_taskmanager_Status_Flink_Memory_Managed_Used始终为零。其中fl
浏览 12提问于2022-12-04得票数 1
我对Flink世界很陌生，我想通过在SensorTimeAssigner和AvegrageTemperatureWindow函数类中放置be断点来逐行调试Flink作业。跟随本文
请帮助我调试FLink IDE中的IntelliJ作业。
io.github.streamingwithflink.chapter1.AverageSensorReadings.java
浏览 8提问于2022-01-26得票数 0
回答已采纳
我负责EMR的Flink作业。在我的EMR集群中，我可以在s3 Log URI:s3://aws-logs-xxxxx/elasticmapreduce/中看到我的作业日志，我的主节点中也有一些/usr/lib/flink/log/下的日志。因为我们只为根空间配置了20G，所以由于这些日志文件(flink-flink-historyserver-xxxxx.log)在/usr/lib/flink/log/下很容易达到限制。
我的问题是：
在/usr/lib/flink/log/As中定义写入日志文件的--只要我们已经登录了s3，我们还需要/usr/lib/flink/log/下的日志吗？，有什
浏览 3提问于2021-09-23得票数 0
Flink官方文档为单机版和Yarn Flink集群提供了jobmanager高可用性解决方案。但是，使用Mesos Flink集群应该如何实现高可用性？ 我了解到Flink依赖于马拉松来带来失败的JobManager，但它也有一个问题:每次作业管理器重新启动时，作业都会被重新部署。这对于任务关键型作业是不可接受的。是否有解决此问题的方法？或者是否有计划在Mesos模式下使用Flink来支持完整的高可用性？
浏览 25提问于2019-03-13得票数 0
问题
在运行在服务器上的Flink独立集群上，我正在Scala中开发Flink流作业。该作业消耗来自超过1个Kafka主题的数据(做一些格式化，并将结果写入HDFS )。
卡夫卡主题之一和HDFS都需要单独的Kerberos身份验证(因为它们属于完全不同的集群)。
我的问题是：
有可能(如果有，怎么做？)要使用Flink集群上运行在服务器上的Flink作业中的两个Kerberos键选项卡(一个用于Kafka，另一个用于HDFS)？(因此Flink作业可以同时使用Kafka主题并同时写入HDFS )
如果不可能，在Kafka和HDFS都受到Kerberos保护的情况下，对于Kafka-F
浏览 0提问于2018-05-02得票数 5
回答已采纳
我是flink的新手，我部署了我的flink应用程序，它基本上执行简单的模式匹配。它部署在库伯奈特斯集群，拥有1 JM和6 TM。我每10分钟发送一次4.4k和200k大小的消息，并执行负载测试。我添加了重新启动策略和检查指向，如下所示，我没有显式地使用代码中的任何状态，因为不需要它。
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
// start a checkpoint every 1000 ms
env.enableCheckpointing(inter
浏览 4提问于2020-12-04得票数 0
2回答
我正在寻找建议/最佳实践，以确定在Flink集群上部署流作业所需的最佳资源。
资源是
不是的。每个TaskManager的任务插槽
TaskManager的最优内存分配
最大并行性
浏览 1提问于2020-07-30得票数 5
我的Flink流媒体工作在当地的Kubernetes中启动和运行。作业从Kafka主题中读取，对其进行一些(无状态)计算，并将其写回另一个Kafka主题。作业的检查点保存在S3中。Flink的命令行工具在单荚(副本)中部署作业，那么如何增加副本以并行地增加对数据的操作&作业的吞吐量？
浏览 21提问于2022-08-01得票数 0
我有一个Flink作业，其中我正在读取文件夹中的文件，并将其转储到数据库中。每天都会有新文件进入该文件夹。 我已经启用了检查点，以便如果由于任何原因Flink作业停止并且我需要重新启动，Flink作业不应该读取已经读取的文件。 我在代码中添加了以下代码行，但当我重新启动作业时，Flink作业再次读取所有文件。 env.setStateBackend(new FsStateBackend("file:///C://Users//folder"));
env.enableCheckpointing(10L);
浏览 44提问于2019-01-23得票数 5
我有一个使用Apache Flink (flink版本: 1.8.1)的作业流，使用scala。有如下流作业要求: Kafka ->写入Hbase ->再次发送到kafka使用不同的主题 在写入Hbase的过程中，需要从另一个表中检索数据。为了确保数据不为空(NULL)，作业必须(在一定时间内)重复检查数据是否为空。 Flink可以做到这一点吗？如果是，您能提供与我的需求类似的情况的示例吗？ 编辑:我的意思是，对于我在内容中描述的问题，我想过必须在作业流中创建某种类型的作业批处理，但我找不到适合我的情况的示例。那么，是否可以在流式flink作业中创建批处理flink作业？如果是，
浏览 46提问于2020-12-21得票数 1
我们已经在2个ec2实例的集群上安装了Dolphinscheduler 1.3。我们想要运行一个计划的flink作业。 我们有一个AWS EMR集群，并在其上运行Flink。 如何让DS管理EMR群集上的作业？我在DS上看到的唯一工作者组是“默认”工作者组，它包含我们安装DS的两个实例。
浏览 62提问于2021-01-15得票数 0
假设我的Flink工作收到了一系列股票价格(举个例子)，如果某只股票跌破了一定的价格，我们就会发出警告。用户可以添加或删除这些警报条件。例如，用户abc@somemail.com创建了一条规则，以便在GME价格低于100美元时发出警告。我的Flink作业如何以可伸缩的方式动态跟踪所有这些警报条件？
我可以创建一个API，我的Flink作业可以调用这个API来获取所有更新的警报标准，但这意味着要多次调用API以保持每件事情都是最新的。
或者我可以用Flink表API创建一个永久表，一旦用户创建了一个新的警报标准，Flink作业就会更新该表。
这个用例的最佳实践是什么？
备注：
应以最小的延迟
浏览 4提问于2021-02-02得票数 0
回答已采纳
我已经在AWS ECS中部署了自己的flink设置。一个服务用于JobManager，一个服务用于任务管理器。我正在为作业管理器运行一个ECS任务，为任务经理运行3个ecs任务。
我有一种批处理作业，我每天都使用flink rest上传新参数，当我每次提交磁盘内存增加600 S3时，我给出了一个检查点作为S3。我还把historyserver.archive.clean-expired-jobs设为真。
因为我在ECS上运行，所以在每次jar上传和执行时都找不到内存增加的原因。
我应该看的flink配置参数是什么，以确保内存不是在每一个新的作业上传上都会出现呢？
浏览 2提问于2021-03-29得票数 1
我有一个关于在IDE中运行Flink流作业或作为fat jar运行而不将其部署到Flink服务器的问题。
问题是当我的作业中有多个任务槽时，我不能在IDE中运行它。
public class StreamingJob {
public static void main(String[] args) throws Exception {
// set up the streaming execution environment
final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecuti
浏览 16提问于2018-07-19得票数 5
回答已采纳
1回答
我们使用弹性java rest高客户端6.1，但rest客户端经常随机返回超时。
我们总是以这种方式自定义超时：
client.setRequestConfigCallback(new RestClientBuilder.RequestConfigCallback {
override def customizeRequestConfig(requestConfigBuilder: RequestConfig.Builder): RequestConfig.Builder = {
requestConfigBuilder
浏览 3提问于2018-01-16得票数 3
1回答
如果我向flink和提交了一个作业，那么我知道此任务所需的最大内存。
因此，如果我想设置taskMangaer内存(也许Flink设置的默认内存对我来说太大了)。
如何调整工作中的任务管理器内存？或者只有修改源代码才能达到我的目的？
浏览 7提问于2022-05-01得票数 0
回答已采纳
2回答
嗨，我计划使用flink作为我的功能的后端，我们将向用户展示一个用户界面，以图形化的方式创建事件模式，例如:来自同一个Ip地址的多个登录失败。
我们将使用UI中的用户指定的条件以编程方式创建flink模式。
有关于如何动态创建jar文件并将作业动态提交给flink集群的文档吗？
对于这种使用apache的用例，有什么最佳实践吗？
浏览 9提问于2021-12-21得票数 1
我已经在服务器上保存了我的log4j.properties。在服务器上运行flink作业时，我想访问该属性文件。我不知道如何通过命令使用"-Dlog4j.configuration=file:/path/to/log4j.properties“来运行flink作业
运行flink作业的命令是- bin/flink run /opt/Flink/50.jar，我应该在命令中的哪个位置添加"-Dlog4j.configuration=file:/path/to/log4j.properties“
属性文件包含-
log4j.rootLogger =DEBUG, FILE, FILE
浏览 1提问于2018-06-21得票数 4
我有一个在AWS中运行的flink (version 1.8)作业，它目前处于作业管理器和任务管理器的m5.xlarge中。有一个作业经理和四个任务经理。一个m5.xlarge有4个vCPU和16 GB内存。
创建纱线会话时，我传递以下参数：-n 4 -s 4 -jm 768 -tm 103144。
工作节点被设置为16的并行性。
目前，flink作业运行有点慢，所以我想让它更快。我尝试用m5.2xlarge (8 vCPU和32 GB内存)进行不同的配置，但在部署时遇到了问题。我认为这是因为我没有正确的数字来正确地使用新的实例类型。我试着使用插槽的数量、jm/tm内存分配和并行数，但都做不到
浏览 5提问于2022-09-16得票数 0
我们目前在kubernetes上以作业集群的形式运行flink，使用的是helm模板：https://github.com/docker-flink/examples/tree/master/helm/flink (添加了一些配置)。 如果我想关闭集群，重新部署一个新的映像(由于应用程序代码更新)，然后重新启动，我该如何从保存点恢复？ jobmanager命令是在standalone-job.sh命令上严格设置的，如果我在部署k8s资源的参数中添加了一个保存点，那么如果flink重新启动(由于某些系统错误)，它将始终从该保存点重新启动，这不是我们想要的。 有没有一种方法可以从最新的保存点恢复
浏览 17提问于2020-06-11得票数 0
我们正尝试在K8s集群上部署apache Flink作业，但我们注意到一个奇怪的行为，当我们开始作业时，任务管理器内存以分配的内存开始，在我们的例子中是3 GB。
taskmanager.memory.process.size: 3g
最终，内存开始减少，直到它达到大约160MB，在这一点上，它恢复了一点内存，所以它不会到达它的终点。
这种非常低的内存经常导致作业由于任务管理器心跳异常而终止，即使在尝试查看Flink仪表板上的日志或执行作业的过程时也是如此。
为什么它的内存如此之低？我们希望有这样的行为，但在GB的范围内，因为我们将这3 GB分配给了任务管理器，即使我们改变
浏览 1提问于2020-07-04得票数 2
我在一个由3台机器组成的集群上使用Apache 1.4，其中一台是JobManager，另外2台是主机TaskManagers。
我在集群模式下启动flink并提交flink作业。我已经在flink配置中配置了24个任务槽，对于该任务，我使用了6个任务插槽。在代码中，我启用了检查点，并将重新启动策略设置为fixedDelayRestart。
当我提交作业时，我看到3个任务被分配给工人机器1，3个任务分配给工作机器2。现在，当我在WorkerMachine 2上杀死WorkerMachine 2时，我看到整个作业失败了。
这是预期的行为，还是有自动故障转移，如星火。
我们是否需要使用纱线
浏览 4提问于2018-01-15得票数 2
假设我有一个包含3个节点的Flink集群。一个节点用于作业管理器，另外两个节点用于任务管理器。每个任务管理器有3个任务槽。因此，当我提交并行度等于2的作业时，Flink将分配两个任务槽。所以，我的问题是，Flink将如何分配这些任务槽？ 一些场景 Flink是否从每个任务管理器分配一个任务槽？ 有没有可能两个任务槽都是从同一个任务管理器分配的？如果是，则如果该特定节点由于某种原因而关闭，我的作业将不会运行。在这种情况下，我如何避免停机？
浏览 13提问于2020-08-23得票数 0
回答已采纳
我有一个作业jar，它依赖于flink-json-1.7.2.jar，flink-table_2.11-1.7.2.jar。如果我将这两个jars文件添加到flink的lib文件夹中，它就可以在我的本地计算机上正常运行。我怎样才能在我的minikube集群上实现同样的效果。例如，将依赖项添加到flink。Ps。我已经按照this文档设置了我的minikube。 此外，我还可以看到在构建作业jar时创建的fat jar中添加了这些jar。 ?
浏览 23提问于2019-03-11得票数 2
在Flink的早期版本(例如)中，我可以为使用-n的会话模式和使用-yn的每个作业模式指定任务管理器的数量，但是这些标志在Flink的后期版本(例如)中并不存在。
想知道如何为较新版本的Flink设置纱线任务管理器的数量？或者，我可以使用哪些相关属性来控制Flink所使用的资源？
浏览 4提问于2022-10-08得票数 0
我正在使用Flink 1.12，并试图通过Kubernetes集群(AKS)将作业管理器保留在HA中。我正在运行2个作业管理器和2个任务管理器pod。
我面临的问题是，任务经理找不到工作经理的领导。
原因是他们试图访问jobmanager的K8“服务”(这是一个clusterIP服务)，而不是访问领导者的pod IP。因此，有时作业管理器服务将解析对备用作业管理器的注册调用，这使得TaskManger无法找到作业管理器领导者。
以下是jobmanager-leader文件的内容
{
"apiVersion": "v1",
"data
浏览 232提问于2021-02-16得票数 0
回答已采纳
我正在生产上部署flink应用程序，但在flink web UI上有“取消”按钮，这可能会产生问题，因为我将能够在没有通过适当渠道登录到生产服务器的情况下取消作业。
有什么方法可以移除/禁用“取消”按钮吗？
浏览 8提问于2018-11-15得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
