我最近将我们的Flink从1.9.0迁移到了没有HA作业集群的1.11.1。我面临以下错误，它导致JobManager在每隔5分钟后失败，并且Flink作业通过AWS ECS卡在这些重新启动循环中。 在升级1.11.1后，它曾经在Flink 1.9.0中工作过，但现在不行了。因为我没有JM，所以我为每个flink作业生成固定的--job-id，而不是默认的id 00000000000。我是Flink的新手。org.apache.flink.runtim
浏览 195提问于2020-12-04得票数 0
1回答
我将增量检查点与RocksDB结合使用，并将检查点保存到远程目标(在我的示例中为S3)。如果有人删除作业管理器服务器(检查点协调器在其中运行)并重新安装它，会发生什么情况？通过失去检查点协调器，我还失去了从检查点恢复状态的选项？因为据我所知，协调器持有检查点的所有引用。
浏览 15提问于2019-04-10得票数 0
回答已采纳
我们的团队在我们的K8S集群中设置了一个Flink会话集群。我们选择Flink会话集群而不是工作集群，因为我们有许多不同的Flink作业，因此我们希望将Flink的开发和部署与我们的作业分离开来。我们的Flink设置包含：
我们在单独的存储库中开发作业，并在代码合并时部署到现在，我们注意到JobManager作为K8
浏览 0提问于2020-02-27得票数 1
回答已采纳
我有一个Flink v1.2，3 JobManagers，2 TaskManagers的设置。我想使用S3桶而不是hdfs作为后端状态、检查点和动物园管理员storageDir。-检查点高可用性:动物园管理员
在我的JobManager(JobManager
浏览 11提问于2017-03-22得票数 4
回答已采纳
我希望使用同样的方法来部署我的一些Flink作业。Flink作业是关键的-有些作业是无状态的，它们处理每一个数据(准确地说是一次)，有些作业是有状态的，可以在流中查找模式或对时间作出反应。没有作业能够容忍长时间的停机或频繁的关闭(因为编程错误，Flink退出的方式)。
Flink pod可以复制多个吗？当存在两个或多个豆荚时，J
浏览 0提问于2020-02-13得票数 3
根据我的理解，TaskManager恢复是由JobManager辅助的(这是预期的)，而JobManager恢复是通过Zookeeper完成的。我使用docker进行设置，所有检查点和保存点都保存到映射的卷中。
当所有作业管理器都宕机时，flink是否能够恢复？我可以等待单个JobManager重新启动。当我重新启动作业管理器时，我得到了以下异常：org.apache.flink.runtime.rest.NotFoundException: Job 446f4392a
浏览 16提问于2018-09-07得票数 1
回答已采纳
我在一个由3台机器组成的集群上使用Apache 1.4，其中一台是JobManager，另外2台是主机TaskManagers。
浏览 4提问于2018-01-15得票数 2
1回答
我有一个FlinkV1.2设置，在它自己的VM中有1个JobManager，2个TaskManagers。然后，我在JobManager上运行一个事件处理作业，将它分配给一个TaskManager。此时，它再次失败，因为它找不到相应的检查点/状态: java.io.FileNotFoundException: /home/ubuntu/Prototype/flink/flink-checkpoints/flink-ch
浏览 25提问于2017-03-08得票数 0
我们运行Flink在Kubernetes 1.8在AWS。几个月来一直很好。我已经设置了一个新的k8s集群。除了我们启用了Calico (而不是只使用Flannel)之外，一切都一样。2018-03-27 06:28:16,096 INFO org.apache.flink.runtime.executiongraph.ExecutionGraph -作业通过故障转移策略恢复:完全图形重新启动2018-03-27 06:28:16,105 INFO org.apache.flink.runtime.<em
浏览 0提问于2018-03-27得票数 0
1回答
-远程连接到空连接失败，而level=WARN连接超时: flink-jobmanager-nonprod-2.rpds.svc.cluster.local/25.0.84.226:6123
akka.tcp://flink@flink-jobmanager-nonprod-2.rpds.svc.cluster.local:6123与远程系统的关联失败了，地址现在的门限为50 ms.原因：[ akka.tcp://flink</e
浏览 0提问于2018-06-11得票数 4
我正在阅读Flink的检查点机制的细节，现在，我认为我已经有了一个很好的概览，所有的东西是如何联系在一起，但最后一个问题，我在这里。它是关于检查点和提交是如何在ExactlyOnce上下文中相互交互的，因为我觉得仍然存在数据丢失/重复记录的可能性。我主要是在思考commit消息或其回调的潜在故障时，在Flink博客中偶然发现了这一段：
在成功的预提交之后，提交必须保证最终成功--我们的操作员和外部系统都需要这样的保证。如果我的提交永远无法完成，例如，如果我的Kafka接收器在较长一段时间内<e
浏览 1提问于2020-10-02得票数 1
回答已采纳
1回答
我一直在阅读Flink文档，我需要一些澄清。希望有人能在这里帮我。在创建检查点时使用RocksDb时，整个缓冲数据都存储在磁盘中。假设我的Kafka流有50k消息/sec的速率，那么我可以在EMR集群的单个内核上运行它，权衡的是Flink将无法赶上传入的速率，并且有滞后，但如果有足够
浏览 2提问于2019-04-11得票数 1
我正在使用以下配置在AWS yarn集群上运行flink流作业我启用了
jobmanager.execution.failover-strategy: region因为我的一个任务节点出现故障，正在尝试在区域级别(在我的情况下是在任务节点级别)重新启动，并且我启用了重启策略fixedDelayrestart，5次尝试，延迟5分钟，并且我的检查点被禁用。
浏览 0提问于2019-11-23得票数 1
当我在Kubernetes上运行Flink 1.8 WordCount示例作业时，我注意到了一个行为。有时，TaskManager pod会获得OOMKilled并重新启动(暂时不需要担心)，但是整个工作都失败了，JobManager日志显示了The assigned slot XXX was removed我是否可以配置Flink，使作业更能容忍短暂的TaskManager故障？
浏览 0提问于2019-08-30得票数 1
回答已采纳
在创建flink检查点时发生了什么？创建flink检查点的时间因因子10不同。这至少是职务经理日志文件告诉我的：2017-02-14 09:08:17,447 INFO org.apache.flink.ru
浏览 2提问于2017-02-14得票数 1
回答已采纳
因此，他们都被杀了，而不是一个待命的工作经理接任新的领导，这是不应该发生的。2017-09-29 08:08:41,590 INFO org.apache.flink.runtime.jobmanager.JobManager- S
浏览 5提问于2017-09-29得票数 4
回答已采纳
仅仅使用HA设置hyper就会在高可用性.storageDir指向的目录中生成空子目录，这些目录似乎都是可删除的，除了默认的/blob子目录，它似乎是检查点的占位符？删除/压缩高可用性.storageDir(默认情况下设置为/opt/flink/ha/)的方式是什么?只是删除default/blob之外的所有内容、比一段时间以前旧的所有内容，还是...？在flink-conf.yaml中是否有一个HA设置可以启用某些轮换，而不需要这样的维护？我们已经有一
浏览 41提问于2019-07-09得票数 0
回答已采纳
在从Kafka摄取消息的Flink流应用程序中，1)如何禁用自动提交? 2)在成功处理消息后如何从Flink手动提交？ 谢谢。
浏览 138提问于2019-02-08得票数 1
1回答
即用更新的作业替换备用作业，然后取消主作业，这将导致standby (更新的)成为master，然后上载新的更新作业，而不是我们在上一阶段取消的master，以维护HA。这种情况可能吗？
浏览 16提问于2019-01-24得票数 1
我已经运行了独立的HA集群，它每分钟对我的流设置检查点，但是我在state.backend.fs.checkpointdir目录中没有看到它们。flink-conf.yamljobmanager.web.port: 8081
taskmanager.heap.mbrecovery.zookeeper.storageDir: s3a://example-staging-flink
浏览 2提问于2016-04-15得票数 3
回答已采纳
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
