1回答
Flink HA状态后端
apache-flink、flink-streaming
我正在尝试为HA设置配置Flink 1.2.0，在那里我必须设置一个名为state backend的参数。我之前已经将这个参数设置为rocksdb，但随后阅读了文档，文档中指出，对于HA，只有文件系统可用。这是真的吗？( HA设置仅支持文件系统状态后端，而rocksdb不可用？)或者这指的是一个不同的(zookeeper特定的)状态后端？
谢谢!
浏览 6提问于2017-02-16得票数 1
回答已采纳
2回答
Apache Flink State Store与Kafka Streams
apache-kafka、apache-flink、apache-kafka-streams、stream-processing
据我所知，处理Kafka流的状态在内存、磁盘或Kafka主题中都是本地的，因为所有的输入数据都来自一个分区，其中所有的消息都是由一个定义的值键控的。大多数情况下，计算可以在不知道其他处理器的状态的情况下完成。如果是这样的话，您有另一个Streams实例来计算结果。如图所示：Flink到底在哪里存储它的状态？Flink是否也可以在本地存储状态，或者总是将它们发布到所有实例(任务)？是否可以将Flink配置为将状态存储在Kafka代理中？
浏览 0提问于2019-02-10得票数 3
1回答
作业经理没有恢复动物园管理员检查点
apache-flink
我们在我们的K8s环境中部署了Flink作业集群(一个作业管理器和一个任务管理器)，并将其配置为HA模式(连接到动物园管理员)。作业是有状态的，检查点是使用RocksDB后端启用的。问题是任务管理器重新启动是正确地从上一个检查点恢复的，但是作业管理器重新启动则不是：metrics.reporters: prom
metrics.
浏览 0提问于2018-11-27得票数 1
回答已采纳
1回答
Flink HA群集JobManager问题
apache-flink、flink-streaming
我有一个Flink1.2集群的设置，由3个JobManagers和2个TaskManagers组成。在所有5个虚拟机上，flink-conf.yaml都是相同的，这意味着jobmanager.rpc.address:指向JobManager1 everywhere。TaskManager akka://flink/user/taskmanager disconnects from JobManager akka.tcp://flink@1.2.3.4:44779)
浏览 207提问于2017-03-14得票数 1
回答已采纳
2回答
使用状态处理器api的状态后端配置
apache-flink
我使用状态处理器-api，因为它被发布来引导我的flink状态。我使用RocksDBStateBackend，它可以工作。我们最近去了flink 1.13，RocksDBStateBackend遭到了反对，转而支持EmbeddedRocksDBStateBackend。Size=85356498，maxSize=5242880 .考虑使用不同的状态后端，如文件系统状态后端。集群被配置为使用RocksDB状态后端，而所
浏览 3提问于2021-07-09得票数 5
回答已采纳
1回答
Flink状态HA kubernetes集群
kubernetes、apache-flink、high-availability、flink-statefun
我试图在kubernetes上部署高可用的flink集群。在下面的例子中，工作节点被复制，但是我们只有一个主荚。
据我所知，有两种方法可以使工作经理HA。
浏览 3提问于2020-05-21得票数 1
1回答
我可以在本地文件系统中使用flink rocksDB状态后端吗？
apache-flink、rocksdb
我正在探索使用Flink rocksDb状态后端，文档似乎意味着我可以使用常规的文件系统，比如：file:///data/flink/checkpoints，但是代码javadoc在这里只提到了hdfs我想知道是否可以使用本地文件系统与flink rocksdb后端，谢谢！Flink代码：
浏览 3提问于2019-10-29得票数 3
回答已采纳
1回答
Apache实现具有潜在非常大状态的流处理器
scala、apache-flink、flink-streaming
我希望从一系列事件中预测出一个潜在的非常大的状态。我将如何开始在Flink中表示这个处理结构？
如何处理每个BarState都可能变得非常大的事实？
浏览 4提问于2017-03-28得票数 0
回答已采纳
1回答
Kubernetes中的Flink会话集群和作业提交
kubernetes、apache-flink
我们的团队在我们的K8S集群中设置了一个Flink会话集群。我们选择Flink会话集群而不是工作集群，因为我们有许多不同的Flink作业，因此我们希望将Flink的开发和部署与我们的作业分离开来。我们的Flink设置包含：
我们在单独的存储库中开发作业，并在代码合并时部署到Flink集群。为了解决这个问题，我们开发了一个脚本来监视<e
浏览 0提问于2020-02-27得票数 1
回答已采纳
1回答
Flink中的RocksDBStateBackend如何将数据泄漏到磁盘？
apache-flink、flink-streaming
据我所知，如果内存压力发生，RocksDBStateBackend会将数据泄漏到磁盘，但我找不到溢出op发生的地方，有人能帮我找到这段源代码吗？
浏览 1提问于2018-06-10得票数 0
回答已采纳
1回答
具有状态的Flink窗口聚合
apache-flink、flink-streaming、flink-statefun
我的问题是，AverageAggregate在文档中，状态没有保存到任何地方，所以如果应用程序崩溃，averageAggregate将释放所有中间值，对吗？因此，如果是这样的话，是否有一种方法可以进行窗口聚合，仍然支持增量聚合，并且有状态后端可以从崩溃中恢复？
浏览 3提问于2021-02-18得票数 0
回答已采纳
1回答
将Flink keyby与大量的key一起使用是否正确？
apache-flink、flink-streaming
因为会有很多键，我不知道Flink会不会把每个键都放进去，也不知道会不会导致OOM？
浏览 135提问于2021-01-07得票数 0
回答已采纳
1回答
使用RocksDB的Flink状态
apache-flink、flink-streaming
在Flink作业中使用RocksDB存储操作符状态检查点与使用RocksDB作为缓存(而不是Redis之类的缓存)有什么区别？我需要将处理过的数据从Flink作业存储到缓存24小时，并根据这些数据在流作业中执行一些计算。数据必须在24小时后删除。RocksDB可以用于这个目的吗？
浏览 8提问于2022-01-28得票数 0
回答已采纳
1回答
Flink能处理单个表/窗口的~50 GB状态吗？
scala、hashmap、apache-flink、flink-streaming
我正在构建一个流解析器，它要求单个表的初始内存状态估计为50 GB。~50 GB是将状态加载到Scala HashMapString字符串中时所使用的内存数量。对于一个表，Flink是否能够处理具有~50 GB的状态，并且随着时间的推移而增长？备注：
I不能将类型更改为任何更小的类型。状态被用作查找将一个字符串映射到另一个字符串的方法。需要三年时间才能将状态加倍到100 GB (由于当前的状态需要十年才能生成)。这个<em
浏览 5提问于2019-10-28得票数 2
回答已采纳
1回答
Apache :状态后端在哪里保存状态？
apache-flink、flink-streaming
以下是我的声明：
“根据您的状态后端，Flink还可以管理应用程序的状态，这意味着Flink处理内存管理(必要时可能会溢出到磁盘)，以允许应用程序保持非常大的状态。”这是否意味着只有当状态后端配置为RocksDBStateBackend时，状态才会保存在内存中，并可能在必要时溢出到磁盘？但是，如果将状态配置为MemoryStateBackend或FsStateBackend，则状态只保存在内存中，
浏览 1提问于2018-05-27得票数 1
回答已采纳
1回答
每次运行Flink作业时都会有多个“k8s-ha-app1-jobmanager”配置映射
kubernetes、apache-flink、high-availability
我有一个Flink 会话 集群在Kubernetes之上，最近我从基于ZK的HA切换到Kubernetes HA。通读 https://cwiki.apache.org/confluence/display/FLINK/FLIP-144%3A+Native+Kubernetes+HA+for+Flink#FLIP144:NativeKubernetesHAforFlink-LeaderElection 我可以在Flin
浏览 38提问于2021-02-12得票数 0
回答已采纳
1回答
Flink CEP状态存储
apache-flink、flink-streaming、flink-cep
Flink CEP如何管理间歇性状态？它将它们存储在哪里？它只是在内存中，还是有一个快速的持久存储来支持这些状态？
文档没有在任何地方提到这一点。
浏览 13提问于2017-12-16得票数 3
回答已采纳
1回答
无法使用JobManager HA在独立Kubernetes模式下运行Flink
kubernetes、apache-flink
我在没有作业管理器HA的独立Kubernetes (sesion)模式下运行Apache。但是我需要部署作业管理器HA，因为只有在HA模式下，Flink才能持久(可以在作业管理器重新启动后保存作业)。Flink在专用的kubernetes命名空间中运行，而我只有名称空间的权限。我使用本文中的yaml文件：
例如，我有一个名为flink-名称空间的k28s名称空间。-领导人”是禁止的:用户"system:serviceaccount:<em
浏览 1提问于2021-09-21得票数 1
云服务器
对象存储
ICP备案
云点播
腾讯会议
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号