1回答
如何获得ackId字段(稍后我可以使用该字段来确认消息)？我正在打印的属性映射是null。是否有其他方法来确认所有消息，而不必计算出ackId？
浏览 3提问于2017-05-16得票数 5
回答已采纳
2回答
我希望将flink store存储在HDFS中，以便在崩溃后可以从HDFS恢复flink状态。我计划每隔60秒将状态写入HDFS。我如何才能做到这一点？这是我需要遵循的配置吗？https://ci.apache.org/projects/flink/flink-docs-release-1.4/ops/state/state_backends.html#setting-default-state-backend我应该在哪里指定
浏览 129提问于2021-11-01得票数 0
回答已采纳
1回答
我在本地和flink集群中运行它，并在集群中取消提交，然后在本地重新运行
env.setStateBackend(new RocksDBStateBackend(..)
浏览 4提问于2020-05-08得票数 1
回答已采纳
1回答
我试图了解检查点恢复的过程，到目前为止，我只发现了增量检查点机制是如何工作的信息。通常，当您在其他地方讨论备份过程时，您将首先谈到一个完整的操作，然后是代表完整和增量之间的增量操作。但是在这里，当我们谈到增量检查点时，我们不会对状态进行完整的快照，而是立即从增量机制开始。所以，我想了解的是，当我们使用保留时，它是如何工作的--我们只剩下几个增量检查点--那么如果增量检查点只代表从一个检查点到另一个检查点的变化，我们如何</em
浏览 0提问于2019-04-11得票数 1
回答已采纳
我使用Yarn来运行Flink作业。对于每个Flink作业，我都要创建一个检查点。
我提交一个在我的Yarn集群中运行的Flink作业。当作业再次提交时，Yarn为该Flink作业创建一个新的application_id。如何配置重新提交的Flink作业以使用重新启动的Flink作业的检查点。我已将conf state.savepoints.dir = hdfs://localhost:9000/chec
浏览 0提问于2018-05-22得票数 0
回答已采纳
我使用Apache (v1.10.0)来流计算我的RabbitMQ数据，但是当我配置检查点数据来存储NFS文件系统时，如下所示：告诉我这个错误：
Caused by: org.apache.flink.runtime.c
浏览 0提问于2020-04-11得票数 0
回答已采纳
在我的flink代码中，我使用RocksDB作为状态后端来实现增量检查点，但是我想知道增量检查点正在发生什么我的意思是有方法检查日志或flink仪表板是执行增量检查点还是执行完整检查点
}
我在代码中做了以下设置配置文件
浏览 7提问于2021-01-08得票数 0
回答已采纳
使用来自Kafka主题的数据，Flink和SparkStreaming都提供了检查点机制，前提是auto.commit.enabled设置为false。火花博士说：
在启用了Flink的检查点之后，Flink Kafka消费者将使用来自某个主题的记录，并定期检查其所有Kafka偏移量，以及其他操作的状态，以一致的方式。如果作业失败，Flink将恢复流程序到最新检查点的状态，并重新使用
浏览 6提问于2017-12-12得票数 1
我在RocksDBStateBackend中使用flink 1.11，代码如下所示：stateBackend.setDbStoragePath(config.getString("/tmp/rocksdb/"));
env.setStateBackend(stateBac
浏览 0提问于2021-02-24得票数 0
回答已采纳
嗨，我是Flink的新手，并试图用下面的场景找出一些最佳实践：这将导致输出Kafka主题中的重复消息。Flink的检查点函数会有帮助吗？我想不是因为这是一
浏览 3提问于2022-09-19得票数 0
我有一个Flink作业，它的接收器是将数据写入MongoDB。接收器是RichSinkFunction的实现。
接收器在什么时候确认检查点屏障，在调用函数开始时还是在调用完成时？意味着它在确认障碍之前等待持久化(保存在MongoDB中)响应？如果提交检查点是由异步线程
浏览 3提问于2018-05-31得票数 1
2回答
我正在尝试使用同步拉API来使用Google PubSub消息。这可以在IO连接器库中获得。我想使用KafkaIO将使用的消息写到Kafka。我想使用FlinkRunner来执行作业，因为我们在GCP之外运行这个应用程序。但是，由于代码在Apache中运行，而不是在GCP DataFlow中运行，所以我认为某些类型的回调与ACK‘in提交的
浏览 3提问于2020-11-08得票数 0
回答已采纳
1回答
检查点持续时间和两个检查点之间的最小停顿是3分钟，我使用的是FsStateBackend。以下是我的假设：以下是基于上述假设的我的疑虑：
1)上述假设是正确的。2)翻滚窗口是否有意义，因为在失败的情况下，无论如何我们都
浏览 0提问于2020-03-12得票数 0
flink的检查点路径和hdfs://address:port/path一样是hdfs的绝对路径，但是hdfs在HA模式下，如何设置hdfs namenode url变化的flink配置？
浏览 30提问于2019-01-07得票数 1
回答已采纳
1回答
我使用的是在从docker-flink安装的ECS中运行的Flink。我已经通过flink-conf.yaml中的state.checkpoints.dir到S3启用了外部检查点到AWS S3。现在，根据Flink文档here，如果我们想在出现故障的情况下从检查点恢复，我们必须使用bin/flink run -s :checkpointMetaDataPath [:runArgs]，但我使用FLINK_HOME所以我不能弄清楚我的Fl
浏览 35提问于2020-04-03得票数 0
回答已采纳
我知道我既可以在flink的配置文件(flink-conf.yaml)中全局设置状态后端，也可以在每个作业的作用域中设置。StreamExecutionEnvironment.getExecutionEnvironment()
env.setStateBackend(new FsStateBackend("hdfs://namenode:40010/flink/checkpoints")) 我有一个问题： 当flink作业继续运
浏览 18提问于2020-09-07得票数 0
回答已采纳
1回答
我有一个非常简单的4节点Flink集群的设置，其中一个节点是Jobmanager，其他节点是任务管理器，由启动集群脚本启动。对于状态和检查点，所有任务管理器都有相同的配置，如下所示：state.backend.fs.checkpointdir: file:///root/flink-1.3.1/检查点/fs/.我看到了4个检查点目录，其名称模式为"chk-“+索
浏览 3提问于2017-07-05得票数 0
回答已采纳
1回答
我有一个工作，使用flink摄取数据，并将文件格式通过拼图发送到HDFS，因为我在Flink中使用了streamFileSink，只有检查点成功，文件才会完成。我想知道检查点应该设置多长时间，什么样的参数可以参考？
浏览 0提问于2020-08-26得票数 0
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
