腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(2334)
视频
沙龙
2
回答
Apache
Flink
-
运行
重复
作业
时
检查点
/
保存
点
的
工作方式
(
多
租户
)
apache-flink
、
flink-streaming
、
flink-cep
、
flink-sql
、
flink-batch
我有多个Kafka主题(
多
租户
),并且我根据主题
的
数量多次
运行
相同
的
作业
,每个
作业
消耗来自一个主题
的
消息。我已经将文件系统配置为状态后端。 假设有3个
作业
在
运行
。
检查点
在这里是如何工作
的
?这3个
作业
是否都将
检查点
信息存储在同一路径中?如果任何
作业
失败,该
作业
如何知道从何处恢复
检查点
信息?我们过
浏览 33
提问于2020-07-16
得票数 0
回答已采纳
1
回答
Apache
Flink
如何从
检查点
/
保存
点
恢复状态?
apache-flink
、
stream-processing
我需要知道
Apache
Flink
如何从
检查点
恢复其状态,因为在
运行
纯
作业
时
,我看不出启动时间和在operator中看到第一个事件与从
保存
点
恢复相比有什么不同。 状态是否从
检查点
/
保存
点
延迟加载?
浏览 4
提问于2018-02-01
得票数 0
1
回答
从
保存
点
恢复
时
,避免在
Apache
Flink
作业
中
运行
初始化代码
apache-flink
我有一个
Apache
Flink
Job,是用DataStream API实现
的
,它包含一些在定义和提交
作业
图之前
的
初始化代码。初始化代码应仅在首次提交
作业
时
运行
,而不应在从
检查点
恢复
作业
或使用
保存
点
更新
作业
时
运行
。在从
检查点
进行故障转移期间重新启动
作业
时
,
作业
似乎是从存储在
检查点</
浏览 11
提问于2020-04-06
得票数 0
3
回答
Apache
检查点
与
保存
点
之间
的
差异?
apache-flink
有人能帮我理解
Apache
的
检查点
和
保存
点
之间
的
区别吗? 当我阅读文档
时
,无法理解其中
的
区别!:s
浏览 3
提问于2017-08-10
得票数 22
回答已采纳
1
回答
从
检查点
恢复
Apache
Flink
作业
rabbitmq
、
apache-flink
、
flink-streaming
我正在使用
Apache
Flink
+ RabbitMQ堆栈。我知道有机会手动触发
保存
点
并从中恢复
作业
,但问题是
Flink
在成功
检查点
后确认消息,如果您想要设置
保存
点
和恢复状态,您将丢失上次成功
的
保存
点
和上次成功
的
检查点
之间
的
所有数据。有没有办法从
检查点
恢复
作业
?这将解决在不可重放数据源(如r
浏览 20
提问于2016-09-13
得票数 3
回答已采纳
1
回答
从外部化
检查点
问题恢复
Flink
docker
、
apache-flink
、
amazon-ecs
我使用
的
是在从docker-
flink
安装
的
ECS中
运行
的
Flink
。我已经通过
flink
-conf.yaml中
的
state.checkpoints.dir到S3启用了外部
检查点
到AWS S3。现在,根据
Flink
文档here,如果我们想在出现故障
的
情况下从
检查点
恢复,我们必须使用bin/
flink
run -s :checkpointMetaDataP
浏览 35
提问于2020-04-03
得票数 0
回答已采纳
2
回答
使用状态处理器api检查
flink
保存
点
时
获取异常
apache-flink
、
flink-streaming
我在线程"main“中得到了一个异常:类org.
apache
.
flink
.state.api.runtime.SavepointLoader试图访问受保护
的
方法org.
apache
.
flink
.runtime.state.filesystem.AbstractFsCheckpointStorage.resolveCheckpointPointer(Ljava/lang/String;)Lorg/
apache
/
flink
&
浏览 0
提问于2020-01-20
得票数 1
回答已采纳
2
回答
Apache
Flink
: IDE执行中
的
作业
恢复未按预期工作
apache-flink
、
flink-streaming
、
checkpointing
我有一个用
Flink
(Scala)编写
的
示例流式WordCount示例。在它中,我想使用外部化
的
检查点
在失败
的
情况下进行恢复。但它并没有像预期
的
那样工作。kafkaConsumerProperties.setProperty("zookeeper.connect", "localhost:2181") kafkaConsumerProperties.setProperty("group.id", "
f
浏览 25
提问于2019-04-15
得票数 1
回答已采纳
1
回答
Flink
精确一次-接收器处
的
检查点
和屏障确认
apache-flink
、
flink-streaming
、
checkpointing
我有一个
Flink
作业
,它
的
接收器是将数据写入MongoDB。接收器是RichSinkFunction
的
实现。 接收器在什么时候确认
检查点
屏障,在调用函数开始
时
还是在调用完成
时
?
浏览 3
提问于2018-05-31
得票数 1
1
回答
纱线接头
作业
Flink
检查点
的
路径动态设置
apache-flink
、
flink-streaming
、
flink-sql
我使用Yarn来
运行
Flink
作业
。对于每个
Flink
作业
,我都要创建一个
检查点
。 我提交一个在我
的
Yarn集群中
运行
的
Flink
作业
。我有一个轮询
作业
,它检查一个
作业
是否在Yarn上失败并重新启动它。当
作业
再次提交
时
,Yarn为该
Flink
作业
创建一个新
的
applicati
浏览 0
提问于2018-05-22
得票数 0
回答已采纳
1
回答
如何重新启动
flink
作业
以使用添加
的
TaskManager
java
、
apache-flink
、
flink-streaming
我正在测试
Flink
1.3.0中
的
弹性特性。我有一个具有
检查点
启用和固定延迟重启策略
的
作业
.当我杀死一个TaskManager JVM
时
,一段时间后,
作业
将在剩余
的
节点上正确地重新启动。但是,当我添加一个新节点
时
,
作业
不会自动重新启动以利用它。我试着使用bin/
flink
stop <jobId>,但它总是给我java.lang.IllegalStateException:
浏览 2
提问于2017-06-19
得票数 1
回答已采纳
1
回答
Apache
检查点
或
保存
点中
的
空数据文件是正常
的
还是问题
的
迹象?
apache-flink
我想知道
Flink
创建
的
保存
点中
的
空数据文件(以及HashMapStateBackend
的
检查点
)是否是一件预期
的
事情,或者它们是否指向
Flink
本身、我们正在
运行
的
作业
或我们为
检查点
和
保存
点
使用
的
存储系统
的
问题这里有一些关于我为什么要问这个问题以及在什么情况下观察到这些空文件
的
上下文: 我们
浏览 4
提问于2022-02-04
得票数 1
回答已采纳
2
回答
Apache
Flink
:当我重新启动应用程序时,它不能从
检查点
恢复
apache-flink
、
flink-streaming
我有一个
Flink
作业
,其中我正在读取文件夹中
的
文件,并将其转储到数据库中。每天都会有新文件进入该文件夹。我已经启用了
检查点
,以便如果由于任何原因
Flink
作业
停止并且我需要重新启动,
Flink
作业
不应该读取已经读取
的
文件。我在代码中添加了以下代码行,但当我重新启动
作业
时
,
Flink
作业
再次读取所有文件。
浏览 44
提问于2019-01-23
得票数 5
1
回答
在执行纱线应用程序杀死并再次
运行
后,
flink
是否会从上一次偏移恢复?
apache-kafka
、
apache-flink
、
checkpoint
我使用FlinkKafkaConsumer来使用kafka并启用
检查点
。现在,我对偏移管理和
检查点
机制有点困惑。我已经知道
flink
将开始从使用者组
的
. https://ci.
apache
.org/projects/
flink
/
flink
-docs-stable/dev/connectors/kafka.html#kafka-consumers-start-position-configur
浏览 6
提问于2019-11-04
得票数 2
回答已采纳
1
回答
Apache
Flink
-为
多
租户
应用程序多次
运行
相同
的
任务
apache-spark
、
spark-streaming
、
apache-flink
、
apache-storm
、
flink-streaming
我们有一个
多
租户
应用程序,其中维护每个
租户
的
消息队列。我们已经实现了一个
Flink
作业
来处理消息队列中
的
流数据。基本上,每个消息队列都是
Flink
作业
中
的
一个源。这是建议
的
做法吗?还是可以根据
租户
的
数量多次
运行
同一个
作业
(使用一个源)?我们预计每个
租户
都会产生不同数量
的
数据。在多任务方法中会有
浏览 2
提问于2020-07-03
得票数 0
回答已采纳
2
回答
代码更改后从状态恢复
Flink
作业
apache-flink
我正在对FS使用
Apache
Flink
1.9和standart
检查点
/
保存
点
机制。我丢失了我
的
数据,并想问一下-在这种情况下我能做什么? 所有运算符都有uid和名称
浏览 0
提问于2019-11-26
得票数 1
1
回答
重新
运行
后,闪烁状态为空(已重新初始化)
scala
、
state
、
apache-flink
、
flink-streaming
我正在尝试连接两个流,第一个是持久化在MapValueState中:RocksDB将数据
保存
在checkpoint文件夹中,但在新
运行
后,state为空。我在本地和
flink
集群中
运行
它,并在集群中取消提交,然后在本地重新
运行
env.setStateBackend(new RocksDBStateBackend(..)
浏览 4
提问于2020-05-08
得票数 1
回答已采纳
1
回答
状态是否
保存
在TaskManager
的
内存中,而与后端
的
状态无关?
apache-flink
我知道我既可以在
flink
的
配置文件(
flink
-conf.yaml)中全局设置状态后端,也可以在每个
作业
的
作用域中设置。StreamExecutionEnvironment.getExecutionEnvironment() env.setStateBackend(new FsStateBackend("hdfs://namenode:40010/
flink
/checkpoints")) 我有一个问题: 当
flink<
浏览 18
提问于2020-09-07
得票数 0
回答已采纳
1
回答
如果移除某些状态描述符,
Flink
如何
保存
检查点
/
保存
点中
的
状态
apache-flink
如果我有一个简单
的
双键状态
的
flink
作业
,比如State1和State2。
作业
配置为rocksDB后端。每个州都
保存
10 of
的
数据。下次
flink
触发
检查点
或我手动触发
保存
点
时
。
检查点
/
保存
点
是否仍然
保存
State1
的
数据?
浏览 15
提问于2021-12-22
得票数 0
回答已采纳
1
回答
如何在
Flink
中实现自动故障切换
apache-flink
我在一个由3台机器组成
的
集群上使用
Apache
1.4,其中一台是JobManager,另外2台是主机TaskManagers。 我在集群模式下启动
flink
并提交
flink
作业
。我已经在
flink
配置中配置了24个任务槽,对于该任务,我使用了6个任务插槽。在代码中,我启用了
检查点
,并将重新启动策略设置为fixedDelayRestart。我们尝试了重新启动策略,但是当它重新启动
时
,我们会得到一个异常,它说没有可用
的
任务槽,然后<em
浏览 4
提问于2018-01-15
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
官宣:Apache Flink 1.14.0 发布
基于Flink的高可靠实时ETL系统
Pinterest是如何基于Flink做实时分析的?
Flink概念:编程模型下
我们为什么从Kafka迁移至Pulsar?
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券