腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
我
真的
需要
Flink
检查点
吗
?
、
我
有一个
Flink
应用程序,它从Kafka读取一些事件,从MySQL中丰富数据,使用窗口函数缓冲数据,并将窗口中的数据写入HBase。
我
目前已经启用了
检查点
,但它被证明是相当昂贵的
检查点
,随着时间的推移,它
需要
越来越长的时间,并影响
我
的工作的延迟(落后于kafka摄取率)。如果
我
想出一种方法让
我
的HBase写成幂等,有没有充分的理由让
我
使用
检查点
?
我
可以配置内部的kafka消费者客
浏览 9
提问于2019-10-08
得票数 0
1
回答
从外部化
检查点
问题恢复
Flink
、
、
我
使用的是在从docker-
flink
安装的ECS中运行的
Flink
。
我
已经通过
flink
-conf.yaml中的state.checkpoints.dir到S3启用了外部
检查点
到AWS S3。现在,根据
Flink
文档here,如果我们想在出现故障的情况下从
检查点
恢复,我们必须使用bin/
flink
run -s :checkpointMetaDataPath [:runArgs],但我使用
FLINK
_HO
浏览 35
提问于2020-04-03
得票数 0
回答已采纳
1
回答
flink
什么时候会考虑一个
检查点
的完成?在水槽功能之前还是之后?
、
flink
什么时候会考虑一个
检查点
的完成?有两种方式:
flink
将在所有接收器函数都收到检查屏障N后立即考虑
检查点
N完成。当所有接收器功能成功地处理了屏障N时,
flink
将考虑
检查点
N完成。哪一个是
真的
?因为
我
能找到任何关于这件事的文件。
浏览 1
提问于2021-04-28
得票数 1
回答已采纳
1
回答
Flink
增量
检查点
,
Flink
会自动删除旧
检查点
文件
吗
?
对于
Flink
增量
检查点
,如果
我
正确理解它,它将首先创建一个完整的
检查点
,然后它将在以前的基础上每次创建一个增量
检查点
。 这条链子会很长
吗
?在恢复时,我们
需要
从第一个完整的
检查点
申请
吗
?
我
听说
Flink
会定期进行压缩/合并,这是否意味着它会周期性地创建一个完整的
检查点
,这样我们在恢复过程中就不
需要
进入非常老的完整
检查点
了吗?如果是的话,
浏览 3
提问于2019-09-20
得票数 1
回答已采纳
1
回答
Flink
,
检查点
的基本规则?
、
我
有两个关于
Flink
检查点
策略的问题,
我
知道
检查点
与状态相关(对
吗
?),所以如果
我
没有在作业代码中显式地使用状态(ValueState之类的东西),
我
需要
关心
检查点
吗
?还
需要
吗?如果
我
需要
启用
检查点
,间隔应该是什么?是否有设置间隔的基本规则?假设我们谈论的是一个相当繁忙的系统(Kafka+
Flink
),
浏览 2
提问于2019-03-07
得票数 1
回答已采纳
1
回答
为什么
flink
检查点
的创建有这么大的不同?
我
能以某种方式获得更多细节
吗
?在创建
flink
检查点
时发生了什么?创建
flink
检查点
的时间因因子10不同。这至少是职务经理日志文件告诉
我
的:2017-02-14 09:08:17,447 I
浏览 2
提问于2017-02-14
得票数 1
回答已采纳
1
回答
在执行纱线应用程序杀死并再次运行后,
flink
是否会从上一次偏移恢复?
、
、
我
使用FlinkKafkaConsumer来使用kafka并启用
检查点
。现在,
我
对偏移管理和
检查点
机制有点困惑。
我
已经知道
flink
将开始从使用者组的. https://ci.apache.org/projects/
flink
/
flink
-docs-stable/dev/connectors/kafka.html#kafka-consumers-start-position
浏览 6
提问于2019-11-04
得票数 2
回答已采纳
1
回答
用于增量rocksdb
检查点
的
Flink
键控状态清理
、
我们有一个
flink
作业,将持续在rocksdb后端的大键控状态。我们正在使用增量
检查点
策略。随着时间的推移,状态的大小成为一个问题。如果
我
真的
需要
增量
检查点
,那么解决此问题的最佳方法是什么?
浏览 2
提问于2018-12-13
得票数 0
1
回答
Flink
中保存点与
检查点
的差异
我
知道堆叠溢出也有类似的问题,但在调查了其中的几个问题后,
我
知道了。 如果由于某种原因
需要
关闭或重新启动整个应用程序(例如错误修复或意外崩溃),那么
我
必须使用savepoint来恢复整个应用程序
吗
?
我
认为checkpoint仅在
Flink
中用于运行
浏览 3
提问于2019-02-04
得票数 2
1
回答
Flink
的故障恢复过程
我
想知道
flink
.In单机模式的详细故障恢复过程,
我
猜有一些步骤,比如TaskManager故障,首先检测故障,所有任务停止处理,然后重新部署任务。然后从HDFS下载
检查点
,每个操作员加载状态。
我
说的对
吗
?有没有人知道正确和详细的恢复过程?
浏览 3
提问于2019-04-03
得票数 0
1
回答
Flink
,setDbStoragePath方法在RocksDBStateBackend中做什么?
我
在RocksDBStateBackend中使用
flink
1.11,代码如下所示:env.setStateBackend(stateBackend);--
我
的理解是,当DbStoragePath被设置时,
Flink
将在存储到hadoop hdfs:///
flink
-checkpoints之前将所有
检查点
浏览 0
提问于2021-02-24
得票数 0
回答已采纳
1
回答
Flink
删除花费太长时间的进程,并提交
检查点
我
正在使用
Flink
+ Kafka来处理流文档。
我
已经在文档上设置了过滤器来阻止奇怪的文档进入
Flink
作业,但是仍然有一些类型的文档是
我
无法预见的。如果作业消耗了这些文档,则
需要
额外的时间。就像我在任务
检查点
中看到的那样,许多进程完成得很快,等待缓慢的进程完成(例如,在下面的图像中,除了一个)。
我
的问题是:
我
能让
Flink
在某些阈值之后放弃这些缓慢的进程,并提交那些已经完成的进程
吗
?
我<
浏览 3
提问于2022-06-08
得票数 0
回答已采纳
1
回答
从
检查点
恢复Apache
Flink
作业
、
、
我
正在使用Apache
Flink
+ RabbitMQ堆栈。
我
知道有机会手动触发保存点并从中恢复作业,但问题是
Flink
在成功
检查点
后确认消息,如果您想要设置保存点和恢复状态,您将丢失上次成功的保存点和上次成功的
检查点
之间的所有数据。有没有办法从
检查点
恢复作业?这将解决在不可重放数据源(如rabbitmq)的情况下丢失数据的问题。顺便说一句,如果我们有
检查点
和所有的开销,为什么不让用户使用它们呢?
浏览 20
提问于2016-09-13
得票数 3
回答已采纳
1
回答
重新运行后,闪烁状态为空(已重新初始化)
、
、
、
我
正在尝试连接两个流,第一个是持久化在MapValueState中:RocksDB将数据保存在checkpoint文件夹中,但在新运行后,state为空。
我
在本地和
flink
集群中运行它,并在集群中取消提交,然后在本地重新运行 env.setStateBackend(new RocksDBStateBackend(..)
浏览 4
提问于2020-05-08
得票数 1
回答已采纳
2
回答
Flink
- AWS上的外部
检查点
、
、
、
我
计划使用Analytics上的
Flink
来执行有状态的流聚合。 谢谢!
浏览 7
提问于2019-12-31
得票数 0
回答已采纳
1
回答
Apache
Flink
中的端到端精确处理一次
、
、
、
Apache通过从
检查点
恢复作业来保证在故障和恢复时处理一次,
检查点
是分布式数据流和操作符状态的一致快照(Chandy-Lamport算法用于分布式快照)。此保证在故障转移时恰好是一次。在正常的集群操作中,
Flink
如何保证只处理一次,例如给定从外部源读取的
Flink
源(例如Kafka),
Flink
如何保证事件从源读取一次?事件源和
Flink
源之间是否存在某种类型的应用程序级别?另外,
Flink
如何保证事件准确地从上游运营商到下游运营商之间只发生一次?对于接收到的事件,
浏览 3
提问于2020-09-30
得票数 3
回答已采纳
1
回答
动态数据分析
Flink
:不断增加
检查点
大小
、
、
我
正在使用AWS (KDA)服务运行
Flink
应用程序。
我
的KDA
Flink
应用程序上一个
检查点
的大小似乎随着时间的推移而稳步增长。当我将更改推送到应用程序时,您可以在附加的图形中看到
检查点
大小的突然下降,导致它获取快照、更新,然后从快照恢复。
我
担心的是,一旦应用程序不再被积极开发,更改就不会像以前那样定期部署,
检查点
的大小最终可能会增长到太大。 有人知道是什么导致
检查点
的大小不断增长
吗
?
我
正在对
浏览 1
提问于2020-09-21
得票数 4
2
回答
有趣的
Flink
问题--如果任务管理器失败了,那么如何恢复
Flink
中的状态以保证只处理一次?
、
、
、
嗨,
我
是
Flink
的新手,并试图用下面的场景找出一些最佳实践:这将导致输出Kafka主题中的重复消息。
我
怎么才能阻止这一切?
我
<e
浏览 3
提问于2022-09-19
得票数 0
1
回答
没有启用
检查点
的数据接收器的
Flink
管道
、
我
正在研究如何构建一个没有数据接收器的
flink
管道。也就是说,
我
的管道在成功调用数据存储的api时结束。 在这种情况下,如果我们不使用接收器操作符,
检查点
如何工作?因为
检查点
是基于
检查点
前时期(持久存在于状态中或发出到接收器中的所有事件)和
检查点
后时期的概念。
flink
管道是否
需要
接收器?
浏览 2
提问于2021-06-09
得票数 2
2
回答
Flink
Kinesis使用者未存储上次成功处理的序列号
、
、
我们正在使用
Flink
Kinesis Consumer将Kinesis流中的数据消费到我们的
Flink
应用程序中。 KCL库使用DynamoDB表来存储最后成功处理的Kinesis流序列号。但是,
Flink
Kinesis Consumer似乎没有维护任何这样的序列号。在任何持久化存储中。因此,我们
需要
依靠ShardIteratortype (trim_horizen、latest等)来决定在应用程序重启时从哪里恢复
Flink
应用程序处理。一种可能的解决方案是依赖于
Flink
检
浏览 16
提问于2019-02-22
得票数 3
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
折腾用户中心感想:我真的需要用户中心吗?
你真的需要redux吗?
你真的需要Kubernetes吗?
你真的需要消息队列吗
你真的需要数据湖吗?
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券