腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(6125)
视频
沙龙
1
回答
如
何在
多个
数据中心
上
进行
flink
检查点
/
保存
点
备份
、
我有
flink
应用程序,将在DC-1 (
数据中心
1)的节点
上
运行,我们计划使用HDFS或AMAZON-S3
备份
保存
点
和
检查点
状态。考虑到这一
点
,有没有一种方法可以让
flink
本身以某种方式将
flink
检查点
/
保存
点
写入两个DC?谢谢
浏览 18
提问于2021-11-22
得票数 0
3
回答
Apache
检查点
与
保存
点
之间的差异?
有人能帮我理解Apache的
检查点
和
保存
点
之间的区别吗? 当我阅读文档时,无法理解其中的区别!:s
浏览 3
提问于2017-08-10
得票数 22
回答已采纳
1
回答
如
何在
Flink
中实现自动故障切换
我在一个由3台机器组成的集群
上
使用Apache 1.4,其中一台是JobManager,另外2台是主机TaskManagers。 这是预期的行为,还是有自动故障转移,<e
浏览 4
提问于2018-01-15
得票数 2
1
回答
Flink
检查点
间隔和状态大小
、
我们正在运行一些
flink
作业,所有这些作业都有一个kafka源和
多个
cassandra接收器。我们在很大程度上依赖于具有reduce功能的时间窗口和键控数据。我们的tps目前在100-200左右。我有几个关于
检查点
和
保存
的状态大小的问题: 1.由于我们使用的是reduce函数,状态大小是否只受打开的窗口数量的影响?如果每小时窗口和分钟窗口都有相同的累加器,我们是否应该期望类似的状态大小?最常见的
检查点
时间间隔是什么(我们的是5秒,对我来说太频繁了),对于1 gb的状态,我们应该期望
检查点</em
浏览 46
提问于2019-05-03
得票数 1
1
回答
Flink
:关于
flink
检查点
和
保存
点
的查询
、
下面是我对
Flink
的疑问。 对于三个问题,请尽可能回答描述性问题。
浏览 1
提问于2020-02-28
得票数 1
回答已采纳
2
回答
Flink
Kinesis使用者未存储上次成功处理的序列号
、
、
我们正在使用
Flink
Kinesis Consumer将Kinesis流中的数据消费到我们的
Flink
应用程序中。 KCL库使用DynamoDB表来存储最后成功处理的Kinesis流序列号。但是,
Flink
Kinesis Consumer似乎没有维护任何这样的序列号。在任何持久化存储中。因此,我们需要依靠ShardIteratortype (trim_horizen、latest等)来决定在应用程序重启时从哪里恢复
Flink
应用程序处理。一种可能的解决方案是依赖于
Flink
检查点
机制
浏览 16
提问于2019-02-22
得票数 3
2
回答
为什么在重新启动
flink
程序之后有许多正在
进行
的文件?
、
我使用
flink
消费kafka,并将它们
保存
到hdfs中。现在,我发现我的目标目录中有那么多正在
进行
中的文件,当我重新启动
flink
程序时,它不会像目标dir中的文件一样关闭。3 Administrator hdfs 1891 2019-08-05 16:54 /user/data/2019-08-05/part-2-4 我认为原因是,当我重新启动程序时,正在
进行
的文件并不关闭,我很困惑为什么文件在重新启动后不会关闭,甚至新的文件也在
进行</em
浏览 1
提问于2019-08-05
得票数 0
回答已采纳
1
回答
flink
检查点
如何帮助故障恢复
、
检查点
持续时间和两个
检查点
之间的最小停顿是3分钟,我使用的是FsStateBackend。以下是我的假设:
Flink
从kafka消耗一些固定数量的事件(一次从
多个
分区获得
多个
偏移量),并等待,直到它到达接收器,然后是
检查点
。在kafka将事件交给其他运营商之后,
进行
了
多个
转换,而kafka消费者则处于闲置状态,直到它得到它发送的事件的成功确认。在失败的情况下,
flink
转到以前的
检查点
状态,并指向kafka最后提交
浏览 0
提问于2020-03-12
得票数 0
2
回答
网络应用服务器->
Flink
->s3
、
、
我对
flink
(Java)很陌生,我试图将netapp文件服务器
上
的xml文件作为文件路径移动到安装了
flink
的服务器
上
。 如何实时
进行
批处理或流处理,以获取进入文件夹的文件并将其与s3合并。我在
flink
-starter中找不到从本地文件系统读取文件的例子,
flink
至少是这个用例的正确选择吗?如果是这样的话,我在哪里可以找到资源来监听文件夹和管理
检查点
/
保存
点
?
浏览 0
提问于2019-09-07
得票数 0
回答已采纳
1
回答
在K8S
上
为更新策略执行rollingUpdate时,
Flink
的恢复机制是什么?
、
我想知道在k8s
上
滚动更新重新启动作业时,
Flink
中的
检查点
或
保存
点
的恢复过程。 下面让我解释一下简单的例子。假设我在我的
flink
k8s作业中有4个荚,并且使用parallelism 1有以下简单的数据流。当根据滚动更新重新启动pod1 (过滤器)时,是否立即将源任务(其他任务)中的记录
保存
到外部位置
进行
检查点
检查?因此,即使在重新启动之后,它也可以完全恢复,而不会丢失数据?此外,我还想知道,即使
检查点
尚未完成
浏览 3
提问于2022-10-13
得票数 0
回答已采纳
2
回答
如
何在
Apache中将
检查点
存储到远程RocksDB中
、
、
、
MemoryStateBackend将
检查点
存储到本地内存中,FsStateBackend将
检查点
存储到本地FileSystem中,RocksDBStateBackend将
检查点
存储到RocksDB中。rocksDB是一种键值DB.因此,如果我是对的,这意味着
Flink
将将所有
检查点
存储到使用本地磁盘的嵌入式rocksDB中。如果是这样的话,我认为磁盘在某些情况下可能会耗尽,因为存储在rocksDB中的
检查点
。现在我在想,是否可以配置远程rocksDB来存储这些
检查点
?
浏览 6
提问于2020-05-07
得票数 1
回答已采纳
1
回答
如何同时使用键值状态和
检查点
?
、
如果我想在重新部署后恢复状态,我应该实现Checkpointed接口,并将状态从/
保存
到键值状态--使用Checkpointed接口的使用方法(+不要忘记在部署之前创建
保存
点
,并使用创建的
保存
点
运行新的流
浏览 1
提问于2016-04-01
得票数 2
回答已采纳
2
回答
是否有可能在Kubernetes中运行一个具有高可用性、
检查点
和
保存
点
的单个容器
Flink
集群?
、
、
我目前正在运行一个
Flink
会话集群(Kubernetes,1 JobManager,1 TaskManager,,S3),其中运行
多个
作业。有几个作业需要高可用性和使用
检查点
以及在
保存
点
通过窗口聚合事件时从/接受
保存
点
恢复的能力。 将JobManager和TaskManager作为单独的进程运行在同一个容器中,并将其用作
Fli
浏览 5
提问于2019-12-31
得票数 1
回答已采纳
1
回答
备份
Hyper-V虚拟机
、
我正在为Hyperoo寻找替代方案,Hyperoo是虚拟机
备份
的最佳
备份
解决方案之一。我尝试了许多软件,
如
Veem,Iperius,Altaro,Acronis ecc,但每个人都使用微软
检查点
和创建AVHDX文件,有时它发生的
备份
有一些问题和avhdx仍然打开,我发现自己被迫合并的平底船希望一切顺利所有这些程序都会
进行
错误的增量
备份
。即使每做一次小的修改,vhdx也会有一
点
变化。
备份
程序检查虚拟机是否已更改,并
进行
浏览 36
提问于2021-06-29
得票数 0
1
回答
如何扩大/缩小正在运行的
Flink
集群?
我正在对库伯奈特斯
进行
弗林克调查。我想如果我更新了TaskManager部署的副本,Kubernetes会为我增加/减少TM的数量,但我不确定这是否是我所需要做的全部。
浏览 3
提问于2019-11-10
得票数 1
回答已采纳
1
回答
日志传送
备份
和目标文件夹位置
、
、
、
、
我们将每四个小时
进行
一次日志运输。(2)如果是,为什么要将源
备份
保存
在单独的服务器主机上?这有什么好处呢?(3)是否需要复制服务器B硬盘文件夹中的日志
备份
?为什么不保持在单独的服务器主机,因为他们建议有一致的哲学? 关于原木运输“主服务器实例运行
备份
作业以
浏览 0
提问于2018-06-18
得票数 1
回答已采纳
2
回答
我们能更新一个州的TTL值吗?
、
我们有一个使用状态(ValueState和ListState)和TTL(StateTtlConfig)的拓扑结构,因为我们不能使用定时器(我们每天会生成数以亿计的定时器,而且它确实可以扩展:一个
保存
点
/
检查点
需要几个小时才能生成和)。
浏览 8
提问于2020-07-01
得票数 2
回答已采纳
1
回答
无法运行反序列化来自kafka主题的avro数据的
flink
应用程序
、
、
、
/
保存
点
不能将运算符7df19f87deec5680128845fd9a6ca18d的
检查点
/
保存
点
状态映射到新程序,因为运算符在新程序中不可用。如果您希望允许跳过此操作,则可以在CLI
上
设置--allowNonRestoredState选项。/
保存
点
s3://rinc-ingestion-service/
flink
-savepoints/namespaces
浏览 8
提问于2022-03-24
得票数 0
2
回答
迁移有界数据时使用哪些工具?
、
、
、
、
最近,我开始在两个不同的内容管理系统之间
进行
内容存储库迁移项目。你会建议什么样的平台和工具来完成这样的任务?
Flink
用于有界数据的Dataset API是否适合这项工作?
浏览 0
提问于2018-03-30
得票数 0
回答已采纳
2
回答
Hadoop2.0名称节点、次级节点和
检查点
节点,以实现高可用性
、
、
、
在阅读Apache 之后,在理解次要节点&
检查点
节点的责任方面出现了一
点
混乱。由于NameNode只在启动时合并fsimage和编辑文件,所以在繁忙的集群
上
编辑日志文件可能会随着时间的推移变得非常大。它通常在与主NameNode不同的机器
上
运行,因为它的内存需求与主NameNode的顺序相同。
检查点
节点周期性地创建名称空间的
检查点
。它从active NameNode下载fsimage并
进行
编辑,在本地合并它们
浏览 3
提问于2015-08-17
得票数 9
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Flink 的基本概念是什么?
基于Flink的高可靠实时ETL系统
Flink概念:编程模型下
大数据入门:Flink状态编程与容错机制
flink用例
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券