腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
具有
大
状态
的
Apache
Flink
中
的
保存
点
、
我想使用Rocksdb
状态
后端在
Flink
中保持大约2TB
的
状态
。我将使用增量检查点,因此它将显著减少检查点时间。但有时我必须更改代码,例如重新缩放、修复错误、添加新
的
过滤器/映射、添加新
的
源/接收器等。 所有这些都会影响作业拓扑。当
状态
发生变化时,我可以再次启动
状态
。但在其他时候,引导
状态
可能会很困难,因为这对我来说意味着浪费时间。 在这些情况下,我必须使用一个
保存
点来重新启动我
的</e
浏览 24
提问于2021-08-14
得票数 1
1
回答
当从1.10升级到1.11时,无法从
保存
点
恢复
Flink
键
状态
后端
、
、
我们试图迁移到
Flink
1.11,从1.10
中
的
保存
点
恢复作业。作业代码没有更改,只将依赖项
的
Flink
版本更新为1.11 (在SBT
中
,我们使用Scala)并重新构建jar。所有运算符都有uids,如果在1.10集群上运行,作业将正确地从该
保存
点
恢复,我们将得到以下异常,并且不知道: at org.<em
浏览 8
提问于2020-09-08
得票数 0
1
回答
无法
保存
点
/检查点
flink
状态
到AWS S3桶
、
、
、
、
我正在尝试检查点/
保存
点
,我
的
flink
状态
在EMR上运行到AWS上
的
s3桶。请注意: 实例(主节点和核心节点)
具有
正确设置
的
IAM角色,以访问s3桶和它
中
的
所有目录/文件(AmazonS3FullAccess策略附加到角色,不会覆盖它)。I可以从从节点和主节点成功地使用aws s3 cp xxx s3://
flink
-bc/checkpoints将
浏览 2
提问于2019-10-08
得票数 0
1
回答
自定义对象
的
值
状态
的
闪烁
状态
恢复问题
对于从
保存
点
恢复
Flink
检查点,当我们使用java基本类型
的
值
状态
时,它可以正常运行,但当使用java对象
的
值
状态
时,它会抛出异常。它
的
关键解决方案是什么?任何想法都将受到感谢。getRuntimeContext.getState(new ValueStateDescriptor[BigInteger]("playUVState", new BigIntSerializer())) } 从
保存
点
浏览 16
提问于2019-05-29
得票数 2
2
回答
如何将HDFS设置为
flink
的
状态
后端
、
、
、
我希望将
flink
store存储在HDFS
中
,以便在崩溃后可以从HDFS恢复
flink
状态
。我计划每隔60秒将
状态
写入HDFS。我如何才能做到这一
点
?这是我需要遵循
的
配置吗?https://ci.
apache
.org/projects/
flink
/
flink
-docs-release-1.4/ops/state/state_backen
浏览 129
提问于2021-11-01
得票数 0
回答已采纳
1
回答
Flink
1.12.2局部修改
保存
点
-元数据
具有
绝对路径
我正在尝试修改
保存
在S3上
的
现有
保存
点
,该
保存
点
是用
flink
1.12.2 & ververica 2.4.1创建
的
。我所采取
的
步骤如下: machine;Opened 将包含'_metadata‘和savepoint文件
的
保存
点
从S3复制到本地S3
flink
状态
,并读取我感兴趣
的
操作符
的
浏览 3
提问于2021-08-25
得票数 1
回答已采纳
1
回答
在
Flink
中使用RocksDB作为
状态
后端时,创建快照需要进行哪些接口调用?
、
、
、
我想分析一下
Flink
对RocksDB进行
的
每个应用程序接口调用所用
的
时间。但是,我找不到这些函数。我尝试在IDE
中
设置
Flink
的
完整源代码,将我
的
流式示例集成到源代码
中
,启动调试器并执行许多调用,但都是徒劳
的
。示例如下: package org.
apache
.
flink
.streaming.examples.spendreport; import org.
apache
.<em
浏览 21
提问于2020-07-27
得票数 0
回答已采纳
1
回答
Apache
检查点或
保存
点中
的
空数据文件是正常
的
还是问题
的
迹象?
我想知道
Flink
创建
的
保存
点中
的
空数据文件(以及HashMapStateBackend
的
检查点)是否是一件预期
的
事情,或者它们是否指向
Flink
本身、我们正在运行
的
作业或我们为检查点和
保存
点
使用
的
存储系统
的
问题这里有一些关于我为什么要问这个问题以及在什么情况下观察到这些空文件
的
上下文: 我们在生产中运行
的
Flink
设置有问题。
浏览 4
提问于2022-02-04
得票数 1
回答已采纳
2
回答
使用
状态
处理器api检查
flink
保存
点
时获取异常
、
我在线程"main“
中
得到了一个异常:类org.
apache
.
flink
.state.api.runtime.SavepointLoader试图访问受保护
的
方法org.
apache
.
flink
.runtime.state.filesystem.AbstractFsCheckpointStorage.resolveCheckpointPointer(Ljava/lang/String;)Lorg/
apache
/
fl
浏览 0
提问于2020-01-20
得票数 1
回答已采纳
2
回答
无法将
保存
点
从1.2.1还原为1.4
、
我们已经用1.4版本部署了一个新
的
Flink
实例。在尝试从旧
的
1.2.1部署恢复
保存
点
时,尝试还原
的
所有作业都会出现相同
的
错误: org.
apache
.
flink
.runtime.execution.SuppressRestartsException:at org.
apache
.
flink
.runtime.jobmanager.JobManager$$anonfun$org$
apache</
浏览 6
提问于2018-01-04
得票数 2
回答已采纳
1
回答
有
状态
函数
中
的
自定义指标
、
、
大家好,最近开始使用
Apache
Flink
Stateful functions。我们正在使用
Flink
reporter将指标放入InfluxDB https://ci.
apache
.org/projects/
flink
/
flink
-docs-master/docs/deployment/metric_reporters/有
状态
函数提供了
具有
几个开箱即用指标的
浏览 34
提问于2021-11-04
得票数 1
回答已采纳
1
回答
使用
保存
点完成应用程序时出错
、
我正在尝试以增量模式完成一些使用RocksDB
状态
后端
的
应用程序,我想保留一个
保存
点
,以便在下一次执行时开始使用。每当我尝试执行完成操作时,都会显示此错误。java.util.concurrent.CompletionException: org.
apache
.
flink
.runtime.checkpoint
浏览 146
提问于2021-05-13
得票数 0
回答已采纳
1
回答
如何在
Flink
状态
函数应用程序
中
创建自动
保存
点
?
、
、
我正在尝试新
的
有
状态
函数方法,并且我已经尝试手动创建一个
保存
点
(https://ci.
apache
.org/projects/
flink
/
flink
-statefun-docs-release-2.1例如,我有几百万个密钥,我需要将它们全部写入
保存
点
。
浏览 11
提问于2020-07-26
得票数 0
回答已采纳
1
回答
在生产中更新
flink
keyby函数
、
、
、
、
我试图在我
的
产品
flink
作业
中
更新keyby函数,方法是向getKey函数添加一个新
的
keyby值,例如keyby函数是 value.getTimestampvalue.isDefault(),) 我正试图将新任务部署到uat服务器(以确保它在启动之前工作),方法是优雅地停止作业并使用
保存
点
进行恢复由: org.
apache
.
flink
.uti
浏览 0
提问于2021-06-16
得票数 0
2
回答
Flink
保存
点
超时
我使用
Flink
版本1.11,在
保存
点
期间有超时问题我
的
保存
点
大小约为4Gb ++谢谢
浏览 4
提问于2020-12-01
得票数 0
回答已采纳
1
回答
无法运行反序列化来自kafka主题
的
avro数据
的
flink
应用程序
、
、
、
Thread.java:748),由: java.util.concurrent.CompletionException: java.lang.IllegalStateException:未能回滚回检查点/
保存
点
不能将运算符7df19f87deec5680128845fd9a6ca18d
的
检查点/
保存
点
状态
映射到新程序,因为运算符在新程序
中
不可用。java.util.concurrent.CompletableFuture$AsyncSupply.r
浏览 8
提问于2022-03-24
得票数 0
1
回答
Flink
默认为Kryo序列化,即使对于POJO和Avro SpecificRecords也是如此。
、
、
、
、
我正在尝试做一个POC
的
Flink
状态
模式演变。我使用
的
是
Flink
1.15.0和Java 11。我尝试创建3个数据类--每个序列化类型一个: 使用
保存</
浏览 66
提问于2022-07-02
得票数 2
2
回答
使用
Flink
同步
的
进程2流
、
、
、
、
流A只在每分钟
的
59秒获得一条记录。 流B获取一分钟内
的
任何一秒
的
记录。 我希望处理两个流是同步
的
。这可以在
Flink
中
实现吗?
浏览 48
提问于2021-01-21
得票数 0
1
回答
如何在
flink
中
实现KGroupTable用例
、
我在
flink
上做了一些poc,但我找不到关于如何在kafka流
中
实现类似于KGroupTable
的
用例
的
文档,如下所示我想从收到
的
交易中汇总账户余额
的
用例如果我得到现有事
浏览 5
提问于2020-05-23
得票数 0
3
回答
Flink
模式演化不适用于POJO类
、
、
我有一个类可以满足作为POJO处理
的
需求,这是流作业
中
的
主要传输类(它只包含原语和Map<String, String>)。我添加了一个新
的
String字段和相应
的
getter和setter,但是如果我停止使用带有
保存
点
的
前一个类
的
作业,并尝试使用它重新启动新类,则会得到一个异常: 根据
浏览 31
提问于2020-11-05
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Flink 如何处理有状态的计算?
flink用例
Flink 的基本概念是什么?
Stateful Functions开源:集成了Flink和FaaS的流处理优点
快速起步Apache Flink,这远比我们看到的更强大
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券