腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(5936)
视频
沙龙
2
回答
我们能更新一个州的TTL值吗?
apache-flink
、
rocksdb
我们有一个使用状态(ValueState和ListState)和TTL(
StateTtlConfig
)的拓扑结构,因为我们不能使用定时器(我们每天会生成数以亿计的定时器,而且它确实可以扩展:一个保存点/用一个新的
StateTtlConfig
(和更新的TTL时间)重新创建一个新的状态,并将CoProcessFunction的processElement1()和processElement2()方法中的值从
浏览 8
提问于2020-07-01
得票数 2
回答已采纳
1
回答
关于
StateTtlConfig
apache-flink
、
flink-streaming
、
flink-cep
我正在为
StateTtlConfig
配置MapState,我感兴趣的是进入状态的对象有3个小时的生命,然后它们应该从状态中消失并传递给GC来清理和释放一些内存,我认为检查点也应该释放一些重量。我以前有过这样的配置,似乎它没有起作用,因为检查点一直在成长:private fi
浏览 3
提问于2020-08-24
得票数 1
1
回答
Flink
是否可以处理其返回的键随时间变化的键选择器函数?
apache-flink
我不确定这是否会对
Flink
的状态或流分区机制造成问题。例如,如果一个输入Foo最初映射到分区键0,但后来更改为分区键1,并且键0不再使用,那么
Flink
会在某个时候简单地“忘记”键0吗?
浏览 18
提问于2019-06-03
得票数 0
1
回答
Flink
在哪里存储计时器和State?
apache-flink
、
flink-streaming
我使用的是1.13.2版本的
Flink
public class ProcessA ...@OverrideOnTimerContext ctx, Collector<ValidationResult> out) state.clear();}{ public void open(Configu
浏览 3
提问于2021-12-01
得票数 1
回答已采纳
1
回答
奇怪的"Cannot Serialize operator object class ...CoBroadcastWithNonKeyedOperator“错误
java
、
apache-flink
我正在尝试使用BroadcastState设置一个项目,但由于某些原因,我在尝试运行它时遇到以下错误: org.apache.
flink
.streaming.runtime.tasks.StreamTaskException:无法序列化运算符对象类org.apache.
flink
.streaming.api.operators.co.CoBroadcastWithNonKeyedOperator.String> sideOutputTag = new OutputTag<String>("side-output") {}
浏览 58
提问于2019-03-13
得票数 0
回答已采纳
3
回答
如何在
Flink
中为MapState中的所有项目设置TTL?
join
、
streaming
、
apache-flink
、
flink-streaming
我依赖于
Flink
解除对timers.Calculate的欺骗基于TTL (cleanup timestamp - current timestamp),使用
StateTtlConfig
为MapState
StateTtlConfig
是否适用于偶数时间处理?
浏览 10
提问于2021-02-19
得票数 1
回答已采纳
1
回答
在MapState清理期间,
Flink
TTL清除映射键的整个值
apache-flink
、
flink-streaming
我要求将每个键的最后25秒值保持在
flink
map状态中,但TTL会在达到25秒时删除整个值。new MapStateDescriptor(
StateTtlConfig
ttlConfig =
StateTtlConfig
.newBuilder(Time.seconds(25)) .setUpdateType(
StateTtlConfi
浏览 3
提问于2020-03-18
得票数 0
1
回答
RichFlatMap中有无keyBy的状态管理
apache-flink
、
flink-streaming
ValueState<Boolean> valueState; public void open(Configuration parameters)
StateTtlConfig
ttlConfig =
StateTtlConfig
.setUpdateType(
StateTtlConfig
.UpdateType.OnCreateAndWrit
浏览 11
提问于2020-09-28
得票数 0
回答已采纳
1
回答
当使用Rocksdb时,
Flink
ValueState将在过期后从存储中删除吗?
apache-flink
、
flink-streaming
、
rocksdb
我使用
Flink
版本1.10.1和rocksdb后端。 private transient ValueState<SampleObject> sampleState; .newBuilder(Time.minute
浏览 5
提问于2020-06-16
得票数 0
回答已采纳
1
回答
Flink
rocksdb压缩滤波器不工作
java
、
apache-flink
、
flink-streaming
、
rocksdb
我有一个
Flink
集群。我启用了压缩过滤器并使用状态TTL。但是Rocksdb压缩过滤器不能将状态从内存中释放出来。我的
Flink
管道里有大约300张唱片@Override TypeInformation.of(new TypeHint<ObjectNode>() {})
StateTtlConfig</e
浏览 9
提问于2020-03-11
得票数 1
回答已采纳
2
回答
是整个MapState实例或MapState中每个元素的
flink
MapState的TTL
state
、
apache-flink
、
ttl
val ttlConfig =
StateTtlConfig
.setUpdateType(
StateTtlConfig
.UpdateType.OnCreateAndWrite) .build val
浏览 6
提问于2019-10-15
得票数 2
回答已采纳
2
回答
使用ValueState的巨大检查点大小导致事件处理滞后
apache-flink
、
flink-streaming
我在
flink
中有一个应用程序,它可以消除多个流的重复。它对一个字符串字段执行键操作,并使用值状态对其进行还原。
StateTtlConfig
ttlConfig =
StateTtlConfig
.newBuilder(Time.millisec
浏览 5
提问于2022-05-16
得票数 0
1
回答
如果
Flink
作业下降,
StateTtlConfig
apache-flink
、
flink-streaming
我已经为一个分钟窗口运行聚合,并将
StateTtlConfig
配置为2分钟,类似于以下内容: .newBuilder(Time.minutes(2)) .setStateVisibility(
StateTtlConfig
.StateVisibility.NeverReturnExpi
浏览 4
提问于2022-07-25
得票数 0
1
回答
Flink
是否支持BroadcastState的状态TTL?
apache-flink
使用
Flink
1.8.1,我尝试将State应用到BroadcastState (使用MapStateDescriptor),如下所示: TypeInformation.of(new TypeHint<Client>() {})
StateTtlConfig
ttlConfig =
StateTtlConfig
.newBui
浏览 1
提问于2019-08-09
得票数 1
回答已采纳
3
回答
Flink
上限MapState
apache-flink
背景
Flink
是否提供了一个API来限制状态中元素的数量? 使用MapState和
StateTtlConfig
生成的TTL/过期机制。
浏览 4
提问于2022-04-07
得票数 1
回答已采纳
1
回答
Flink
重复数据消除和processWindowFunction
java
、
apache-flink
我正在创建一个管道,其中的输入是包含时间戳字段的json消息,用于设置eventTime。问题是一些记录可能会延迟到达或在系统中重复,这种情况需要管理;为了避免重复,我尝试了以下解决方案: .assignTimestampsAndWatermarks(new RecordWatermark() .keyBy(new MetricGrouper())
浏览 213
提问于2021-11-08
得票数 0
回答已采纳
1
回答
Flink
的检查点随着时间的增加而增加
apache-flink
、
flink-streaming
、
flink-cep
在聚合到中,我仍然不清楚为什么我的
Flink
工作的检查点会随着时间的推移而增加和增长,在大约7天的时间里,这些检查点一直没有到达平台。我现在使用的是
Flink
1.10版本,FS状态后端,因为我的工作负担不起使用RocksDB的延迟成本。看到检查站在7天内发生变化: public static final
StateTtlConfig
ttlConfig=
StateTtlConfig
.newBuilder(Time.hours(1
浏览 0
提问于2020-09-02
得票数 0
回答已采纳
3
回答
如何解决状态大小小的慢检查点问题?
java-8
、
flink-streaming
我有一个
flink
应用程序(
flink
版本是1.9.2),它启用了检查点功能。当我在apache平台上运行时。
浏览 3
提问于2020-07-03
得票数 3
回答已采纳
1
回答
如果没有看到一个键,但是rocksdb有关于该键的状态,那么会发生什么情况?
apache-flink
、
flink-streaming
@Override { .newBuilder(Time.minutes(10)) .setSt
浏览 3
提问于2021-12-15
得票数 0
回答已采纳
1
回答
集合的
Flink
状态TTL过期
scala
、
apache-flink
、
flink-streaming
谢谢您抽出时间阅读这篇文章,我想在
Flink
1.8.0的
Flink
状态TTL功能上咨询您的意见,在阅读完这篇文章之后,对我来说还是很模糊的。in Scala如果我要通过mapState在
StateTtlConfig
浏览 1
提问于2019-07-30
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Flink基础教程(二):初探Flink
Apache Flink 进阶(六):Flink 作业执行深度解析
《从0到1学习Flink》——Apache Flink 介绍
flink handbook-flink数据流编程模型
Flink基础教程(三):生产环境中的Flink
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券