腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(7084)
视频
沙龙
2
回答
尽管
未处理
任何
新
数据
,
Flink
检查点
完成
时间
仍在
增长
、
我有一个作业,它有几个不同的状态,并将
检查点
配置为每5秒发生一次。现在,它以50个并行度运行,每个任务槽有1个cpu。为了快速测试,它只消耗了60k条记录,并且在几秒钟内就
完成
了。但我现在让作业运行了几个小时,因为我注意到,当它运行并继续获取
检查点
时,
完成
检查点
的
时间
从4秒到20秒,以此类推,直到它达到超时。 我在周末运行了同样的任务(这个任务的
检查点
超时
时间
是5分钟)。开始,基本上立即处理所有45k记录,
检查点
在5秒左右
完成
浏览 104
提问于2021-08-16
得票数 1
回答已采纳
1
回答
Flink
检查点
故障- 10分钟后
检查点
超时
、
、
我们每天处理
数据
时都会出现一两次CheckPoint故障。
数据
容量很低,比如低于10k,我们的间隔设置是“2分钟”。(处理非常慢的原因是我们需要将
数据
汇到另一个API端点,在
flink
作业结束时需要一些
时间
来处理,所以
时间
是流
数据
+从外部API端点到外部API端点)。的根本问题是:
检查点
超时10分钟后,这造成的
数据
处理
时间
超过10分钟,所以
检查点
超时。我们可能会增加并行性以加快处理速度,但是如果<e
浏览 0
提问于2019-04-25
得票数 5
1
回答
Flink
检查点
间隔和状态大小
、
我们正在运行一些
flink
作业,所有这些作业都有一个kafka源和多个cassandra接收器。我们在很大程度上依赖于具有reduce功能的
时间
窗口和键控
数据
。我们的tps目前在100-200左右。我有几个关于
检查点
和保存的状态大小的问题: 1.由于我们使用的是reduce函数,状态大小是否只受打开的窗口数量的影响?如果每小时窗口和分钟窗口都有相同的累加器,我们是否应该期望类似的状态大小?最常见的
检查点
时间
间隔是什么(我们的是5秒,对我来说太频繁了),对于1 gb的状态,我们应该期望<e
浏览 46
提问于2019-05-03
得票数 1
2
回答
使用RocksDB状态后端的
Flink
1.10.1中的
检查点
问题
、
、
当工作从冷开始时,它只需要很少的CPU和
检查点
就能在2秒内
完成
。随着
时间
的推移,
检查点
的大小会增加,但
时间
仍然是非常合理的--几秒钟:在此期间,我们可以观察到由于某种原因,我们的TaskManagers的CPU使用量在缓慢
增长
:最终,
检查点
时间
将开始增加到几分钟此时: CPU使用率很高,但不是100% (通常在60-80%左右)。查看正在进行的<e
浏览 14
提问于2020-10-01
得票数 0
1
回答
Apache
Flink
-增量
检查点
- CPs的意外大小
在处理过程中添加了一些托管状态之后,我们发现
尽管
在RocksDb中使用了增量
检查点
,但
检查点
的大小和持续
时间
却出现了令人担忧的
增长
。使用上面描述的设置,我们发送了1200个事件,
检查点
间隔和最小暂停设置为5秒。然而,我们观察到了
检查点
大小的线性
增长
峰值(最后一个峰值有将近120 of,接近于整个预期管理状态的大小),其中
浏览 0
提问于2018-10-31
得票数 1
回答已采纳
1
回答
当
flink
运行超过12小时时,机器上CPU负载增加的原因
、
、
、
我有一个
flink
作业,并行度设置为6,很少有简单的转换,问题是当
Flink
运行超过12小时时,例如机器上的负载开始增加,然后我认为这是因为在一天中的某些小时内进入
flink
的流量,但问题是当流量下降时k.email_sha2) .addSink(new SinkFuncion()); Mi问题:例如,当我的
flink
洞察:堆内存看起来很好(没有对象模型),
检查点
都
完成
了,没有丢失
浏览 84
提问于2020-08-01
得票数 0
2
回答
删除或缩小HSQLDB
数据
库中的lobs文件
我有一个
数据
库,它的模式如下:当我用测试
数据
填充这个表时,我的
数据
库中的LOBS文件会
增长
:-rw-rw-r-- 1 hsqldb
浏览 6
提问于2014-05-06
得票数 1
回答已采纳
1
回答
如果为
flink
的keyBy操作符提供distinct键,然后是翻滚窗口,会发生什么情况
、
我的
flink
作业有keyBy操作符,它以date~clientId(日期为yyyymmddhhMM,MM为分钟,5分钟后更改)为关键字。此操作符之后是5分钟的翻滚窗口。我们有平均300万/分钟事件的kafka输入,高峰
时间
大约2000万/分钟的事件。
检查点
持续
时间
和两个
检查点
之间的最小停顿
时间
为3分钟。3)窗口大小对
检查点
时间
的影响。 4)在
任何
5分钟内不同客户的数量增加5-10倍的场景中,会有什么影响。这会造成
浏览 1
提问于2020-03-12
得票数 0
1
回答
Flink
-在保存点启动期间操作员工作的延迟启动
、
我在RocksDBStateBackend中使用Apache
Flink
,在使用保存点重新启动作业时遇到了一些麻烦。显然,状态再次准备好需要一些
时间
,但即使状态还没有准备好,来自Kafka的DataStreams似乎正在移动
数据
,这导致了一些无效的未命中,因为状态还没有为我的KeyedProcessFunction做好准备我在文档中找不到
任何
东西,显然,也没有相关的配置。 对我们来说,理想的做法是在移动
任何
数据
之前完全准备好查询状态。我在找到了一些建议使用外部化
检查点
的
浏览 2
提问于2021-07-14
得票数 0
1
回答
来自
Flink
的不正确的窗口输出间隔
、
我用
Flink
代替Kafka Streams API,因为Kafka流在内部创建了多个内部主题,这增加了开销。在给定的窗口(1小时)中保存记录。
浏览 1
提问于2021-03-16
得票数 0
1
回答
用
检查点
RocksDB链接过多的负载
目前,我们正在努力弄清楚,如何有效地与
Flink
合作,而且我们
仍在
努力理解每件事。 我们正在一个独立的集群上运行大约60个非常轻量级的作业,这在一个普通的EC2实例上运行得很好。但是,一旦我启用了带有本地RocksDB状态后端的
检查点
,集群就会以一种意想不到的方式运行,停止作业,尝试重新启动它们,只丢弃所有这些作业,并将错误日志保持为空。在此之后,
Flink
中没有
任何
作业或jars的痕迹。我个人认为,我们可能已经达到了独立
Flink
集群的极限,即使增加内存也不够了,但在开始构建分布式<e
浏览 3
提问于2020-03-10
得票数 0
1
回答
flink
检查点
如何帮助故障恢复
、
我的
flink
作业使用FlinkKafkaConsumer010从kafka consumer读取
数据
,并使用CustomBucketingSink接收到hdfs。我们有平均300万/分钟事件的kafka输入,高峰
时间
大约2000万/分钟的事件。
检查点
持续
时间
和两个
检查点
之间的最小停顿是3分钟,我使用的是FsStateBackend。以下是我的假设:
Flink
从kafka消耗一些固定数量的事件(一次从多个分区获得多个偏移量),并等待,直到它到达接收
浏览 0
提问于2020-03-12
得票数 0
2
回答
Flink
检查点
导致背压
、
我有一个
Flink
作业处理大约200k qps的
数据
。在没有
检查点
的情况下,作业运行正常。但是当我尝试添加
检查点
(间隔50分钟)时,它会导致第一个任务的反压,即向每个条目添加一个关键字段,
数据
延迟也会不断上升。我的两个Kafka主题的滞后,前半部分是启用
检查点
,滞后上升得非常快。第二部分(非常低的延迟是禁用
检查点
,其中延迟在毫秒内) 我至少使用了once checkpoint mode,它应该是异步进程。有没有人能建议一下?我的
检查点
设置
浏览 2
提问于2020-04-20
得票数 2
1
回答
执行大量模式更新和事务日志问题
我们有一个问题,就是不断
增长
的事务日志达到磁盘大小限制。我读过一些关于截断或缩小日志、运行
检查点
、切换到简单模式的文章。我想避免他们在升级之前需要做
任何
db维护,因为他们中的大多数人对此知之甚少。
数据
浏览 0
提问于2018-05-23
得票数 1
回答已采纳
3
回答
如何解决状态大小小的慢
检查点
问题?
、
我有一个
flink
应用程序(
flink
版本是1.9.2),它启用了
检查点
功能。当我在apache平台上运行时。我总是收到
检查点
失败的消息:在completing.After检查
检查点
期间threadDumps of taskManager之前,
检查点
过期了,我发现包含两个请求外部服务的操作符的线程总是处于可运行状态下面是我设计的这个操作符和
检查点
配置。请帮助建议如何解决这个问题?.
浏览 3
提问于2020-07-03
得票数 3
回答已采纳
1
回答
Z3的
检查点
机制
我计划使用Microsoft的Z3 SMT解决程序做一些工作,它将在有执行
时间
限制的计算服务器上运行。我预计这项工作将超过这一限度。这样,
任何
进程的运行
时间
都不会超过执行
时间
限制,因此其他用户也有机会运行他们的作业,但是使用的总计算
时间
可以超过单个作业的超时
时间
。 Z3是否支持读写
检查点
?所谓“
检查点
”,我指的是序列化( Z3解决程序的某些部分)内部状态的文件,例如如果Z3进程写入
检查点
并退出,然后启动第二个Z3进程来读取
检查
浏览 5
提问于2015-02-25
得票数 0
回答已采纳
1
回答
带有
检查点
的批删除仍然会导致日志
增长
。
、
我有一个大表(6亿行,60 to
数据
),需要迁移到另一个表。这有几个原因:我有一列
时间
(7),它只需要
时间
(4)。在最少的操作中(即不必多次重新构建表),我能想到的最好的方法是创建一个带有我想要的列定义的
新
表,并将
数据
复制到
新
表中,同时删除旧
数据
,然后进行名称切换。为了防止日志文件持续
增长
,我已经把它分成了一个循环,但是这似乎不起作用,在大约7000万行之后,日志文件已经
增长
到110
浏览 0
提问于2020-10-14
得票数 1
2
回答
Flink
如何清理关键状态?
、
正如您可以想象的那样,当
Flink
应用程序开始处理大量
数据
时,您所选择的键开始变得重要,因为您希望确保您能够很好地清理状态。这就引出了我的问题,
Flink
到底是如何清理这些“水桶”的?如果存储桶是空的(所有的MapStates和ValueStates都是空的),
Flink
是否关闭密钥空间的那个区域并删除桶?示例:键:用户Key/ComputerId 爱丽丝,电脑10:里面有两个
浏览 1
提问于2020-04-29
得票数 1
回答已采纳
3
回答
如何从
Flink
的
检查点
文件中手动读取
数据
并保存在Java内存中
、
出于不同的原因,我们需要手动从
检查点
读取
数据
(假设我们需要更改状态对象/类结构,因此我们希望读取还原
数据
并将
数据
复制到
新
类型的对象中),但是,当我们读取所有内容时,当我们希望将其保存/存储在内存中并部署到
flink
集群时,就会得到空的list/map。在日志中,我们看到我们正在正确地读取和添加所有
数据
到list/map,但是一旦我们的方法
完成
了它的工作,我们丢失了
数据
,list/map
浏览 3
提问于2022-06-04
得票数 0
回答已采纳
1
回答
Flink
检查点
的大小正在
增长
超过20 are,
检查点
的
时间
超过1分钟。
、
、
、
首先也是最重要的: 我是
Flink
的新手(理解这个原理,能够创建
任何
我需要的基本流式作业)我正在使用Kinesis运行我的
Flink
作业,默认情况下它使用1分钟间隔的增量
检查点
。我还希望从一开始就能统计出“总”事件(而不仅仅是过去的24小时),因此我也会输出过去5分钟的事件计数结果,这样后处理应用程序就可以简单地获取这5分钟的
数据
,并进行一次运算。
检查点
大小开始缓慢
增长
,从大约500 to增加到20 to,
检查点
时间
大约需要1分钟,并
浏览 3
提问于2020-10-11
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
官宣:Apache Flink 1.14.0 发布
Pinterest是如何基于Flink做实时分析的?
加速Flink布局,Pinterest的自助式故障诊断工具实践
基于Flink的高可靠实时ETL系统
日处理数据量超10亿:友信金服基于Flink构建实时用户画像系统的实践
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券