腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Flink
能处理单个
表
/窗口
的
~50 GB
状态
吗?
scala
、
hashmap
、
apache-flink
、
flink-streaming
我正在构建一个流解析器,它要求单个
表
的
初始内存
状态
估计为50 GB。~50 GB是将
状态
加载到Scala HashMapString字符串中时所使用
的
内存数量。对于一个
表
,
Flink
是否能够处理具有~50 GB
的
状态
,并且随着时间
的
推移而增长?备注: I不能将类型更改为任何更小
的
类型。
状态<
浏览 5
提问于2019-10-28
得票数 2
回答已采纳
1
回答
Flink
:内存使用情况
apache-flink
我正在用ps -p TaskManagerPID -o rss测量应用程序(ps -p TaskManagerPID -o rss)
的
内存使用情况。然而,这些结果没有任何意义。因为对于每一数量
的
数据(1MB、10 1MB、100 1MB、1GB、10 1GB),使用
的
内存数量是相同
的
。对于10 is数据,测量结果甚至小于10 is。TaskManager是否是测量内存使用情况
的
错误过程?
Flink
进程模型
的
哪个进程负责内存分配?
浏览 5
提问于2016-02-10
得票数 3
回答已采纳
1
回答
Flink
表
的
状态
后端
apache-flink
、
flink-streaming
、
flink-sql
、
rocksdb
我可以检查点Apache
Flink
中
的
动态
表
并将其作为持久
后端
存储到RocksDB中吗?如果是这样,我可以在这里使用20+ GB吗?
浏览 21
提问于2021-07-26
得票数 0
回答已采纳
2
回答
使用
状态
处理器api
的
状态
后端
配置
apache-flink
我使用
状态
处理器-api,因为它被发布来引导我
的
flink
状态
。我使用RocksDBStateBackend,它可以工作。我
的
问题是: 由:java.io.IOException引起:
状态
的
大小大于最大允许
的
内存支持
状态
。Size=85356498,maxSize=5242880 .考虑使用不同
的
状态
<e
浏览 3
提问于2021-07-09
得票数 5
回答已采纳
1
回答
我可以在本地文件系统中使用
flink
rocksDB
状态
后端
吗?
apache-flink
、
rocksdb
我正在探索使用
Flink
rocksDb
状态
后端
,文档似乎意味着我可以使用常规
的
文件系统,比如:file:///data/
flink
/checkpoints,但是代码javadoc在这里只提到了hdfs我想知道是否可以使用本地文件系统与
flink
rocksdb
后端
,谢谢!
Flink
代码:
浏览 3
提问于2019-10-29
得票数 3
回答已采纳
1
回答
Apache实现具有潜在非常大
状态
的
流处理器
scala
、
apache-flink
、
flink-streaming
我希望从一系列事件中预测出一个潜在
的
非常大
的
状态
。这就是我如何以一种命令式
的
方式来实现这一点: // push event to downstream sink} 在最坏
的
情况下,
浏览 4
提问于2017-03-28
得票数 0
回答已采纳
2
回答
Flink
如何清理关键
状态
?
apache-flink
、
flink-streaming
当我想到按某个键
的
动作时,我通常会想到把所有与钥匙匹配
的
事件都扔到同一个桶里
的
类比。正如您可以想象
的
那样,当
Flink
应用程序开始处理大量数据时,您所选择
的
键开始变得重要,因为您希望确保您能够很好地清理
状态
。这就引出了我
的
问题,
Flink
到底是如何清理这些“水桶”
的
?如果存储桶是空
的
(所有的MapStates和ValueStates都是空
的
),
Flink
是否关闭密
浏览 1
提问于2020-04-29
得票数 1
回答已采纳
1
回答
Flink
中
的
RocksDBStateBackend如何将数据泄漏到磁盘?
apache-flink
、
flink-streaming
据我所知,如果内存压力发生,RocksDBStateBackend会将数据泄漏到磁盘,但我找不到溢出op发生
的
地方,有人能帮我找到这段源代码吗?
浏览 1
提问于2018-06-10
得票数 0
回答已采纳
1
回答
具有
状态
的
Flink
窗口聚合
apache-flink
、
flink-streaming
、
flink-statefun
我希望使用早期触发逻辑进行窗口聚合(您可以认为该聚合是由窗口关闭或由特定事件触发
的
),我在doc:上阅读了 文档提到了Note that using ProcessWindowFunction for我
的
问题是,AverageAggregate在文档中,
状态
没有保存到任何地方,所以如果应用程序崩溃,averageAggregate将释放所有中间值,对吗?因此,如果是这样的话,是否有一种方法可以进行窗口聚合,仍然支持增量聚合,并且有
状态
后端
可以从崩溃中恢复?
浏览 3
提问于2021-02-18
得票数 0
回答已采纳
1
回答
将
Flink
keyby与大量
的
key一起使用是否正确?
apache-flink
、
flink-streaming
如果有1000万个订单,200,000个或更多
的
商家。现在我需要计算每个商家
的
订单数量,所以我使用以下方法(参见代码)。这是正确
的
吗?因为会有很多键,我不知道
Flink
会不会把每个键都放进去,也不知道会不会导致OOM?
浏览 135
提问于2021-01-07
得票数 0
回答已采纳
1
回答
使用RocksDB
的
Flink
状态
apache-flink
、
flink-streaming
在
Flink
作业中使用RocksDB存储操作符
状态
检查点与使用RocksDB作为缓存(而不是Redis之类
的
缓存)有什么区别?我需要将处理过
的
数据从
Flink
作业存储到缓存24小时,并根据这些数据在流作业中执行一些计算。数据必须在24小时后删除。RocksDB可以用于这个目的吗?
浏览 8
提问于2022-01-28
得票数 0
回答已采纳
1
回答
Apache :
状态
后端
在哪里保存
状态
?
apache-flink
、
flink-streaming
以下是我
的
声明: “根据您
的
状态
后端
,
Flink
还可以管理应用程序
的
状态
,这意味着
Flink
处理内存管理(必要时可能会溢出到磁盘),以允许应用程序保持非常大
的
状态
。”这是否意味着只有当
状态
后端
配置为RocksDBStateBackend时,
状态
才会保存在内存中,并可能在必要时溢出到磁盘?但是,如果将
状态
配置为MemoryStateBackend
浏览 1
提问于2018-05-27
得票数 1
回答已采纳
1
回答
Flink
CEP
状态
存储
apache-flink
、
flink-streaming
、
flink-cep
Flink
CEP如何管理间歇性
状态
?它将它们存储在哪里?它只是在内存中,还是有一个快速
的
持久存储来支持这些
状态
? 文档没有在任何地方提到这一点。
浏览 13
提问于2017-12-16
得票数 3
回答已采纳
2
回答
如何将HDFS设置为
flink
的
状态
后端
hadoop
、
hdfs
、
apache-flink
、
flink-streaming
我希望将
flink
store存储在HDFS中,以便在崩溃后可以从HDFS恢复
flink
状态
。我计划每隔60秒将
状态
写入HDFS。我如何才能做到这一点?这是我需要遵循
的
配置吗?https://ci.apache.org/projects/
flink
/
flink
-docs-release-1.4/ops/state/state_backends.html#setting-default-sta
浏览 129
提问于2021-11-01
得票数 0
回答已采纳
1
回答
在
Flink
中使用RocksDB作为
状态
后端
时,创建快照需要进行哪些接口调用?
java
、
apache-flink
、
flink-streaming
、
rocksdb
我想分析一下
Flink
对RocksDB进行
的
每个应用程序接口调用所用
的
时间。但是,我找不到这些函数。我尝试在IDE中设置
Flink
的
完整源代码,将我
的
流式示例集成到源代码中,启动调试器并执行许多调用,但都是徒劳
的
。示例如下: package org.apache.
flink
.streaming.examples.spendreport; import org.apache.
flink
.streaming.api.datastream
浏览 21
提问于2020-07-27
得票数 0
回答已采纳
1
回答
Flink
表
API使用什么
后端
?它需要任何关系数据库吗?
apache-flink
、
flink-streaming
、
flink-sql
、
flink-table-api
我对
Flink
相当陌生,并试图了解可以使用Stream / Table
的
适当用例。作为它
的
一部分,试图理解 简而言之,试图理解表API所使用
的
后端</em
浏览 5
提问于2020-07-29
得票数 0
1
回答
将时间帧
的
聚合结果存储到
Flink
的
后端
apache-flink
我是Apache (1天:)
的
新手,在很少
的
指南中见过它保存
状态
。memoryStateBacked 意思:我可以存储最后一天
的
聚合,重置
Flink
,然后再读取缓存吗?(就像你对待Redis
的
浏览 1
提问于2016-06-20
得票数 1
1
回答
Flink
keyBy:密钥太多?
apache-flink
首先,这是我
的
代码逻辑 source.keby(key).process(computeLogic) .sink(sinkFunction) 我
的
问题是: 如果我有太多
的
关键点太多
的
Windows会占用太多
的
内存并导致OOM吗?
浏览 55
提问于2020-12-15
得票数 0
回答已采纳
1
回答
在Apache中使用
状态
是否有限制?
apache-flink
Apache允许我在RichMapFunction中使用
状态
。我计划建立一个持续运行
的
作业,分析一个网络事件流。处理
的
一部分将是创建具有会话作用域度量
的
会话上下文(如会话
的
第n个、持续时间等),另外还要创建一个用户上下文。 这是可以用
Flink<
浏览 0
提问于2019-01-16
得票数 1
1
回答
Flink
如何处理内存中不能容纳
的
窗口和分区?
apache-flink
、
flink-streaming
在阅读了一下之后,仍然不清楚传递给DataSet#mapPartitions或KeyedWindowedStream#process
的
输入是否是惰性集合。在对窗口场景进行了一些调试之后,现在似乎已经给出了答案,即输入是从映射到ArrayList
的
ListState读取
的
,但我想知道是否总是这样(或者是否取决于输入
的
大小)。
浏览 4
提问于2018-08-01
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Flink:动态表上的连续查询
Flink 如何处理有状态的计算?
Flink 中的应用部署:当前状态与新应用模式
Flink 支持哪些状态管理方式?
Flink 的容错机制是什么?
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券