1回答
当RocksDB在flink中时有消费者问题
apache-flink、flink-streaming、rocksdb、flink-cep、rocksdb-java
我有:4个CPU核心16 RAMFlink 1.111个单作业运行，keyedStreams很少，大约有10个转换，并沉没到Postgresflink.maxparallelism=4flink.cpu.cores=4flink.checkpointing_compression=true
浏览 7提问于2020-09-10得票数 1
1回答
如何在flink中设置rocksdb内存大小？
apache-flink
我有几个问题: 1，taskmanager.memory.size配置是否包括rocksdb的内存量? 2，是否有任何配置可以设置rocksdb内存大小。
浏览 3提问于2017-06-28得票数 1
回答已采纳
1回答
Flink rocksdb压缩滤波器不工作
java、apache-flink、flink-streaming、rocksdb
我有一个Flink集群。我启用了压缩过滤器并使用状态TTL。但是Rocksdb压缩过滤器不能将状态从内存中释放出来。我的Flink管道里有大约300张唱片@Override}
<em
浏览 9提问于2020-03-11得票数 1
回答已采纳
1回答
如何验证在Apache中工作的增量检查点？
apache-flink、flink-streaming
在我的flink代码中，我使用RocksDB作为状态后端来实现增量检查点，但是我想知道增量检查点正在发生什么我的意思是有方法检查日志或flink仪表板是执行增量检查点还是执行完整检查点
我使用的是flink版本1.10.0，根据我看到的flink文档，在Flink版本1.10.0中禁用了日志机制，我遵循这个链接来启用下面的RocksDB日志记录，以便启用我使用的日志记录。import org.apache.flink.configuration.C
浏览 7提问于2021-01-08得票数 0
回答已采纳
2回答
flink流与flink批处理中的内存管理
apache-flink、flink-streaming
我浏览了很多博客和堆栈溢出答案，但我不清楚Flink内存管理。在少数博客中，我找到了“内存管理器池”和"Rocksdb“。我正在使用rocksdb，并且假设我的所有状态都存储在该db中。“内存管理器池”和“后端状态(Rcokdb)”的区别
在流中，您所说的"Flink托管内存“是什么意思？是否包括RacksDb缓存和缓冲区所需的内存？
浏览 9提问于2020-05-01得票数 1
1回答
Flink中的RocksDBStateBackend如何将数据泄漏到磁盘？
apache-flink、flink-streaming
据我所知，如果内存压力发生，RocksDBStateBackend会将数据泄漏到磁盘，但我找不到溢出op发生的地方，有人能帮我找到这段源代码吗？
浏览 1提问于2018-06-10得票数 0
回答已采纳
1回答
Flink rocksdb缓冲区和缓存不起作用
apache-flink、flink-streaming、rocksdb
在Flink web上，它说84.4MB/ 14.8 GB。Rocksdb不使用它作为缓存和缓冲区。你能帮个忙吗？下面你可以看到我的配置。state.backend.rocksdb.localdir: /home/asi/rockdbtmp/datadirstate.backend.rocksdb.log.dir: /home/asi/
浏览 8提问于2022-11-08得票数 0
2回答
如何在Apache中将检查点存储到远程RocksDB中
apache-flink、flink-streaming、rocksdb、checkpoint
MemoryStateBackend将检查点存储到本地内存中，FsStateBackend将检查点存储到本地FileSystem中，RocksDBStateBackend将检查点存储到RocksDB中。rocksDB是一种键值DB.因此，如果我是对的，这意味着Flink将将所有检查点存储到使用本地磁盘的嵌入式rocksDB中。如果是这样的话，我认为磁盘在某些情况下可能会耗尽，因为存储在rocksDB中的检查点。现在我在想，是否可以配置远程rocksDB来存储这些检查点？
浏览 6提问于2020-05-07得票数 1
回答已采纳
1回答
在Flink中使用RocksDB作为状态后端时，创建快照需要进行哪些接口调用？
java、apache-flink、flink-streaming、rocksdb
我想分析一下Flink对RocksDB进行的每个应用程序接口调用所用的时间。但是，我找不到这些函数。示例如下： package org.apache.flink.streaming.examples.spendreport;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
im
浏览 21提问于2020-07-27得票数 0
回答已采纳
1回答
flink rocksdb配置
apache-flink、flink-streaming
假设机器的基础架构是c5.4xlarge(16vcpu，32g)和16/32任务槽，那么write_buffer_size，buffer_count，num_of_threads，block_cache_size对于rocksdb另外，建议是否将flink managed memory设置为false。documentation提到默认值不适用于生产
浏览 22提问于2021-07-04得票数 0
1回答
如果没有看到一个键，但是rocksdb有关于该键的状态，那么会发生什么情况？
apache-flink、flink-streaming
假设我有类似于此的进程函数(带有rocksdb状态后端)：{
private transient在这种情况下，“橙色”键将永远留在rocksdb中？
浏览 3提问于2021-12-15得票数 0
回答已采纳
1回答
Apache不删除旧的检查点
apache-flink、flink-streaming
我有一个非常简单的4节点Flink集群的设置，其中一个节点是Jobmanager，其他节点是任务管理器，由启动集群脚本启动。对于状态和检查点，所有任务管理器都有相同的配置，如下所示：state.backend.fs.checkpointdir: file:///root/flink-1.3.1/checkpoints/fs
state.backend.rocksdb.checkpointdir: f
浏览 3提问于2017-07-05得票数 0
回答已采纳
1回答
将RocksDB状态快照数据导出到配置单元
apache-flink
我是Flink的新手，刚刚开始写一个基于Flink的项目。我的Flink作业使用RocksDB作为状态存储，并打开检查点，以便每15分钟向S3拍摄一次状态存储快照。有没有办法将所有数据从RocksDB导出到S3作为拼图文件，以便我可以从配置单元中查询它们？ 谢谢!
浏览 30提问于2020-12-22得票数 0
1回答
使用RocksDB的Flink状态
apache-flink、flink-streaming
在Flink作业中使用RocksDB存储操作符状态检查点与使用RocksDB作为缓存(而不是Redis之类的缓存)有什么区别？我需要将处理过的数据从Flink作业存储到缓存24小时，并根据这些数据在流作业中执行一些计算。数据必须在24小时后删除。RocksDB可以用于这个目的吗？
浏览 8提问于2022-01-28得票数 0
回答已采纳
2回答
使用状态处理器api的状态后端配置
apache-flink
我使用状态处理器-api，因为它被发布来引导我的flink状态。我使用RocksDBStateBackend，它可以工作。我们最近去了flink 1.13，RocksDBStateBackend遭到了反对，转而支持EmbeddedRocksDBStateBackend。MAX_PARALLELISM) .write(savepointPath)
另外，我的flink集群被配置为使用
浏览 3提问于2021-07-09得票数 5
回答已采纳
1回答
状态是否保存在TaskManager的内存中，而与后端的状态无关？
apache-flink
我知道我既可以在flink的配置文件(flink-conf.yaml)中全局设置状态后端，也可以在每个作业的作用域中设置。StreamExecutionEnvironment.getExecutionEnvironment()
env.setStateBackend(new FsStateBackend("hdfs://namenode:40010/flink/checkpoints")) 我有一个问题： 当flink作业继续运行时，属于TasM
浏览 18提问于2020-09-07得票数 0
回答已采纳
1回答
如何使Flink作业在大状态下完成
apache-flink
我们正在运行一个Flink集群来计算历史to级的流数据。数据计算有一个巨大的状态，我们使用键控状态-值和映射状态与RocksDb后端。我认为我们面临的问题与RocksDb的磁盘后端有关。随着作业状态的增长，它需要更频繁地访问磁盘，这会将性能拖到0。我们已经尝试了一些选项，并设置了一些对我们的特定设置有意义的选项： 我们使用的是SPINNING_DISK_OPTIMIZED_HIGH_MEM预定义配置文件，通过optimizeFiltersForHits
浏览 31提问于2019-08-26得票数 0
1回答
存储具有优化读取的键-值对的方法，与流处理引擎一起使用
apache-spark、redis、streaming、spark-streaming、rocksdb
We store the values in Redis/RocksDB and process the data in Apache Spark.Apache Flink被排除在考虑之外，因为在向堆栈中添加新框架时遇到了阻力，我们正在寻找更稳定的框架(因为这个问题只是项目的一部分)。
浏览 10提问于2019-03-20得票数 0
1回答
Flink-1.4.2获取错误:对象控件不是包org.apache.flink的成员
scala、apache-flink
我正在使用flink-1.4.2，并试图使用RocksDBStateBackend。同时导入org.apache.flink.contrib.streaming.state.RocksDBStateBackend。我得到了这个错误：
contrib不是包org.apache.flink的成员。
浏览 0提问于2019-09-05得票数 0
回答已采纳
1回答
定时器(堆对RocksDB)
apache-flink、flink-streaming、rocksdb、flink-cep
由于我使用RocksDB作为我的Flink工作的状态后端，并且正在配置这个状态后端的参数，我在的这一页中看到，我有两个选项可以保留我的计时器(rocksDB或堆)，我已经阅读了解释，但仍然忽略了这一部分的含义：
“然而，在RocksDB中维护计时器可能会带来一定的成本，这就是为什么Flink提供了在JVM堆上存储计时器的选项，即使RocksDB用于存储其他状态。
浏览 0提问于2020-09-18得票数 0
云服务器
ICP备案
对象存储
云点播
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号