腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
使用
BooPickle
和
RocksDb
添加到
序列化
的
额外
字节
scala
、
rocksdb
、
upickle
因此,在将Scala类写入
RocksDB
之前,我
使用
BooPickle
对其进行
序列化
。因为
BooPickle
没有以一种与
RocksDb
的
键排序要求很好地配合
的
方式
序列化
case类。然后,我将一堆键、值对写到几个SST文件中,并将它们输入到
RocksDb
中。然而,当我从数据库中查找密钥时,却没有找到它们。如果我迭代数据库中
的
所有键,我发现键被成功写入,但是
额外
的
<e
浏览 28
提问于2020-12-18
得票数 0
回答已采纳
1
回答
Flink状态访问与
RocksDB
后端延迟吗?
apache-flink
、
flink-streaming
Streams.stream(someMapState.values()).forEach(collector::collect); 对于MapState.values()后端,状态访问是否像
RocksDB
注意:我试着挖掘文档
和
源代码,但是找不到任何关于这方面的细节,如果有任何提示,我将不胜感激,谢谢
浏览 5
提问于2021-03-14
得票数 0
回答已采纳
1
回答
Flink windowAll聚合比窗口进程?
apache-flink
、
flink-streaming
由于我们需要一起刷新数据,因此我们没有执行任何keyBy,因此
使用
了windowAll。我们面临
的
问题是,如果我们在ProcessAllWindowFunction中
使用
窗口函数,然后在进程调用中聚合,那么当我们
使用
聚合
和
窗口函数时,我们会获得更好
的
吞吐量。当我们
使用
aggregate时,我们也会在状态检查点中看到超时。我试着浏览了代码库,我能想到
的
唯一假设是,对进程将
使用
的
ListState与聚合将
使用</
浏览 20
提问于2021-04-19
得票数 0
回答已采纳
1
回答
boost:
序列化
前后挂钩
c++
、
serialization
、
boost
我们
使用
boost::serialization将具有std::vector< struct >
的
类
序列化
和
反
序列化
为普通文件。反
序列化
过程在将条目
添加到
向量之前创建一个新
的
类实例。因为我们是在多线程应用程序中,所以我们希望在反
序列化
过程中确保正确
的
关键部分锁定。m_pMetaDB->Put(
rocksdb
::WriteOptions(), strKey,
rocksdb<
浏览 3
提问于2017-09-14
得票数 0
回答已采纳
1
回答
Flink中
的
RocksDBStateBackend :它到底是如何工作
的
?
apache-flink
、
rocksdb
我读过Flink关于国家后端
的
官方文档,。特别是,我对RocksDBStateBackend感兴趣。我不明白,如果启用了这种后端,
RocksDB
就可以通过Flink集群中
的
另一个节点从TaskManagers访问?到目前为止,我对RocksDBStateBackend
的
理解是,任务管理器将在其内存中存储状态,即JVM进程
的
内存。在那之后,他们会把州派到
RocksDB
里面吗?如果是,Flink集群中
的
RocksDB
在哪里?它在哪里?
浏览 3
提问于2019-10-31
得票数 4
回答已采纳
1
回答
使用
Kafka实现SQL更新
apache-kafka
、
ksqldb
、
ktable
如何实现我存储在Kafka topic / Ktable中
的
对象
的
更新? 我
的
意思是,如果我不需要替换整个值(压缩
的
Ktable就可以),而是需要一个字段更新。我应该从主题/KTable中读取,反
序列化
,更新对象,然后将新值存储在相同
的
主题/KTable中吗? 或者我应该合并/合并两个主题:一个是原始值,另一个是字段
的
更新? 你怎么做?
浏览 16
提问于2021-06-26
得票数 0
回答已采纳
2
回答
RocksDB
是存储同构对象
的
好选择吗?
c++
、
rocksdb
我正在C++中寻找一个可嵌入
的
数据存储引擎。
RocksDB
是一个键值存储.所以我
的
问题是:是存储同构对象
的
好选择吗?如果是的话,如何避免复制模式元数
浏览 0
提问于2019-01-02
得票数 2
回答已采纳
1
回答
Flink:流
的
每个传入元素
的
求值窗口
apache-flink
、
flink-streaming
location=l2) 我需要找到,每个地点,在过去
的
15分钟内预订
的
计数。function should not be evaluated,而不是whenever any booking arrives at a location
和
emit the count of booking方法:
使用
RichMap函数,将位置预订
的
优先级队列维护为托管状态(ValueState),并将时间戳作为预订
的
优先级。对于每个到达
的
元素,首先将其
添加到
state中,
浏览 15
提问于2019-12-13
得票数 0
回答已采纳
2
回答
如何像uint64_t一样向
rocksdb
中插入整数值?
c
、
leveldb
、
rocksdb
、
uint64
我测试了以下代码,以便
使用
强制转换将像uint64_t这样
的
整数值插入到
rocksdb
数据库。这是一种正确
的
方法吗?/c.h"
rocksdb
_t *db; /
浏览 26
提问于2019-04-18
得票数 0
1
回答
在运行时存储一个庞大
的
Map对象以供另一个工具重用
的
最佳方法是什么?
scala
、
intellij-idea
、
sbt
、
runtime
这些模式(我稍后需要实例化JSON数据文件),或者更好
的
是,我不需要所有的模式,而只需要每个模式
的
几个字段。我认为最好
的
解决方案是填充一个Map对象(当工具对模式进行编码时),它只包含我需要
的
信息。然后重新
使用
map对象(在工具
的
另一次运行中),作为已经编译
和
填充
的
映射。1.这真的是最具表现力
的
解决方案吗?
和
2.如何将在运行时创建
的
Map保存到磁盘上,作为以后可以用其余代码构建&
浏览 0
提问于2019-07-04
得票数 1
回答已采纳
1
回答
如何解决进程函数中
的
繁忙时间问题?
apache-flink
、
flink-streaming
我有一个无界流
的
flink(v1.13.3)应用程序(
使用
kafka)。我
的
一条小溪很忙。而且繁忙值(我可以在UI上看到)随着时间
的
推移而增加。这个函数非常简单,它只对状态后端
使用
rocksdb
:{ {
浏览 18
提问于2022-01-12
得票数 1
回答已采纳
1
回答
Flink何时
使用
本地存储?
apache-flink
我正试图理解
和
管理Flink对本地存储
的
使用
,就像在我
的
用例中一样,我需要确保没有加密就不会存储任何数据。阅读这些文档我可以看到 在
使用
本地存储时,是否还有其他需要考虑
的
情况?以上两种情况下
的
文件夹似乎都是由
浏览 2
提问于2018-02-12
得票数 1
回答已采纳
1
回答
Apache Flink:状态解序/
序列化
的
频率是多少?
apache-flink
、
flink-streaming
Flink解串行运算符状态
的
频率是多少?每个get/update还是基于检查点?状态后端是否会有所不同?我怀疑,在键控流
的
情况下,具有不同
的
键(数百万),每个键每秒发生数千个事件,解串行化可能是一个大问题。我说
的
对吗?
浏览 9
提问于2018-07-25
得票数 5
回答已采纳
1
回答
如果我给Flink
的
RocksDB
状态后端足够
的
内存,这与基于堆
的
状态后端有什么不同?
apache-flink
、
flink-streaming
使用
EmbeddedRocksDBStateBackend与Flink一起
使用
的
一个明显优点是,当内存不足时,它可能会溢出到磁盘。但是,如果我准备给它足够
的
内存,使它不再需要
使用
磁盘,这与
使用
HashMapStateBackend有什么区别?
浏览 9
提问于2022-02-07
得票数 1
1
回答
Flink -
RocksDB
中什么是localdir配置?
apache-flink
、
rocksdb
、
stream-processing
据我所知,
RocksDB
将应用程序
的
所有状态保存在文件系统上。我
使用
s3来存储状态,所以我配置了state.checkpoints.dir
和
state.savepoints.dir,指向我
的
s3桶。现在,我看到了另一个与
RocksDB
存储相关
的
选项,称为state.backend.
rocksdb
.localdir。这样做
的
目的是什么?(我看到我不能
使用
s3 )如果
RocksDB
使用
浏览 0
提问于2020-01-12
得票数 1
回答已采纳
1
回答
检查点时出现CEP问题。“找不到条目的id”
apache-flink
、
complex-event-processing
当检查点被打开时,一个简单
的
CEP循环模式 private Pattern<Tuple2<Integer, SimpleBinaryEvent>, ?我确信我已经正确地实现了equals()
和
hashCode()。我也试过Objects.hashCode。在其他实例中,我在SharedBuffer.toString()上
使用
了CircularReference (因此也是stackOverflow ),它再次指出了引用问题(相等性等等)。在没有打开检查点
的
情况下,它可以按预期工作。我在本地集群上运行。C
浏览 0
提问于2017-09-16
得票数 1
4
回答
将对象存储到文件中
scala
我想将一个对象(类
的
一个实例)保存到一个文件中。我没有找到任何有价值
的
例子。是否需要对其
使用
序列化
?import scala.util.Marshalimport scala.collection.immutable out.write(Marshal.dump(foo))} 首
浏览 4
提问于2013-07-09
得票数 0
回答已采纳
1
回答
如何配置Apache集群( Flink - data . How )以实现实时数据流
java
、
apache-flink
、
flink-streaming
1)我从Apache№1读取数据(这是JSON消息) 6)将POJO<em
浏览 3
提问于2020-06-30
得票数 0
回答已采纳
2
回答
Flink网络缓存
使用
率高,导致Kafka滞后
apache-flink
、
rocksdb
、
flink-cep
、
flink-statefun
我们
的
Flink Job包含一个过滤器,按会话id键,然后是间隔30分钟
的
会话窗口。会话窗口将需要累积会话
的
所有事件,并
使用
ProcessWindowFunction处理它们。我们
使用
Flink 1.9,128个容器,总共20G内存来运行我们
的
作业,截止率是0.3。我们正在执行增量检查点。当会话窗口开始触发process函数时,网络缓冲区
使用
率开始变得非常高,然后我们开始得到Kafka输入滞后。我们
的
设置: state.backend:
roc
浏览 170
提问于2020-10-16
得票数 1
1
回答
为什么Apache流
使用
RocksDB
,如果有可能改变它呢?
java-native-interface
、
in-memory-database
、
key-value-store
、
rocksdb
、
apache-kafka-streams
在研究ApacheKafka0.9
和
0.10
的
新特性时,我们
使用
了KStreams
和
KTables。有一个有趣
的
事实是,卡夫卡内部
使用
RocksDB
。见。
RocksDB
不是用JVM兼容
的
语言编写
的
,因此需要仔细处理部署,因为它需要
额外
的
共享库(依赖于操作系统)。 为什么Apache流
使用
RocksDB
浏览 2
提问于2016-10-18
得票数 31
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
DotNET 5中的gRPC性能改进,超Golang和C+
小说里有万剑归宗,Java里也有万流归宗,万流齐发
Java基础-IO流
二进制序列化
BIP16 P2SH交易脚本
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券