腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
如何将
HDFS
设置
为
flink
的
状态
后端
hadoop
、
hdfs
、
apache-flink
、
flink-streaming
我希望将
flink
store存储在
HDFS
中,以便在崩溃后可以从
HDFS
恢复
flink
状态
。我计划每隔60秒将
状态
写入
HDFS
。我如何才能做到这一点?这是我需要遵循
的
配置吗?https://ci.apache.org/projects/
flink
/
flink
-docs-release-1.4/ops/state/state_backen
浏览 129
提问于2021-11-01
得票数 0
回答已采纳
1
回答
状态
是否保存在TaskManager
的
内存中,而与
后端
的
状态
无关?
apache-flink
我知道我既可以在
flink
的
配置文件(
flink
-conf.yaml)中全局
设置
状态
后端
,也可以在每个作业
的
作用域中
设置
。env = StreamExecutionEnvironment.getExecutionEnvironment() env.setStateBackend(new FsStateBackend("
hdfs
://namenode:40010/
flink
浏览 18
提问于2020-09-07
得票数 0
回答已采纳
1
回答
配置
后端
状态
以使用
hdfs
时出错
scala
、
hadoop
、
apache-flink
我正在尝试将
后端
状态
设置
为
hdfs
。val stateUri = "
hdfs
/path_to_dir"env.setStateBackend(backend) "org.apache.
flink</em
浏览 0
提问于2018-12-19
得票数 2
回答已采纳
1
回答
我可以在本地文件系统中使用
flink
rocksDB
状态
后端
吗?
apache-flink
、
rocksdb
我正在探索使用
Flink
rocksDb
状态
后端
,文档似乎意味着我可以使用常规
的
文件系统,比如:file:///data/
flink
/checkpoints,但是代码javadoc在这里只提到了
hdfs
我想知道是否可以使用本地文件系统与
flink
rocksdb
后端
,谢谢!
Flink
代码:
浏览 3
提问于2019-10-29
得票数 3
回答已采纳
1
回答
作为持久存储
的
Flink
apache-flink
、
ceph
Flink
文档表明Ceph可以用作
状态
的
持久存储。 考虑到Ceph是一个事务性数据库,它不会对
Flink
的
性能产生不利影响吗?
浏览 6
提问于2017-12-05
得票数 3
回答已采纳
1
回答
如何在Kubernetes中
为
Flink
应用程序自定义资源提供Vault机密
kubernetes
、
apache-flink
、
vault
我想从Hashicorp中
为
在Kubernetes集群中运行
的
Apache作业提供秘密。这些学分将用于访问用于检查点和保存点
的
状态
后端
。例如,
状态
后端
可以是Minio S3存储。有谁能为提供一个工作示例,请给出以下
设置
?/config access-key=minio secret-key=minio123apiVersion:
flink
.k
浏览 2
提问于2022-01-05
得票数 2
回答已采纳
1
回答
由于流对齐,检查点端到端持续时间增加
apache-flink
、
flink-streaming
我有一个
flink
作业,它读取用户事件,使用会话窗口,并写回kafka。问题是-为什么?我如何在不将检查点模式
设置
为
AT_LEAST_ONCE
的
情况下解决这个问题?
浏览 2
提问于2017-06-20
得票数 4
1
回答
链接映射
状态
大小和键数
apache-flink
我想知道是否有一种方法可以检索存储在
状态
后端
的
总
状态
大小。 我目前使用
的
是
flink
1.3,高于emr和rocksdb
后端
,带有异步检查点和增量检查点。" checkpoints“下
的
flink
仪表板显示
状态
大小,但我假设由于我使用
的
是增量检查点,所以我在checkpoint history页面中看到
状态
大小
的
波动。我目前使用
的
唯一方
浏览 2
提问于2017-08-18
得票数 4
1
回答
Flink
,setDbStoragePath方法在RocksDBStateBackend中做什么?
apache-flink
("
hdfs
:///
flink
-checkpoints", true);env.setStateBackend(stateBackend);--我
的
理解是,当DbStoragePath被
设置
时,
Flink
将在存储到hadoop
hdf
浏览 0
提问于2021-02-24
得票数 0
回答已采纳
2
回答
Apache中保留
的
默认检查点在哪里?
java
、
apache-flink
、
flink-streaming
、
checkpointing
我是Apache
的
新手,我正在研究Apache
的
例子。我发现,在失败
的
情况下,
Flink
能够从检查点恢复流处理。StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();现在,我
的
问题是,在默认情况下,
Flink
在哪里保留检查点?任何帮助都是非常感谢
的
!
浏览 0
提问于2018-05-13
得票数 2
回答已采纳
1
回答
Apache
flink
:从RocksDB
后端
的
存储点延迟加载
apache-flink
、
flink-streaming
、
rocksdb
我们希望使用带有RocksDB
后端
(
HDFS
)
的
Apache
Flink
来进行有
状态
流处理。但是,我们
的
应用程序
状态
(键控
状态
)将是of级
的
。据我所知,当我们从保存点恢复作业时,所有操作员
状态
数据都将从
HDFS
上
的
保存点位置发送到每个任务管理器。如果
状态
是to级
的
,那么如果所有这些
状态
都需要传输,那么每次部署都将导致非常长<em
浏览 29
提问于2020-04-23
得票数 0
1
回答
Flink
:关于
flink
检查点和保存点
的
查询
apache-flink
、
flink-streaming
下面是我对
Flink
的
疑问。 对于三个问题,请尽可能回答描述性问题。我对学习StateProcessor API很感兴趣,但我想深入了解它
的
应用,以及它必不可
浏览 1
提问于2020-02-28
得票数 1
回答已采纳
1
回答
如何配置
Flink
以将
Hdfs
用于
后端
状态
和检查点
apache-flink
、
flink-streaming
、
flink-cep
我有一个
Flink
v1.2,3 JobManagers,2 TaskManagers
的
设置
。我想使用
hdfs
作为
后端
状态
、检查点和动物园管理员storageDir。/ip:端口/外部检查点高可用性.zookeeper.storageDir:
hdfs
:/ip:端口/恢复 2017-03-22 17:41RemotingTerminator
浏览 1
提问于2017-03-22
得票数 5
回答已采纳
1
回答
Flink
RocksDB性能问题
hdfs
、
apache-flink
、
flink-streaming
、
rocksdb
我有一个
flink
作业(scala),它基本上是从kafka主题(1.0)读取数据(1分钟
的
事件时间滚动窗口,使用折叠函数,我知道这个函数不推荐,但比聚合函数更容易实现),并将结果写入两个不同
的
kafka问题是--当我使用FS
状态
后端
时,一切都运行顺利,检查点需要1-2秒,平均
状态
大小
为
200 mb --也就是说,直到州大小增加(例如,缩小差距)。我想我会尝试用于检查点
的
rocksdb (通过
hdfs
),但是吞吐量明显低于fs
浏览 1
提问于2018-11-11
得票数 3
2
回答
Apache
Flink
State Store与Kafka Streams
apache-kafka
、
apache-flink
、
apache-kafka-streams
、
stream-processing
据我所知,处理Kafka流
的
状态
在内存、磁盘或Kafka主题中都是本地
的
,因为所有的输入数据都来自一个分区,其中所有的消息都是由一个定义
的
值键控
的
。大多数情况下,计算可以在不知道其他处理器
的
状态
的
情况下完成。如果是这样的话,您有另一个Streams实例来计算结果。如图所示:
Flink
到底在哪里存储它
的
状态
?
Flink
是否也可以在本地存储
状态
,或者总是将
浏览 0
提问于2019-02-10
得票数 3
1
回答
Apache实现具有潜在非常大
状态
的
流处理器
scala
、
apache-flink
、
flink-streaming
我希望从一系列事件中预测出一个潜在
的
非常大
的
状态
。这就是我如何以一种命令式
的
方式来实现这一点: // push event to downstream sink} 在最坏
的
情况下,
浏览 4
提问于2017-03-28
得票数 0
回答已采纳
1
回答
纱线接头作业
Flink
检查点
的
路径动态
设置
apache-flink
、
flink-streaming
、
flink-sql
我使用Yarn来运行
Flink
作业。对于每个
Flink
作业,我都要创建一个检查点。 我提交一个在我
的
Yarn集群中运行
的
Flink
作业。当作业再次提交时,Yarn
为
该
Flink
作业创建一个新
的
application_id。如何配置重新提交
的
Flink
作业以使用重新启动
的
Flink
作业
的
检查点。我已将conf state.savepoints.dir =
h
浏览 0
提问于2018-05-22
得票数 0
回答已采纳
1
回答
fs.
hdfs
.hadoopconf在
flink
-
flink
.
flink
中
的
用途
apache-flink
我能够在远程
hdfs
集群中
的
文件上运行示例wordcount.jar,而无需在
flink
中声明fs.
hdfs
.hadoopconf变量。
flink
-cluster.vm ~]$ /opt/
flink
/bin/
flink
run /opt/
flink
/examples/batch
浏览 2
提问于2016-07-13
得票数 3
回答已采纳
2
回答
使用
状态
处理器api
的
状态
后端
配置
apache-flink
我使用
状态
处理器-api,因为它被发布来引导我
的
flink
状态
。我使用RocksDBStateBackend,它可以工作。我
的
问题是: 由:java.io.IOException引起:
状态
的
大小大于最大允许
的
内存支持
状态
。Size=85356498,maxSize=5242880 .考虑使用不同
的
状态
<e
浏览 3
提问于2021-07-09
得票数 5
回答已采纳
1
回答
Flink
Shaded Hadoop S3文件系统仍需要
hdfs
默认路径和
hdfs
站点配置路径
apache-flink
、
flink-streaming
我正在尝试使用
Flink
1.6.0将S3配置
为
我
的
状态
后端
。文档没有指定这种特定方法对hadoop配置文件
的
任何需求。然而,我正面临着这个错误,抱怨缺少hadoop配置路径。DEBUG org.apache.
flink
.fs.s3hadoop.shaded.org.apache.
flink
.runtime.fs.
hdfs
.AbstractFileSystemFactory(HadoopConfigLoader.java:80)
浏览 12
提问于2018-08-25
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Flink 支持哪些状态管理方式?
如何将Excel表格中的折线图设置为实线虚线混排显示?
分享一个Flink checkpoint失败的问题和解决办法
iOS 14:如何将谷歌浏览器设置为iPhone上的默认浏览器
58同城基于Flink的千亿级实时计算平台架构实践
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券