腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
可以
在
Flink
的
作业
管理器
中
运行
简单
的
作业
吗
?
apache-flink
、
flink-streaming
、
flink-sql
我已经写了一个
Flink
作业
,它从Kafka读取数据,并以ORC格式为HIVE(使用20个执行器)写入hdfs文件。我需要
运行
一个
简单
的
作业
,它每小时将分区插入到HIVE表
中
。
可以
在
作业
管理器
中
运行
这个
简单
的
分区添加
作业
吗
?
浏览 15
提问于2020-07-16
得票数 0
回答已采纳
1
回答
在
应用程序完成时清理Kubernetes上
的
Flink
应用程序集群
的
最佳实践
kubernetes
、
apache-flink
、
flink-batch
我们
在
应用程序模式下
的
Kubernetes上
运行
Flink
作业
,问题是当
作业
完成/停止时,
作业
管理器
容器将退出,但1.任务
管理器
的
部署2.
作业
管理器
服务3.删除将仍然存在,除非我们
运行
kubectl configMap如果我们手动停止
作业
,这并不是什么大问题,但如果我们
的
Flink
作业</em
浏览 5
提问于2021-02-20
得票数 0
1
回答
如何在提交
作业
时设置
flink
任务
管理器
内存
memory-management
、
apache-flink
、
batch-processing
、
taskmanager
如果我向
flink
和提交了一个
作业
,那么我知道此任务所需
的
最大内存。如何调整工作
中
的
任务
管理器
内存?或者只有修改源代码才能达到我
的
目的?
浏览 7
提问于2022-05-01
得票数 0
回答已采纳
1
回答
Flink
:执行管道错误java.util.concurrent.TimeoutException:期货超时后[10000毫秒]
java
、
batch-processing
、
apache-flink
我正在使用
Flink
v1.4.0。...当我试图通过
Flink
UI提交相同
的
浏览 0
提问于2018-04-17
得票数 2
回答已采纳
2
回答
在
应用程序模式下部署时,如何分配
Flink
作业
管理器
?
apache-flink
、
flink-streaming
来自是否每个
作业
都有单独
的
JM或共享?图像显示了一些不同
的
东西,想要澄清这一点。
浏览 0
提问于2020-08-03
得票数 1
1
回答
无法使用JobManager HA
在
独立Kubernetes模式下
运行
Flink
kubernetes
、
apache-flink
我
在
没有
作业
管理器
HA
的
独立Kubernetes (sesion)模式下
运行
Apache。但是我需要部署
作业
管理器
HA,因为只有
在
HA模式下,
Flink
才能持久(
可以
在
作业
管理器
重新启动后保存
作业
)。
Flink
在
专用
的
kubernetes命名空间中
运行
,而我只有名称空间<em
浏览 1
提问于2021-09-21
得票数 1
1
回答
在
Flink
独立集群
中
运行
多个
Flink
程序(v1.4.2)
apache-flink
、
flink-streaming
我有一个基于
Flink
1.4.2
的
Flink
独立集群(1个
作业
管理器
,4个任务槽),并想提交两个不同
的
Flink
程序。不确定这是否可能,因为一些
flink
归档文件说一个
作业
管理器
只能
运行
一个
作业
。
Flink
集群只有一台机器可用,我们不想使用任何资源
管理器
,比如Mesos或Yarn。 有什么提示
吗
?
浏览 2
提问于2018-06-12
得票数 3
1
回答
如何使
Flink
任务
管理器
在
K8s上
运行
kubernetes
、
apache-flink
、
taskmanager
我使用以下命令
在
本机K8s上使用会话模式创建了一个
Flink
集群:基于。 我能够向集群提交
作业
并查看
Flink
UI。但是,我注意到,
Flink
只
在
作业
提交时创建一个任务
管理器
结荚,并在
作业
完成后立即删除它。以前,我
在
Goog
浏览 10
提问于2022-08-30
得票数 1
回答已采纳
1
回答
FlinkZooKeeperQuorumPeer
在
flink
中
的
作用是什么?
apache-flink
在
bin/
flink
-console.sh
中
,FlinkZooKeeperQuorumPeer被列为
flink
可以
运行
的
服务之一。FlinkZooKeeperQuorumPeer是用来做什么
的
?在哪个
flink
中
需要使用zookeeper并为其
运行
独立服务?如果是为了
作业
管理器
的
高可用性,为什么我们不把它作为
作业
<
浏览 38
提问于2019-05-27
得票数 0
1
回答
同时
运行
约10个批处理
作业
时,
Flink
纱线会话模式变得不稳定
apache-flink
、
amazon-emr
、
flink-batch
我正在尝试设置一个
flink
-yarn会话来
运行
~100+批处理
作业
。
在
连接到大约40个任务
管理器
和大约10个正在
运行
的
作业
(每个任务
管理器
有2个插槽和1 1GB内存)后,看起来会话变得不稳定。有足够
的
可用资源。
flink
UI突然变得不可用,我猜
作业
管理器
可能已经死了。最终,yarn应用程序也被终止了。
作业
管理器
在</
浏览 2
提问于2020-08-16
得票数 0
1
回答
在
Yarn上
运行
Flink
1.5
apache-flink
我们
在
hadoop 2.6群集上
运行
Flink
1.5.0 Yarn会话。./bin/yarn-session.sh -n 4 -jm 1024 -tm 4096 -qu但是这不会启动任何任务
管理器
。日志上说
Flink
JobManager是从leader id 000000开始
的
...
在
JobManager web界面
中
也没有任务
管理器
。当我们向这个jobManager提交一个
flink
浏览 10
提问于2018-08-21
得票数 0
1
回答
Flink
插槽指标(可用/正在
运行
/已注册)
apache-flink
Flink
公开
的
这些指标之间到底有什么区别? ? 谢谢!
浏览 9
提问于2019-09-19
得票数 0
回答已采纳
1
回答
Flink
独立群集
管理器
是否支持
在
群集上同时
运行
应用程序
hadoop-yarn
、
apache-flink
、
job-scheduling
我有一个具有8个CPU核心和16 CPU
的
Flink
集群。当我使用以下命令向集群提交
作业
时:
flink
run -m ip:port -p 8 X.jar
在
作业
管理器
web界面
中
,我
可以
看到所有8个内核都已使用。根据文档,
Flink
独立集群
管理器
使用FIFO调度来
运行
应用程序。我想知道
Flink
独立集群
管理器
是否支持
在
集群上同
浏览 1
提问于2018-01-10
得票数 1
1
回答
在
kubernetes上
运行
flink
作业
kubernetes
、
apache-flink
我正在用最新版本
的
flink
1.5
在
kubernetes上试用
flink
作业
。我
的
问题是如何在上面的
flink
集群上
运行
一个示例应用程序。提供了如何使用
flink
应用程序构建docker镜像并将该应用程序提
浏览 0
提问于2018-06-22
得票数 1
1
回答
Flink
1.32 akka.tcp
akka
、
apache-flink
启动集群时,TaskManager
中
的
日志如下所示: INFO org.apache.
flink</
浏览 0
提问于2018-03-21
得票数 0
1
回答
EKS实例故障和恢复
中
的
Flink
生产会话集群
apache-flink
、
flink-streaming
、
amazon-eks
我是
Flink
的
新手,计划在EKS上部署
Flink
会话集群,其中包含1个
作业
管理器
和5个任务
管理器
(每个任务
管理器
有4个槽)。不同
的
作业
将通过UI提交给不同
的
应用程序。假设我提交了一个有状态
作业
(
作业
具有使用RichFlatMapFunction
的
简单
计数器逻辑),由RocksDBStateBackend支持,S3、checkpointDataU
浏览 1
提问于2020-05-17
得票数 1
回答已采纳
1
回答
flink
群集重新启动时自动恢复
作业
apache-flink
、
restart
我
在
一个独立
的
flink
集群上
运行
作业
,只有一个
作业
管理器
,
在
一个docker容器
中
运行
。每当集群崩溃并重新启动时,我必须再次手动提交
作业
才能启动。有没有办法让
flink
在
群集重新
运行
后自动恢复
作业
?
浏览 74
提问于2020-01-29
得票数 0
回答已采纳
2
回答
Apache集合环境变量
scala
、
apache-flink
我正在使用
flink
-docker 1.4.0,我已经创建了一个scala
作业
以
在
Flink
上
运行
。该
作业
使用了typesafe配置,看起来类似于:servers = ${?KAFKA_SERVERS} 问题是,如果我
在
启动
作业
管理器
和任务
管理器
的
坞-复合文件
中
设置了KAFKA_SERVERS,那么它就能很
浏览 0
提问于2018-03-09
得票数 1
回答已采纳
1
回答
Flink
动态标度
apache-flink
、
flink-streaming
我目前正在研究
Flink
上
的
可伸缩性。从1.2.0版本开始,引入了动态重标度。我正在寻找一个长时间
运行
的
任务,它从Kafka源读取数据。 关于动态重标度
的
问题。要扩展我
的
flink
应用程序,例如:添加新
的
任务
管理器
,必须重新启动
作业
/纱线会话才能使用新添加
的
资源?我认为
可以
编写Yarn客户端来部署新
的
任务
管理器
并使其与
作业</e
浏览 1
提问于2017-04-18
得票数 5
回答已采纳
1
回答
从外部化检查点问题恢复
Flink
docker
、
apache-flink
、
amazon-ecs
我使用
的
是在从docker-
flink
安装
的
ECS
中
运行
的
Flink
。我已经通过
flink
-conf.yaml
中
的
state.checkpoints.dir到S3启用了外部检查点到AWS S3。现在,根据
Flink
文档here,如果我们想在出现故障
的
情况下从检查点恢复,我们必须使用bin/
flink
run -s :checkpointMetaDataP
浏览 35
提问于2020-04-03
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Flink 中的应用部署:当前状态与新应用模式
【大数据】yarn proxyserver和historyserver 讲解
Apache Flink 进阶(六):Flink 作业执行深度解析
百亿条日志实时处理,为什么要用Flink?
Flink on PaaSTA:Yelp运行在Kubernetes上的新流处理平台
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券