腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在
同一
yarn
会话
中
运行时
,
单独
的
flink
作业
的
日志
文件
、
当我们
在
一个纱线
会话
中
运行多个
flink
作业
时。我们发现所有
作业
的
日志
都被写入到
同一
个
文件
"taskmanager.log“
中
,我们很难检查特定
作业
的
日志
。有什么方法可以将它们分开吗?此外,如果我们
的
flink
作业
长时间运行,如何根据日期分隔
日志
文件</em
浏览 14
提问于2019-03-13
得票数 0
2
回答
哪里可以检查
flink
流
作业
的
日志
?
、
我有一个
flink
流
作业
连续运行在纱线上。我看不到运行
作业
的
任何应用程序
日志
。我只有
在
作为独立
的
java程序
运行时
才会得到
日志
。
浏览 0
提问于2017-04-04
得票数 1
1
回答
flink
web.port无法
在
纱线模式下正确配置
、
我想通过REST获取
flink
的
度量信息,我
的
flink
是由纱线管理
的
,但是
在
flink
- want .
YARN
中
更改web.port配置后,更改没有影响,而且
flink
仪表板
中
的
web.port始终是0。因此,我无法通过REST获取
flink
度量信息。 环境:ubuntu16.04 openjdk-8 hadoop 2.7.1.2.3.6.0-3796
浏览 0
提问于2019-01-02
得票数 0
回答已采纳
1
回答
在
EMR群集中提交
Flink
作业
:未能初始化群集入口点YarnJobClusterEntrypoint
、
、
: Caused by: org.apache.
flink
.
yarn
.YarnClusterDescriptor$YarnDeploymentException: The
YARN
application
在
遍历了工人节点上
的
日志
和
作业
管理器
日志
之后,似乎出现了端口冲突。),建议
的
解决方案是
在
Flink
配置
文件
中
为使用端口范围。无论怎样,
在
1.10
浏览 4
提问于2020-06-17
得票数 1
1
回答
如何指定ResourceManager
的
地址到bin/
yarn
-session.sh?
、
、
我是
Flink
的
新手。运行bin/
yarn
-session.sh时,我对如何指定ResourceManager
的
地址感到困惑
浏览 0
提问于2017-08-17
得票数 0
1
回答
在
Yarn
上运行
Flink
1.5
我们
在
hadoop 2.6群集上运行
Flink
1.5.0
Yarn
会话
。./bin/
yarn
-session.sh -n 4 -jm 1024 -tm 4096 -qu但是这不会启动任何任务管理器。
日志
上说
Flink
JobManager是从leader id 000000开始
的
...
在
JobManager web界面
中
也没有任务管理器。当我们向这个jobManager提交一个
flink
浏览 10
提问于2018-08-21
得票数 0
1
回答
在
EMR上运行带有
flink
纱线
会话
的
束流管道
、
、
、
我正在尝试从python SDK运行一个基本
的
字数束管道,并在AWS EMR上使用
flink
yarn
会话
。我同时使用了
flink
runner和便携runner,得到了下面列出
的
两个不同
的
错误。这两种类型
的
运行器
的
作业
都会显示
在
flink
UI
中
,并在我
的
笔记本电脑上使用本地
flink
会话
成功运行。使用Fli
浏览 17
提问于2020-06-18
得票数 2
回答已采纳
1
回答
Flink
日志
记录限制:如何将
日志
配置传递给
flink
作业
、
、
当
flink
作业
从Eclipse这样
的
IDE
运行时
,我可以
在
logstash中看到应用程序
日志
。
日志
配置
文件
logback.xml放在src/main/resources
中
,并包含在类路径
中
。即使
在
IDE之外
的
命令行运行
作业
时,
日志
记录也可以正常工作。 但是,当我通过
flink
仪表板将此
作业
浏览 1
提问于2018-11-29
得票数 3
回答已采纳
1
回答
使用批量
flink
作业
的
纱线集群性能较低
、
、
、
出于测试目的,我
在
yarn
上玩
flink
,我有以下设置:我手动安装了带有hdfs和
yarn
服务
的
Hadoop2(没有使用EMR)。机器#1运行在主
文件
中
定义
的
HDFS - (NameNode & SeconderyNameNode)和
YARN
- (resourcemanager) 机器#2运行在从
文件
中
定义
的<
浏览 1
提问于2017-06-23
得票数 0
1
回答
Flink
读AvroInputFormat PROCESS_CONTINUOUSLY
、
、
我刚接触过
Flink
(v1.3.2),并试图
在
scala
中
连续读取EMR上
的
avro记录。我知道,对于
文件
,您可以使用类似以下内容,它将继续运行和扫描目录。FileProcessingMode.PROCESS_CONTINUOUSLY, ) .keyBy(0) .timeWindow(
浏览 2
提问于2018-01-11
得票数 0
回答已采纳
1
回答
为什么像'-n‘或'-yn’这样
的
参数
在
申请任务管理器时不起作用
运行以下命令将
作业
提交给纱线,但不需要任务管理器
的
分配数。集群有足够
的
资源<220 enough,720 G mem>我们可以从信息
日志
中看到,发送给纱线
的
参数是{masterMemoryM
浏览 0
提问于2019-04-10
得票数 4
回答已采纳
1
回答
纱线接头
作业
Flink
检查点
的
路径动态设置
、
、
我使用
Yarn
来运行
Flink
作业
。对于每个
Flink
作业
,我都要创建一个检查点。 我提交一个
在
我
的
Yarn
集群
中
运行
的
Flink
作业
。我有一个轮询
作业
,它检查一个
作业
是否
在
Yarn
上失败并重新启动它。当
作业
再次提交时,
Yarn
为该
Flink
作业</
浏览 0
提问于2018-05-22
得票数 0
回答已采纳
1
回答
纱线上
的
Flink
使用纱线
会话
还是不使用?
、
、
有两种方法可以
在
yarn
上部署
flink
应用程序。第一个是使用
yarn
-session,所有
flink
应用程序都部署
在
会话
中
。第二种方法是将每个
flink
应用程序作为
yarn
应用程序部署
在
yarn
上。我找不到任何关于这方面的材料。我认为第一种方法将节省资源,因为只需要一个
作业
管理器(<
浏览 2
提问于2018-09-13
得票数 1
1
回答
Flink
日志
记录在群集模式下不起作用
、
、
最近,
在
使用logback.xml作为
日志
记录时,我
在
独立集群模式下
的
Flink
日志
记录遇到了一个问题。我
的
要求是我
的
所有
作业
都应该记录在特定
的
文件
夹
中
,我
的
flink
框架
日志
应该放在
单独
的
文件
夹
中
,而且对于
在
我
的
浏览 47
提问于2020-08-06
得票数 0
2
回答
如何通过web ui将
作业
提交到纱线上
的
flink
、
我
在
yarn
上建立了一个
flink
集群,并成功地通过主机上
的
相关命令类型提交
作业
。 我点击“这里”超链接,它跳转到一个页面,
在
集群
中
的
随机主机ip和“随机”端口。由于我们没有开放所有端口到公网,所以本页被拒绝连接。 我试着调试js代码,看看是不是一些配置触发了这个问题,并找
浏览 5
提问于2018-09-11
得票数 0
1
回答
Flink
作业
从另一个关于纱线
的
程序开始,但由于"JobClientActor似乎已经死了“而失败。
、
我是新
的
flink
用户,我有以下问题。使用
flink
将从关系数据库中提取
的
相关数据传输到HBase
中
。最初
的
工作和通常一样--最初
的
几个
作业
被提交到
会话
中
,并成功地完成了。但下列
作业
未提交给纱线
会话
。
在
/opt/
flink
-1.3.1/log/
flink
-tsvetkoff-client-
浏览 1
提问于2018-01-16
得票数 7
回答已采纳
1
回答
同时运行约10个批处理
作业
时,
Flink
纱线
会话
模式变得不稳定
、
、
我正在尝试设置一个
flink
-
yarn
会话
来运行~100+批处理
作业
。
在
连接到大约40个任务管理器和大约10个正在运行
的
作业
(每个任务管理器有2个插槽和1 1GB内存)后,看起来
会话
变得不稳定。有足够
的
可用资源。
flink
UI突然变得不可用,我猜
作业
管理器可能已经死了。最终,
yarn
应用程序也被终止了。
作业
管理器
在
4核16 gb节点上运行,12
浏览 2
提问于2020-08-16
得票数 0
2
回答
Flink
SQL client:选择'hello‘引发
的
[错误]无法执行SQL语句
、
我正在跟踪
Flink
。打开
Flink
SQL客户端看起来很好,但是SELECT 'hello world'不能工作。$ /data/apache/
flink
/
flink
-1.12.0/bin/sql-client.sh embedded SLF4J: Class path contains multiple SLF4JSLF4J: Found binding in [jar:file:/data/apache/<
浏览 14
提问于2021-03-26
得票数 1
回答已采纳
1
回答
为什么
Flink
1.4
中
的
每个处理槽都使用独立
的
内核?
、
我有一个docker-compose与hadoop big-data-europe和
Flink
1.10和1.4,我试图
在
单独
的
容器
中
启动它们。/bin/
yarn
-session.sh -n 10 -tm 8192 -s 32 当我使用
flink
1.10版本时,启动
yarn
会话
的
Flink
集群是可以
的
,但当版本是1.4时,我得到一个异常: java.lang.R
浏览 23
提问于2020-09-07
得票数 0
回答已采纳
1
回答
Flink
EMR部署不能获取
Yarn
上下文,只能作为本地应用程序执行
、
我正在AWS EMR 6.2上部署我
的
Flink
应用程序我将该步骤配置为:如本文所述:控制器
日志
显示: /mnt/var/lib/hadoop/steps/s-309XLKSZGN4V4/trigger-service-***.jar startExec 'hadoop j
浏览 0
提问于2021-02-24
得票数 3
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
【大数据】yarn proxyserver和historyserver 讲解
Flink 中的应用部署:当前状态与新应用模式
Apache Flink 进阶(六):Flink 作业执行深度解析
58同城基于Flink的千亿级实时计算平台架构实践
分享一个Flink checkpoint失败的问题和解决办法
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券