腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(2184)
视频
沙龙
1
回答
如
何在
log4j
日志
文件
Scala
的
文件名
中
添加
Spark
ApplicationID
scala
、
apache-spark
、
log4j
我正在尝试将
Spark
applicationId
附加到
log4j
日志
文件
的
文件名
中
。log4j.appender.file.rollingPolicy=org.apache.log4j.rolling.TimeBasedRollingPolicy log4j.appender.file.rollingPolicy.FileNamePattern=
log4j
命令:
spark
2-submit -conf "
浏览 27
提问于2020-07-22
得票数 0
回答已采纳
1
回答
伐木火花作业
logging
、
apache-spark
、
pyspark
我试图跟踪集群上提交
的
作业,到目前为止只使用
spark
.eventLog.enabled = True找到事件
日志
的
日志
解决方案,后者提供关于任务何时开始和完成
的
信息(关于该
的
更多信息)或
log4j
,后者还提供有关任务状态和进度
的
信息不过,我真正想要
的
是记录正在运行
的
任务。因此,这将捕获执行
的
代码,
如
: var = sc.range(1000)或min_var =
浏览 6
提问于2016-03-23
得票数 2
1
回答
如
何在
多节点群集上使用
spark
-submit提交自定义log4j.xml
文件
apache-spark
、
log4j
、
hdfs
、
apache-spark-standalone
我正在使用
spark
-submit向
spark
独立集群管理器提交java jar。但我不能提供自定义
的
log4j.xml
文件
给它。如果我使用--
log4j
选项,那么我需要将该
文件
复制到相同位置
的
所有机器上,或者如果我使用hdfs:// path提供该
文件
,则它不会将该
文件
作为
log4j
文件
,而是切换到默认
的
log4j
文件
。我
浏览 16
提问于2017-01-11
得票数 1
2
回答
Apache
spark
作业
日志
记录
logging
、
apache-spark
在Apache
Spark
作业代码
中
记录
日志
的
实践是什么?显而易见
的
解决方案是:使用
Spark
的
loginfo(和其他方法,尽管不推荐),一些
日志
框架(
如
log4s)或简单
的
println。在我
的
Java开发人员背景下,我觉得直接将
日志
写入
浏览 7
提问于2016-06-17
得票数 0
1
回答
在步骤开始运行后,从何处获取EMR群集故障
日志
apache-spark
、
amazon-emr
我
的
EMR集群启动,该步骤运行了一段时间,但随后该步骤被取消,我在集群名称旁边收到一条集群错误消息,如下所示:但是,我在任何地方都找不到错误
日志
,甚至在电子病历摘要
中
的
s3
日志
URI
中
也找不到。有人知道我在哪里可以得到错误
日志
吗?
浏览 7
提问于2021-07-31
得票数 1
3
回答
在静默模式下通过火花-shell执行
scala
脚本。
scala
、
apache-spark
、
spark-shell
需要以静默模式通过火花壳执行
scala
脚本。当我使用
spark
-shell -i "file.
scala
"时,在执行之后,我将进入
scala
交互模式。我不想进去。我试着执行星空-i "file.
scala
“。但我不知道如
何在
静默模式下执行脚本。
spark
-shell -i "file.
scala
"
scala
>
浏览 0
提问于2019-08-28
得票数 4
1
回答
如
何在
日志
文件名
中
添加
用户名?
log4j
我正在使用
Log4j
记录一些信息,并尝试将当前用户名连接到
日志
文件名
。这就是我正在做
的
事情。log4j.appender.file.File=${userId}_file.log 生成
的
文件名
为_file.log。如
何在
日志
文件名
中
添加
用户名或userId?
浏览 0
提问于2016-09-02
得票数 0
3
回答
Dataproc:配置火花驱动程序和执行器
log4j
属性
logging
、
google-cloud-dataproc
正如前面的答案所解释
的
,更改星火集群
的
详细内容
的
理想方法是更改。但是,在dataproc上,
Spark
运行在Yarn上,因此,我们必须调整全局配置,而不是/usr/lib/
spark
/conf。若干建议: 在dataproc上,我们有几个gcloud命令和属性,可以在集群创建过程
中
传递。可以更改/etc/hadoop/conf下
的
log4j.properties吗?--properties '
浏览 6
提问于2016-03-23
得票数 5
回答已采纳
4
回答
如何将Apache
Spark
日志
从驱动程序和从机重定向到使用
log4j
启动
Spark
作业
的
机器
的
控制台?
scala
、
apache-spark
、
hadoop
、
logging
、
log4j
我正在尝试构建一个Apache
Spark
应用程序,它可以从HDFS规范化csv
文件
(更改分隔符,修复断行)。我使用
log4j
来记录
日志
,但是所有的
日志
都会在执行器
中
打印出来,所以我检查它们
的
唯一方法就是使用yarn logs -
applicationId
命令。有没有办法将所有
日志
(从驱动程序和执行器)重定向到我
的
网关节点(启动
spark
作业
的
节点),以便我可以在执行期间检查它们?
浏览 4
提问于2018-12-04
得票数 0
2
回答
Scala
Log4j
配置
scala
、
apache-spark
、
log4j
所以我尝试在我
的
scala
代码
中
设置
log4j
。这就是我到目前为止所知道
的
:package myPackage ... 但我真的不知道
日志
的
位置,也不知道如何将其打印到
文件
中
。我
的
浏览 0
提问于2018-04-26
得票数 2
2
回答
无法在Kubernetes上查看
Spark
的
输出或错误消息
apache-spark
、
kubernetes
pod
日志
显示通常
的
log4j
警告,但不显示其他警告。确保应用程序在
Spark
Standalone
中
运行良好。如何找到实际
的
错误? 然后,我尝试按照
中
的
描述,为详细
的
日志
记录配置<e
浏览 1
提问于2019-05-21
得票数 0
1
回答
Dataproc:限制长期运行/流火花作业
的
日志
大小
apache-spark
、
pyspark
、
spark-structured-streaming
、
google-cloud-dataproc
我注意到
的
是stdout是空
的
,而所有的
日志
都放在stderr
中
。 root@versa-structured-stream-v1-w-1:/home/karana
浏览 5
提问于2022-09-19
得票数 2
1
回答
如何处理来自Dataframe
的
ValueError使用
Scala
scala
、
apache-spark
、
dataframe
、
spark-dataframe
我正在使用
Scala
开发
Spark
,而且我没有
Scala
的
任何背景。我还没有得到ValueError,但是我正在为我
的
代码准备ValueError处理程序。1212 ||22 |1201 |1209 |如果我们有这样
的
数据,我想将第三行和第四行存储到Error.dat
中
,然后再处理第五行。在错误
日志
中</
浏览 2
提问于2017-02-26
得票数 0
回答已采纳
1
回答
如何拖尾纱线原木?
apache-spark
、
hadoop
、
hadoop-yarn
、
tail
、
apache-spark-2.0
我想使用类似于Linux机器
中
的
tail命令操作
的
应用程序Id来跟踪纱线
日志
。export
SPARK
_MAJOR_VERSION=2 nohup
spark
-submit --class "com.test.TestApplication" --name TestApp --queue
浏览 37
提问于2019-01-23
得票数 0
回答已采纳
2
回答
为什么星火不在Eclipse上运行?
java
、
python-3.x
、
eclipse
、
hadoop
、
pyspark
我试图运行一个简单
的
测试代码:
spark
= SparkSession.builder.getOrCreate()org/apache/
log4j
/log4j-defaults.properties将默认
日志
级别设置为“警告”。18/12/30 17:04:33
浏览 0
提问于2018-12-30
得票数 1
1
回答
覆盖
log4j
属性以过滤数据库
中
的
日志
apache-spark
、
log4j
、
databricks
对于每次作业运行,都会生成
spark
驱动程序
日志
,其中包含stdout、sterr和
log4j
文件
。我还在我
的
代码中使用了相同
的
log4j
库来记录
日志
&因此,我
的
日志
将作为驱动程序
log4j
日志
文件
的
一部分打印出来。 问题是大多数驱动程序
log4j
文件
包含由databricks或
spark<
浏览 1
提问于2020-01-16
得票数 2
5
回答
将登录
中
的
应用程序
日志
与
log4j
中
的
Spark
日志
分开
scala
、
maven
、
logging
、
apache-spark
、
jar
我有一个使用
Spark
的
Scala
Maven项目,我正在尝试使用Logback实现
日志
记录。我正在将我
的
应用程序编译为jar,并部署到安装了
Spark
发行版
的
EC2实例。但是,如果我使用
Spark
(即
spark
-submit),则绑定到
log4j
。/jars
中
,而且
spark
很可能引用这些jars,尽管我
的
pom.xml中排除了它们,因为如果我删除它
浏览 2
提问于2017-02-09
得票数 13
3
回答
AWS EMR上
的
自定义log4j.properties
apache-spark
、
log4j
、
emr
我无法覆盖和使用Amazon EMR上
的
自定义log4j.properties。我在电子病历(纱线)上运行火花,并尝试了下面所有的组合在火花提交尝试和使用自定义
的
log4j
。-driver-java-options "-Dlog4j.configuration=hdfs://host:port/user/hadoop/log4j.properties" --conf "
spark
.driver.extraJavaOptions=-Dlog4j
浏览 2
提问于2017-02-25
得票数 8
5
回答
如何使用
log4j
登录到运行在纱线上
的
星火应用程序
中
的
本地
文件
系统?
logging
、
log4j
、
apache-spark
、
hadoop-yarn
我正在构建一个Apache流应用程序,当它在
Spark
上运行时,我不能让它登录到本地
文件
系统上
的
一个
文件
。如何才能做到这一点?我已经设置了log4.properties
文件
,以便它能够成功地写入本地
文件
系统上/tmp目录
中
的
日志
文件
(如下部分所示): log4j.appender.file=org.apache.log4j.FileAppenderlog4j.appender.file.layout.Co
浏览 5
提问于2015-02-11
得票数 34
回答已采纳
1
回答
如何将
Log4j
(1或2)配置为在针对Slf4j
的
代码中使用自定义
日志
文件名
java
、
multithreading
、
log4j
、
slf4j
我知道有很多与此相关
的
问题,但我找不到一个与我正在看
的
场景相匹配
的
问题,下面是一个问题。出现了一个新
的
请求,使
日志
文件名
基于特定
的
数据,让我们称其为match_code。我在googled上搜索了一段时间,了解到每当进程开始时,我都需要
浏览 4
提问于2015-06-11
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Spark-2
让人头大的slf4j和log4j2
搭建Windows下的Spark开发环境
Spark MLlib 入门学习笔记-编程环境配置
如何在万亿级别规模的数据量上使用 Spark?
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券