Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >问答首页 >如何配置Spark 的log4j的日志?

如何配置Spark 的log4j的日志?

提问于 2020-05-28 02:34:15
回答 1关注 0查看 1.8K

我使用的是CDH5.16安装的集群。跑的是spark程序,想要自定义log4j输出日志到客户端目录

配置的log4j如下

代码语言:javascript
运行
AI代码解释
复制
log4j.rootCategory=INFO, console,FILE
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

# Set the default spark-shell log level to WARN. When running the spark-shell, the
# log level for this class is used to overwrite the root logger's log level, so that
# the user can have different defaults for the shell and regular Spark apps.
log4j.logger.org.apache.spark.repl.Main=WARN

# Settings to quiet third party logs that are too verbose
log4j.logger.org.spark_project.jetty=WARN
log4j.logger.org.spark_project.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=WARN
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=WARN
log4j.logger.org.apache.parquet=ERROR
log4j.logger.parquet=ERROR

# SPARK-9183: Settings to avoid annoying messages when looking up nonexistent UDFs in SparkSQL with Hive support
log4j.logger.org.apache.hadoop.hive.metastore.RetryingHMSHandler=FATAL
log4j.logger.org.apache.hadoop.hive.ql.exec.FunctionRegistry=ERROR

log4j.appender.FILE = org.apache.log4j.RollingFileAppender
log4j.appender.FILE.Threshold=DEBUG
#log4j.appender.FILE.File=./log/rzp.log
log4j.appender.FILE.File=/home/rzpt/logs/spark.log
log4j.appender.logFile.Encoding = UTF-8
log4j.appender.FILE.layout=org.apache.log4j.PatternLayout
log4j.appender.FILE.layout.ConversionPattern=[%-5p] [%d{yyyy-MM-dd HH:mm:ss}] [%C{1}:%M:%L] %m%n
log4j.appender.FILE.MaxFileSize=10mb

这个log4j配置文件我在项目中放在了resource文件下,服务器上也放了一份(因为网上找了答案两种都有),然后这些命令我都试过了,但是全部都没有日志输出

代码语言:js
AI代码解释
复制
spark2-submit \
    --class com.nari.sgp.amc.measStandAssess.aurSum.AurSumMain \
    --master yarn \
    --deploy-mode cluster \
    --files "./log4j.properties" \
    ./sgp-1.0.jar
    
    spark2-submit --class com.nari.sgp.amc.measStandAssess.aurSum.AurSumMain --master local[*]  \
    --deploy-mode client sgp-1.0.jar

spark2-submit --class com.nari.sgp.amc.measStandAssess.aurSum.AurSumMain \
--files "./log4j.properties" \
--driver-java-options "-Dlog4j.debug=true -Dlog4j.configuration=log4j.properties" \
--conf "spark.executor.extraJavaOptions=-Dlog4j.debug=true -Dlog4j.configuration=log4j.properties" \
--master yarn --deploy-mode cluster  sgp-1.0.jar

spark2-submit --class com.nari.sgp.amc.measStandAssess.aurSum.AurSumMain \
--files "./log4j.properties" \
--driver-java-options "-Dlog4j.debug=true -Dlog4j.configuration=log4j.properties" \
--conf spark.driver.extraJavaOptions='-Dlog4j.configuration=file:/opt/centralLogs/conf/log4j.properties' \
--master yarn --deploy-mode cluster  \
sgp-1.0.jar

回答 1

用户7639018

发布于 2020-08-25 04:15:26

同问,一样的情况

和开发者交流更多问题细节吧,去 写回答
相关文章
免费鼠标宏软件
以下文字来自官网 X-Mouse 按钮控制是适用于 Windows 的免费工具,允许您重新配置和扩展鼠标的功能。
萌海无涯
2022/03/29
8.1K0
免费鼠标宏软件
编写Excel宏[通俗易懂]
分享一下我老师大神的人工智能教程!零基础,通俗易懂!http://blog.csdn.net/jiangjunshow
全栈程序员站长
2022/09/06
1.7K0
编写Excel宏[通俗易懂]
ChatGPT与Excel结合_编写VBA宏
⭐Excel VBA宏(Visual Basic for Applications)是一种用于在Microsoft Excel中自动化和扩展功能的编程语言。VBA允许用户编写自定义的脚本或宏,以便通过执行一系列指令来自动完成特定任务。
天天Lotay
2023/10/15
7370
ChatGPT与Excel结合_编写VBA宏
ChatGPT与Excel结合_编写VBA宏
⭐Excel VBA宏(Visual Basic for Applications)是一种用于在Microsoft Excel中自动化和扩展功能的编程语言。VBA允许用户编写自定义的脚本或宏,以便通过执行一系列指令来自动完成特定任务。
天天Lotay
2023/10/15
6050
ChatGPT与Excel结合_编写VBA宏
StrokePlus - 鼠标手势神器的代码编写技巧
关于键盘事件 关于开机启动 StrokePlus.net is the new version of StrokePlus, check StrokePlus.net instead of legacy StrokePlus. Cheatsheet here. 关于键盘事件 官方教程:http://www.strokesplus.com/help/#CreatingActions 一些例子:https://www.strokesplus.com/scripts/20 最后面包含了几个快捷键的格
szhshp
2022/09/21
8060
xwiki开发者指南-编写XWiki渲染宏
XWiki渲染宏(只适用XWiki语法2.0)可以在Java或直接在wiki页面编写:
lovelife110
2021/01/14
4260
Excel 宏编程-使用excel宏编写第一个Hello World程序实例演示!
先看大屏幕,我要演示的效果就是点击 hello 按钮,运行我们的宏,输出 Hello World!
小蓝枣
2022/05/07
2020
Excel 宏编程-使用excel宏编写第一个Hello World程序实例演示!
百度李彦宏王海峰、阿里王坚、微软沈向洋,谁会成为新院士?
五一假期前夕,中国工程院官网发布了2019年院士增选候选人提名名单,百度的李彦宏、王海峰,微软的沈向洋,阿里的王坚,还有比亚迪的王传福纷纷上榜。
镁客网
2019/05/14
8440
百度李彦宏王海峰、阿里王坚、微软沈向洋,谁会成为新院士?
【学习】七天搞定SAS(六):宏的编写、程序调错
在SAS各种繁杂的PROC之后,还要来看看MACRO才可以嘛。又不能写函数... SAS中的MACRO:宏编写 MACRO主要是DO和%LET的各种组合,前者负责循环后者负责变量。 一个例子: image.png 这段代码可以做什么呢?很简单,替换文字。我们指定了一个SAS MACRO中的变量flowertype,在执行MACRO的时候他会被自动翻译成标准的SAS代码。这样执行的结果就是: 看到了吧,标题已经被替换了。 一段MACRO以%macro开始,然后以%mend结束。 image.pn
小莹莹
2018/04/19
4.1K0
【学习】七天搞定SAS(六):宏的编写、程序调错
React和Vue谁会淘汰谁?
讨论「React和Vue谁会淘汰谁?」这个问题,就像10年前,一个康师傅信徒和一个统一信徒争论:
公众号@魔术师卡颂
2023/02/23
6160
React和Vue谁会淘汰谁?
React和Vue谁会淘汰谁?
讨论**React和Vue谁会淘汰谁?**这个问题,就像10年前,一个康师傅信徒和一个统一信徒争论:
每周聚焦
2023/02/07
8540
数据分析:谁会买iphone x?
北京时间9月13号凌晨,全球最大的肾脏交易中心又开始了新一轮肾买卖计划。没错,你们翘首以待的iphone新产品又来了。 然而,产品特点和价格是否合理,以及卖一个肾够不够这个话题不是本文要讨论的问题,
沉默的白面书生
2018/05/07
9360
数据分析:谁会买iphone x?
智能网卡 vs. DPU,谁会赢?
2021年的Hot Chips大会闭幕(附资料下载),DPU大放异彩。 作为预演,2020年的IEEE Hot Interconnects对智能网卡和DPU做过一个百家争鸣的Panel:SmartNI
用户6874558
2023/02/15
9450
智能网卡 vs. DPU,谁会赢?
#ifdef宏名和#ifndef宏名
#ifdef宏名: #include<iostream> #include<conio.h> using namespace std; #define dhy //定义宏名 int main() { #ifdef dhy //如果宏名定义了执行ifdef代码 cout << "你好,世界" << endl; #else //未定义宏名则会执行else后面的代码 cout << "再见,世界" << endl; #endif //dhy _getch(); return 0; } #ifndef
大忽悠爱学习
2021/02/22
7850
使用鼠标
C语言Windows程序设计 -> 第十一天 -> 使用鼠标 鼠标的使用同样是通过获取Windows鼠标消息来获取用户当前的鼠标状态的。 一、鼠标的介绍     鼠标是计算机的输入设备之一, 在图形化的操作系统上, 鼠标的使用使一些复杂的操作变得简单, 随着科技的进步, 鼠标的种类也越来越多, 按接口类型可分为串行鼠标、PS/2鼠标、总线鼠标、USB鼠标(多为光电鼠标)四种。按其工作原理及其内部结构的不同可以分为机械式,光机式和光电式。     这里我们不讨论鼠标的硬件构造, 更多关于鼠标的硬
猿人谷
2018/01/17
2.8K0
使用鼠标
gtest宏列表_指定宏怎么用
总结gtest中的所有断言相关的宏。 gtest中,断言的宏可以理解为分为两类,一类是ASSERT系列,一类是EXPECT系列。一个直观的解释就是:
全栈程序员站长
2022/11/10
1.2K0
container_of宏定义作用_宏内核
上一篇我们讲到内核链表和普通链表的区别,就有小伙伴追问:内核链表是怎么通过指针域来访问数据域的呢?这篇文章我们就来解答这个问题。
全栈程序员站长
2022/09/23
1.3K0
宏定义
对象宏 #define M_PI 3.1415926535 double r = 1.0; double circlePerimeter = 2 * M_PI * r; // => double circlePerimeter = 2 * 3.1415926535 * r ## 函数宏 #define FUNC(x) x NSLog(@"Hello %@", FUNC("world"); // => NSLog(@"Hello %@", "world");
用户3004328
2018/09/06
1.1K0
开源项目Candy-基于C#编写的通过HOOK系统鼠标的电子宠物
Spectre.Console 是一款 .NET 库,提供了一种简单但强大的方式来创建美观和交互式的控制台应用程序。它允许开发人员轻松构建具有颜色、表格、进度条等功能的富命令行界面 (CLI)。
Net分享
2023/07/26
2130
开源项目Candy-基于C#编写的通过HOOK系统鼠标的电子宠物
基础爬虫,谁学谁会,用requests、
  本项目是爬虫中最基础的,最简单的一例; 后面会有利用爬虫框架来完成更高级、自动化的爬虫程序。   此项目过程是运用requests请求库来获取html,再用正则表达式来解析从中获取所需数据。
py3study
2020/01/17
2910

相似问题

文字识别支持识别健康码颜色吗?

1169

想问问怎么使用elementui在一个表格里面放七个链接,点击不同链接下载不同图片,请问多如何做啊?

0523

微信从图片上复制文字是怎么实现的?

060

语音识别不同接口得到文字结果的延时对比?

1135

tts如何在文字后插入停顿几秒中方法,有这样的实现吗?

0774
相关问答用户
腾讯云TDP | TDP会员擅长3个领域
到家集团 | 技术VP擅长5个领域
平安资管 | 架构师擅长4个领域
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文