Spark 通过 spark-submit 设置日志级别

前言

Spark有多种方式设置日志级别,这次主要记录一下如何在spark-submit设置Spark的日志级别。

1、需求

因为Spark的日志级别默认为INFO(log4j.rootCategory=INFO, console),这样在运行程序的时候有很多我不需要的日志信息都打印出来了,看起来比较乱,比较烦,抓不住重点,而我只想把warn和error打印出来。 之前在测试环境或者在eclipse我是通过其他几种方式(下面会介绍)设置的,但是在生产环境下不允许我修改集群的配置文件(不是我负责~),而在代码里设置日志级别却不生效(原因还没找到),最后通过spark-submit里设置日志级别搞定的。

2、spark-submit 设置

spark-submit --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:log4j.properties"

其中log4j.properties为我将本地的日志文件,拷贝到执行spark-submit的机器上 参考:https://blog.csdn.net/xueba207/article/details/50436684

3、其他几种设置方法

3.1 修改集群的配置文件

cd $SPARK_HOME/conf 
cp log4j.properties.template log4j.properties
vim log4j.properties

将log4j.rootCategory=INFO, console改为log4j.rootCategory=WARN, console

3.2 在Eclipse里设置

将log4j.properties放在项目的src/main/resources即可

  • Spark 默认日志文件:org/apache/spark/log4j-defaults.properties 3.3 代码里配置(未生效) spark.sparkContext.setLogLevel("WARN")
  • 在代码里设置,不生效原因未知

4、 总结

  • 1、如果在自己的测试集群上,直接修改$SPARK_HOME/conf下的log4j.properties即可
  • 2、如果在Eclipse里,将log4j.properties放在项目的src/main/resources即可
  • 3、如果在生产环境的集群,又不允许修改配置文件的话,用上面讲的spark-submit –conf 即可

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏王小雷

HBase伪分布式安装(HDFS)+ZooKeeper安装+HBase数据操作+HBase架构体系

HBase1.2.2伪分布式安装(HDFS)+ZooKeeper-3.4.8安装配置+HBase表和数据操作+HBase的架构体系+单例安装,记录了在Ubunt...

3948
来自专栏我是攻城师

Hadoop2.6.0-cdh5.4.1源码编译安装

9917
来自专栏搜云库

离线部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大数据平台集群服务

Cloudera Manager 分为两个部分:CDH和CM。

41410
来自专栏陆耀伟的专栏

DNS故障对TDW影响评估及改进方案探索

TDW集群的所有slaves机器都需要通过DNS域名解析方式连接master,也就是在所有slaves机器上配置master的域名,而非直接的IP地址;用户需要...

3600
来自专栏Jed的技术阶梯

Hadoop伪分布式集群搭建

2981
来自专栏Hadoop实操

如何在CDH集群中部署Kafka Manager

为了能够方便的查看及管理Kafka集群,yahoo提供了一个基于Web的管理工具(Kafka-Manager)。这个工具可以方便的查看集群中Kafka的Topi...

9132
来自专栏Spark学习技巧

重磅:Flume1-7结合kafka讲解

本文主要是将flume监控目录,文件,kafka Source,kafka sink,hdfs sink这几种生产中我们常用的flume+kafka+hadoo...

7197
来自专栏Huramkin的归档库

Screen命令常见用法

5242
来自专栏Hadoop实操

HDFS添加 NFS Gateway 角色实例启动失败问题及解决办法

昨天登录公司测试集群的时候,发现HDFS存在告警信息,查看详细信息,发现 NFS Gateway 进程退出,尝试重启该角色实例,执行重启操作后,报如下异常:

1.6K4
来自专栏搜云库

离线部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大数据平台集群服务

Cloudera Manager Cloudera Manager 分为两个部分:CDH和CM。 CDH是Cloudera Distribution Hadoo...

4919

扫码关注云+社区

领取腾讯云代金券