在spark应用程序中使用log4j时如何忽略导入的库日志
在Spark应用程序中使用log4j时，可以通过配置文件来忽略导入的库日志。具体步骤如下：
- 创建一个log4j.properties文件，用于配置log4j的日志输出规则。可以在项目的资源目录下创建该文件。
- 在log4j.properties文件中，添加以下配置内容：
- 在log4j.properties文件中，添加以下配置内容：
- 上述配置中，
log4j.logger用于设置特定包或类的日志级别。org.apache表示忽略Apache库的日志，org.eclipse.jetty和org.spark_project.jetty表示忽略Jetty库的日志。 - 将log4j.properties文件放置在Spark应用程序的classpath中，确保Spark能够找到该配置文件。
通过以上配置，Spark应用程序将忽略导入的库的日志，只输出WARN级别及以上的日志信息。这样可以减少日志输出量，提高应用程序的性能和可读性。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云日志服务（CLS）：https://cloud.tencent.com/product/cls
- 腾讯云云原生应用引擎（TKE）：https://cloud.tencent.com/product/tke
- 腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 腾讯云云数据库MySQL版（TencentDB for MySQL）：https://cloud.tencent.com/product/cdb_mysql
- 腾讯云云存储（COS）：https://cloud.tencent.com/product/cos
相关·内容
1回答
我正在Google引擎集群上运行Apache应用程序，它将STDOUT和STDERR的任何输出传播到。但是，粒度日志严重性级别不会被传播。云日志记录中的所有消息都只有信息或错误严重性(取决于它是写入stdout还是stderr)，并且实际的严重性级别隐藏在文本属性中。
我的目标是格式化中的消息，以便将严重性级别传播到云日志记录。不幸的是，Apache仍然使用不推荐的库进行日志记录，我想知道如何格式化日志消息，以便云日志能够正确地提取它们。
到目前为止，我使用的是以下默认的log4j.properties文件：
log4j.rootCategory=INFO, console
log4j.app
浏览 3提问于2021-07-22得票数 1
回答已采纳
1回答
我在使用log4j进行日志记录时遇到了问题。我创建了属性文件，并在Java代码中打开它，一切正常，只是属性文件出现了故障。我看了这里的几个教程和问题，但我似乎无法修复它。下面是我的属性文件(名为WSConnectorLog.properties)：
##########################
# Loggers
log4J.rootLogger = FATAL, console
log4j.WSDetailedLogger = TRACE, WSDetailLog, console
log4j.WSAppLogger = INFO, WSAppLog, console
# Appe
浏览 0提问于2015-07-29得票数 1
1回答
我使用的是Log4j，我想用不同的日志级别进行日志记录。如果我可以为每个日志级别使用自定义布局，或者只有一个记录器只记录日志消息而不进行任何格式化，那就太好了。我真的不知道怎么做，所以如果你们能给我一些提示的话，我会很高兴的。
这是我的log4j.properties：
# Root Logger
log4j.rootLogger=DEBUG, console, file
# Appender to Console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.layout=org
浏览 1提问于2013-09-30得票数 0
回答已采纳
6回答
我有一个非常简单的应用程序，说明了日志的功能。我用log4j。但我在设置上有点麻烦。我下载了文件log4j-1.2.16.jar.并通过Properties、->、Java构建路径、->库、->添加外部JAR.将其连接到我的项目。这是我的班级：
package ru.log4j.log4jhelloworld;
import org.apache.log4j.Logger;
public class MyClass {
private static final Logger logger = Logger.getLogger(MyClass.class);
浏览 5提问于2012-02-16得票数 2
回答已采纳
1回答
我使用的是CDH5.16安装的集群。跑的是spark程序，想要自定义log4j输出日志到客户端目录
配置的log4j如下
log4j.rootCategory=INFO, console,FILE
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPat
浏览 1762提问于2020-05-28
4回答
请描述您的问题
标题：腾讯云云产品新购特惠，五折上云！
地址：https://cloud.tencent.com/act/first_purchase?utm_source=portal&utm_medium=cdb&utm_campaign=firstpurchase&utm_term=0110
浏览器信息
Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36
浏览 487提问于2018-03-12
请描述您的问题
标题：存储桶概述 - 对象存储 - 产品文档 - 帮助与文档 - 腾讯云
地址：https://cloud.tencent.com/document/product/436/6244
浏览 986提问于2018-01-31
尝试使用Kubernetes master运行一个简单的Spark应用程序。但是我没有得到预期的输出/处理，也看不到任何错误消息。最后的pod阶段为'Failed‘，错误代码为101。pod日志显示通常的log4j警告，但不显示其他警告。
在我办公室的笔记本电脑上使用hyperv在windows (amd64)上运行minikube v1.0.1。我已经按照建议将minikube VM上的cpus和内存数量增加到3 GB和4 GB。
确保应用程序在Spark Standalone中运行良好。第一个应用程序'Hello‘应该打印一条'Hello’消息。第二个应用程序
浏览 1提问于2019-05-21得票数 0
20回答
我想停止在火花壳上传递的各种信息。
为了阻止这些消息，我尝试编辑log4j.properties文件。
以下是log4j.properties的内容
# Define the root logger with appender file
log4j.rootCategory=WARN, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.Patt
浏览 26提问于2015-01-05得票数 216
回答已采纳
1回答
我正在使用log4j管理Clojure应用程序中的日志记录。我希望能够使用一个系统变量来为log4j.properties文件中的单个包设置日志级别。例如，下面是我的基本属性文件：
log4j.rootLogger=INFO,console,sentry
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yyyy
浏览 3提问于2019-05-21得票数 1
对于我当前的web应用程序，我用java编写了一个库，它可以执行一些复杂的后端任务。所有程序输出都通过log4j运行，或者更准确地说是通过slf4j。我做了一个特殊的配置
### Direct log messages to stdout
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d %p %C{1} %M(
浏览 0提问于2014-05-12得票数 0
根据要求，我想保留火花主日志的跟踪，以便在发生错误时保留错误日志。我知道webUI上有工人日志，但我不确定它们显示的错误类型是否与主日志相同。
我发现我们必须修改conf/log4j.properties，但我的尝试不起作用。
默认配置+添加文件：
# Set everything to be logged to the console
log4j.rootCategory=INFO, console, file
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=Syste
浏览 0提问于2017-04-04得票数 6
1回答
当使用log4j更改日志格式时，我在登录spark (pyspark)时遇到了问题。我在log4j.properties中编辑了log4j.properties，但它没有正常工作。在编写日志时，log4j将只使用我试图使用的模式的第一个字母。例如，我不能使用%替换，因为它只获取%r，然后在%r的输出之后输出'eplace‘。我做错了什么？下面是我正在获得的当前输出：
2016-06-20 10:06:59,095 hostname="" client_ip="127.0.0.1" service_name="" event_type=&#
浏览 2提问于2016-06-20得票数 1
回答已采纳
我有一个旧版本的Cocoon的项目。这里有两个cron作业。
该项目具有以下log4j配置：
log4j.appender.CONSOLE=org.apache.log4j.ConsoleAppender
log4j.appender.CONSOLE.layout=org.apache.log4j.PatternLayout
log4j.appender.CONSOLE.layout.conversionPattern=%d %-5p - %-26.26c{1} - %m\n
log4j.rootLogger=WARN,CONSOLE
在logs文件夹中存在文件cron.log。但也有一些
浏览 3提问于2012-09-24得票数 0
有没有办法将所有标准输出记录到Tomcat中的catalina.log文件中？(即打印到System.out.println()的所有内容)
运行TOMCAT/bin/startup.bat时打开的控制台窗口显示来自标准输出的输出，但不会保存到TOMCAT/logs/catalina.<date>.log。
我的具体问题是，我在log4j中定义了一个控制台附加器来输出到控制台。这些日志消息会正确显示在Tomcat控制台窗口中，但不会写入catalina.log。我在Windows上运行Tomcat5.5。谢谢。
编辑：
这是我的log4j.properties文件。它位于TOMCA
浏览 176提问于2011-10-12得票数 20
目前，我在使用Apache控制台调试错误和代码时遇到了一些问题。有时会出现一些日志，有时不会出现。关于在控制台上打印日志，我搜索得够多了。它们不是很容易理解/实现的。
这里我有我的代码的log4j.properties ，它不打印所有的日志和方法输入输出条目.
log4j.rootCategory=debug,console
log4j.logger.com.demo.package=debug,console
log4j.additivity.com.demo.package=false
log4j.appender.console=org.apache.log4j.ConsoleAppe
浏览 1提问于2018-04-17得票数 2
回答已采纳
1回答
当我的星火应用程序失败时，它会将一条非常通用的消息记录到控制台。为了查看显示真正错误的详细消息，我必须转到Spark，并查看我的执行器的stdout日志。有人知道我怎样才能在控制台中显示更多的细节吗？我一直在查看指向log4j属性文件的几个链接，但我认为已经正确设置了该文件：
# Set everything to be logged to the console
log4j.rootCategory=WARN, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.targ
浏览 1提问于2017-10-24得票数 3
1回答
我在使用log4j的桌面应用程序中使用了日志记录，但是当我将该实用程序导出为可运行的jar时，在运行该jar时不会创建日志文件。下面是我的log4j.properties文件。请告诉我我错过了什么。
# Log levels
log4j.rootLogger=DEBUG,CONSOLE,R
# Appender Configuration
log4j.appender.CONSOLE=org.apache.log4j.ConsoleAppender
# Pattern to output the caller's file name and line number
log4j.appe
浏览 1提问于2015-03-18得票数 0
这是我的log4j文件：
log4j.rootLogger=INFO, A1, ERROR, A1
#Direct log messages to a log file
log4j.appender.A1.File=/place/logs/applog/dashboard.log
log4j.appender.A1.layout=org.apache.log4j.PatternLayout
log4j.appender.A1.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c:%L %t- %m%n
log4j.appender.c
浏览 2提问于2016-11-18得票数 0
2回答
log4j注销在哪里？
、、、、
在一个遗留项目中，我发现在log4j.properties中，appender文件被定义为：
log4j.appender.file.File=log/logging.log
在linux中我在哪里可以找到log4j的输出文件？在系统级别，应用程序没有出现"LOG.info“命令的日志，只显示其执行的开始。
2022-01-13 11:03:19 INFO DAGScheduler:54 - Submitting 200 missing tasks from ShuffleMapStage 2 (MapPartitionsRDD[12] at count at appname.ja
浏览 9提问于2022-01-13得票数 -1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
