如何在spark-submit控制台输出中更改日志级别？
在Spark中，可以通过设置spark.driver.extraJavaOptions和spark.executor.extraJavaOptions来更改日志级别。
首先，通过以下方式设置spark.driver.extraJavaOptions：
spark-submit --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:/path/to/log4j.properties" ...其中，/path/to/log4j.properties是你自定义的log4j配置文件路径。
然后，通过以下方式设置spark.executor.extraJavaOptions：
spark-submit --conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/path/to/log4j.properties" ...同样，/path/to/log4j.properties是你自定义的log4j配置文件路径。
在log4j.properties配置文件中，你可以根据需要更改日志级别。下面是一个示例配置文件：
# Set root logger level to INFO and append to console
log4j.rootLogger=INFO, console
# Set console appender properties
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n
# Set Spark log level
log4j.logger.org.apache.spark=INFO
log4j.logger.org.apache.hadoop=INFO在上述示例配置中，log4j.logger.org.apache.spark=INFO用于设置Spark的日志级别为INFO，可以根据需要将其设置为其他级别（如DEBUG、WARN等）。
通过以上步骤，你可以在Spark的submit控制台输出中更改日志级别。
相关·内容
我是Spark (Pyspark)的新手，当我运行spark-submit时，spark日志非常冗长。如何更改日志输出？
浏览 25提问于2020-01-21得票数 0
回答已采纳
我试图实现的是在${SPARK_HOME}/bin/spark-submit执行期间将记录到控制台的所有信息静默。我已经通过更改${SPARK_HOME}/conf/log4j.properties中的适当行更改了spark本身的日志级别，但当我提交R-sparklyr脚本和sparklyr.jar以作为一种独立作业执行时，我仍然会获得以下信息： # 用户@主机${SPARK_HOME}/bin/spa
浏览 27提问于2021-07-02得票数 0
当我使用Origen生成模式时，打印到控制台的日志如下所示。命令是"origen g“。1948 B[INFO] 17.329[0.000] || Pattern vectors: 3787 如何将编译日志添加到其中
浏览 12提问于2019-09-25得票数 2
回答已采纳
许多类似的问题询问如何在控制台窗口中隐藏sql日志，答案建议更改活动记录的日志级别或完全关闭AR日志记录。但是，我仍然希望AR记录所有的内容，我只想将它记录到文件中，而不是登录到控制台输出窗口(因为它使控制台变得很吵，所以我看不到手动日志)。
我怎样才能实现我想要的？
浏览 3提问于2015-05-12得票数 1
回答已采纳
在启动期间有几条内核消息打印到控制台。我不希望将具有日志级别"KERN_WARNING“的消息打印到控制台。我只希望在启动时将"KERN_WARNING“(如"KERN_ERR”)上面的日志级别打印到控制台。我应该何时何地做些改变来完成这件事。是否必须在内核构建期间进行更改？我应该在哪里进行更改以更改日志级别。？
在嵌入式环境
浏览 0提问于2011-04-07得票数 0
1回答
在切换运行级别时，是否有任何方法可以使TTY1上的输出保持沉默？📷
我有一个简单的UI，当运行级别发生变化时，它可能在TTY1上运行，它破坏了诅咒输出，这看起来非常难看。
浏览 0提问于2016-02-10得票数 0
我需要在spark中对一些事情计时，比如spark读取我的文件需要多长时间，所以我喜欢使用<code>D0</code>来将额外的信息打印到屏幕上，我发现有一件事非常有用，那就是当像这样的消息打印<code有没有办法以编程的方式(最好是在scala中)实现这一点？现在，我只是复制这个结果，并将其保存在一个文本文件中。
浏览 23提问于2018-12-18得票数 0
我目前正在开发一个用AWS Amplify创建的WebApp，其中我必须实现日志记录。基于有一个内置的记录器功能，我试图实现它，但似乎在我的亚马逊网络服务控制台上找不到它。有人知道在哪里可以找到日志吗？
浏览 3提问于2020-05-08得票数 4
我们一直能够通过这一行从单元测试中禁用日志记录但是，在将项目更改为spring引导后，在运行单元测试时会写入日志。
我还尝试在测试/资源中添加log4j2.xml，并将根级别设置为off，但这也没有效果。如何在单元测试时禁用控制台输出？
浏览 2提问于2022-02-21得票数 0
我希望在我的logfile.log中维护一个只包含警告、错误和致命的日志，而希望在我的春季引导应用程序中将所有上述信息写入控制台。我看到，当我执行log.level.root=WARN时，它在application.properties文件中为整个应用程序设置一个警告日志级别。如何在控制台中显示所有日志消息，但只在文件中写入警告上面的消息呢？
还有！是否有方法将级别设置为INFO并只在文件中
浏览 2提问于2018-07-11得票数 0
回答已采纳
management.endpoints.web.exposure.include=env,loggers但是，当我尝试更改日志级别如下时我们是否必须使用logback/SL4J来使日志级别随执行器端点的工作而改变？
浏览 4提问于2022-03-04得票数 0
回答已采纳
因此，我的问题是：System.out仍然是写入控制台的首选方式，还是应该首选的其他API？
编辑：--我不希望这用于日志记录，而是用于一个简单的控制台应用程序。类似于ps，它将正在运行的进程打印到控制台。
浏览 4提问于2010-03-03得票数 6
回答已采纳
在我的pytest脚本中，我需要定制pytest-HTML报告以捕获标准输出，同时将其写入控制台，因为我在自动测试中有用户输入。test_CCIDReadForPaymentCards(Process):目前，如果我从windows命令行运行以下命令，我会在控制台上得到输出，但在HTML report上没有捕获到输出。
浏览 6提问于2019-11-08得票数 3
我们尝试了各种解决方案，包括更改log4j.properties文件，通过--file将该文件复制到执行器，然后告诉它们将其用作通过--conf传递给spark的arg，还尝试更新EMR集群本身的配置。在执行器日志中可以看到来自系统的警告消息。来自主类的警告消息是可见的，但是没有来自任何其他类的消息通过以太，并且我们不确定问题可能是什么。日志级别很好，如Spark生成的消息所示，但其他类消息无法通过。
驱动程序日志(从EMR控制台的主页)显示来自其他类
浏览 0提问于2016-09-30得票数 2
2回答
一段时间前，当android开发在eclipse上完成时，我记得亚行查看器(或它所调用的)允许您过滤并只查看调试日志，然后您就可以从下拉菜单中更改它，并且您将拥有所有指定级别的日志(所有日志都是有色的)现在，在Intellij上，我找到了一个名为grep控制台的很好的插件，它允许使用regex对您的日志输出着色，但是我找不到任何东西可以将控制台窗口中的输出实际过滤到您想要的级别。
浏览 3提问于2016-02-27得票数 4
回答已采纳
2回答
closeMySqlDataReader(oReader) End Try
捕获物并没有给我任何东西...如何在VB.net中打印出捕获信息？
浏览 0提问于2011-04-20得票数 1
如何在Scala/Java中更改Algolia客户端日志级别？现在，它被设置为debug，并在控制台中为每个搜索/索引操作放入大量垃圾。
谢谢。
浏览 2提问于2016-07-24得票数 0
sh.setFormatter(logging.Formatter(fmt)) 24 return sh产出：making sure we are in first.Foo 根部-福根部
-根，第一
浏览 3提问于2013-10-21得票数 1
回答已采纳
我的设备驱动程序的输出也落在dmesg中，在我的stdout.Is上打印出来了，有什么方法可以避免这种情况吗？
浏览 0提问于2013-06-19得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
