PySpark日志记录
PySpark日志记录
提问于 2019-08-27 15:29:00
我正在尝试查看GCP堆栈驱动程序中的spark日志。下面是堆栈驱动程序的屏幕截图。
根据上面的屏幕截图，Spark信息映射到堆栈驱动程序中的错误。不知道为什么？
我正在使用log4j进行spark自定义日志记录。以下是日志属性。
# Root logger option
log4j.rootLogger=INFO, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n
# Settings to quiet third party logs that are too verbose
log4j.logger.org.spark-project.jetty=INFO
log4j.logger.org.spark-project.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO有什么建议可以将spark日志(INFO)映射到堆栈驱动程序日志(INFO)吗？
回答 1
Stack Overflow用户
发布于 2019-08-27 23:11:41
Stackdriver读取一些消息作为严重性，在本例中，您有
log4j.appender.console.target=System.err尝试使用适当的值在日志中添加"Severity“字段，这样，Stackdriver将按照您指定的方式读取它，并检查值here。此外，您还可以在页面开头检查正确的格式。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/57669684
复制相关文章
相似问题
腾讯云开发者
