在pyspark中设置log4j属性

文章/答案/技术大牛

发布

1回答

apache-spark、pyspark、log4j

我正在尝试在pyspark中设置一些log4j属性，但无法使其正常工作。例如，我想设置以下内容 log4j.logger.org.apache.hadoop.fs.s3a.S3AStorageStatistics=INFO 我如何在代码中做到这一点？我尝试过在SparkConf中使用extraJavaOptions： conf = SparkConf() conf.set("spark.driver.extraJavaOpt

浏览 30提问于2019-03-15得票数 1

1回答

如何检测您的代码是否运行在pyspark下？

pyspark

对于暂存和生产，我的代码将运行在PySpark上。但是，在我的本地开发环境中，我不会在PySpark上运行我的代码。从日志记录的角度来看，这是一个问题。因为在使用Log4J时通过Py4J使用Java库PySpark，所以在本地开发时不会使用Log4J。值得庆幸的是，Log4J的API和核心的Python模块是相同的:一旦您获得了一个记录器对象，您只需使用debug()或info()等模块即可。因此，我希望检测我的代

浏览 3提问于2020-08-10得票数 4

1回答

如何将火花放电日志记录级别设置为调试？

python、apache-spark、pyspark

有人能帮助我设置日志记录级别以调试和捕获更多日志所需的火花配置吗？

浏览 1提问于2020-05-06得票数 3

回答已采纳

1回答

如何在spark-submit控制台输出中更改日志级别？

apache-spark、pyspark

我是Spark (Pyspark)的新手，当我运行spark-submit时，spark日志非常冗长。如何更改日志输出？

浏览 25提问于2020-01-21得票数 0

回答已采纳

1回答

无法通过火星雨创建火花数据

windows、python-3.x、apache-spark、pycharm、pyspark-sql

我想通过使用PySpark来创建，并为此在PyCharm中运行了以下代码：Spark_Session:SparkSession.builder\.master("local"\但是，它返回以下错误：使用spark的默认log4j配置文件:org/apache/log4j/log4j-

浏览 4提问于2018-01-08得票数 0

1回答

为什么--packages命令允许python包从Spark客户机/驱动程序中不可用或不可加载？

python、apache-spark、graphframes

pyspark.sql.functions import udffrom pyspark.sql import SQLContext我认为应该将图形帧添加到python路径中。

浏览 0提问于2019-03-22得票数 3

1回答

PySpark的堆栈驱动程序日志记录

apache-spark、pyspark、google-cloud-platform、google-cloud-dataproc、stackdriver

我在Google Dataproc上运行了一个PySpark作业。我如何才能做到这一点？我已经将spark的日志属性更改为写入/var/ log4j /spark/spark-out.log，但该文件似乎没有包含正确的数据。

浏览 0提问于2017-03-22得票数 1

1回答

如何在VS代码中设置pyspark？

visual-studio-code、pyspark、vscode-settings

我试图在VS-Code中运行pypsark，但我似乎无法将我的环境指向正确的pyspark驱动程序和路径。当我在终端窗口中运行pyspark时，它看起来是这样的： Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties当我在Vs-Code中运行一个文件时，我得到了这个错误： File "/U

浏览 64提问于2020-10-18得票数 2

1回答

捕获PySpark测井

python-2.7、logging、pyspark

我正在尝试在PySpark中设置一个不错的日志记录配置。我有一个YAML配置文件，它设置不同的日志。现在，我发现了一些关于如何使用log4j从PySpark获取log_handler = sc._jvm.org.apache.log4j的帖子。但是现在我不知道如何将这个处理程序添加到我现有的设置中，并捕获PySpark控制台上发生的所有消息，并将它们保存到文件和SQLite DB中。

浏览 1提问于2016-12-08得票数 1

回答已采纳

1回答

如何在Python3.9 PySpark包中升级jar文件依赖项？

python、pyspark、pip、jar、log4j

如何在python包中升级jar文件？我需要升级到log4j的最新版本。/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages/pyspark/jars/log4j-1.2.17.jar 由于我安装了多个Python版本，所以我尝试用下面的方法升级PySpark。python3.9 -m pip install <e

浏览 3提问于2022-04-12得票数 0

回答已采纳

2回答

PySpark日志记录？

logging、apache-spark、pyspark

我看到有三种方法可以做到这一点： log4jLogger = sc._jvm.org.apache.log4j LOGGER = log4jLogger.LogManager.getLogger(__name__) LOGGER.info("pyspark script这看起来很理想，而且是最Pythonic的方法，但是，至少在开箱即用的情况下，它不起作用，并且记录的消息似乎无法恢复。当然，这可以配置为登录到py4j->

浏览 13提问于2016-05-18得票数 33

2回答

如何使用log4j2配置azure数据库

databricks、log4j2、azure-databricks

Log4j:警告未能将属性"org.apache.log4j.rolling.TimeBasedRollingPolicy".设置为值rollingPolicyLog4j:请为名为“"org.apache.log4j.rolling.TimeBasedRollingPolicy".”的DatabricksRollingFileAppender设置滚动策略，log4j:WARN未能将属性rollingPolicy设置为值rollin

浏览 9提问于2021-12-28得票数 0

1回答

sys:ls.logs在log4j中是什么意思？

java、log4j

我正在阅读log4j文档和logstash log4j配置，我不知道${sys:ls.logs}的意思。 ${sys:ls.logs}是什么意思？如何在运行时或操作系统环境中更改此值。

浏览 0提问于2021-07-12得票数 2

回答已采纳

1回答

为JUnit配置log4j

java、junit、log4j

我想为JUnit测试用例配置log4j。我的测试分散在多个文件中，但具有相同的log4j设置。我可以在哪里做？我不想使用log4j属性文件。

浏览 1提问于2012-06-27得票数 0

1回答

如何覆盖Maven插件的log4j配置？

log4j、maven-plugin、cargo、maven-cargo

log4j:将属性conversionPattern设置为[%d %t %-5p %c - %m%n]。log4j：“默认”的解析结束。log4j:将属性maxBackupIndex设置为2. log4j:将属性文件设置为transaction.log。log4j:将属性maxFileSize设置为500 to。log4j:解析"std

浏览 1提问于2010-12-23得票数 6

回答已采纳

3回答

在Tomcat中设置Log4j的系统属性

tomcat、log4j、log4j2

从这个中，要启用Log4j 1.2桥，您应该将系统属性“log4j1.兼容性”设置为“true”值。然后，Log4j 2将在类路径上搜索的配置文件中添加log4j.properties、log4j-test.properties、log4j.xml和log4jtest.xml。将Log4j 1系统属性“log4j.configuration”设置为log4j 1配置文件的位置。这些文件必须具有“.properties”或“.xm

浏览 32提问于2022-01-25得票数 1

回答已采纳

1回答

在加载属性之前将属性传递给log4j

java、logging、log4j

是否有方法在log4j加载之前传递数据或设置，然后在配置文件中使用该属性。我假设有一个我可以使用的系统属性：其中ws.host是我想要使用的属性。同时，我也处在一个网络环境中。我如何知道在log4j加载之前在什么时

浏览 1提问于2010-10-22得票数 1

1回答

我需要安装Hadoop才能使用Pyspark的所有方面吗？

python、apache-spark、hadoop、pyspark

我已经安装了pyspark，但没有单独安装任何hadoop或spark版本。显然，在Windows下，pyspark需要访问Hadoop的winutils.exe来做一些事情(例如，将文件写入磁盘)。当pyspark想要访问winutilis.exe时，它会在HADOOP_HOME环境变量(用户变量)指定的文件夹的bin目录中查找它。因此，我将winutils.exe复制到pyspark (.\site-packages\pyspark\bin)的bin目录中<

浏览 4提问于2020-03-24得票数 1

1回答

无法在Java webstart中加载log4j属性文件- Java 7u45

java、properties、java-web-start、jnlp

更新java 7u45后无法加载log4j属性文件。。在java更新之后，我知道VM需要用'jnlp‘作为前缀。更改此设置后，我可以获得所有系统属性。但是我的记录器不能得到这个log.properties位置，因为它的关键字被附加了'jnlp‘。我可以添加一个逻辑来读取值，并在系统属性中</e

浏览 1提问于2013-11-08得票数 0

2回答

servlet中的Log4J日志路径(TOMCAT)

java、tomcat、log4j

我想用db参数设置我的log4j日志路径。我的log4j属性如下：我用一个JVM填充了系统属性${log.app.path}。现在，我想在数据库中设置该路径的值。然后我想用ServletContextListener来设置它，但是我发现log4j已经在运行了。有什么建议吗？谢谢。

浏览 0提问于2012-05-23得票数 1

回答已采纳

点击加载更多