我正在尝试覆盖Spark的默认log4j.properties
,但一直没有任何成功。我尝试在spark-submit中添加以下内容:
--conf "spark.executor.extraJavaOptions=Dlog4j.configuration=/tmp/log4j.properties"
--conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=/tmp/log4j.properties"
但这似乎并不管用。我也尝试在spark-submit
中使用--files
选项,但似乎也不起作用。有没有人设置了日志记录,所以每个驱动程序都有一个log4j.properties
文件,而不是使用默认的文件?
我使用Mesos和Marathon来运行Spark驱动程序。我不确定--files
选项,也找不到任何示例来说明它是如何使用的,以及它到底做了什么。
我还想提一下,我手动将log4j.properties
文件上载到所有具有我的更改的节点上进行测试。
目前Spark的版本是1.1.0。
https://stackoverflow.com/questions/28840438
复制相似问题