PySpark警告消息
PySpark警告消息
提问于 2018-06-09 05:07:12
如何在运行PySpark代码时禁用以下警告消息：
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
18/06/08 21:04:55 WARN SparkConf: In Spark 1.0 and later spark.local.dir will be overridden by the value set by the cluster manager (via SPARK_LOCAL_DIRS in mesos/standalone and LOCAL_DIRS in YARN).
18/06/08 21:04:55 WARN Utils: Service 'SparkUI' could not bind on port 4040. Attempting port 4041.我花了一些时间处理log4.properties，但不能准确地找出是哪个类记录了这些属性。
回答 1
Stack Overflow用户
发布于 2018-06-09 10:20:13
将其放入spark上下文的init中：
sc.setLogLevel("INFO")页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/50768405
复制相关文章
相似问题