spark.debug.maxToStringFields不起作用
spark.debug.maxToStringFields不起作用
提问于 2021-03-27 02:01:34
我尝试设置"spark.debug.maxToStringFields"，如消息WARN Utils: Truncated the string representation of a plan since it was too large. This behavior can be adjusted by setting 'spark.debug.maxToStringFields' in SparkEnv.conf.中所描述的那样。请找到下面的代码
val sparkConf= new SparkConf()
//here
sparkConf.set("spark.debug.maxToStringFields", "100000")
sparkConf.set("spark.sql.debug.maxToStringFields", "100000")
val spark = SparkSession.builder.config(sparkConf).getOrCreate()
//here
spark.conf.set("spark.debug.maxToStringFields", 100000)
spark.conf.set("spark.sql.debug.maxToStringFields", 100000)
val data = spark.read
.option("header", "true")
.option("delimiter", "|")
.format("csv")
.csv(path_to_csv_file)
.toDF()
.repartition(col("country"))
data.rdd.toDebugString我只得到带有上述警告消息的toDebugString的部分输出。如你所见，我两种选择都试过了。为什么它不打印完整的RDD谱系？
回答 1
Stack Overflow用户
回答已采纳
发布于 2021-03-28 06:46:20
你能在这里查一下吗：
https://www.programcreek.com/scala/org.apache.spark.SparkEnv
我认为你必须把这个值设定为
val sparkenv = SparkEnv.get sparkenv.conf.set("spark.oap.cache.strategy", "not_support_cache")页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/66827364
复制相关文章
相似问题
腾讯云开发者
