如何设置spark.sql.debug.maxToStringFields？
如何设置spark.sql.debug.maxToStringFields？
提问于 2022-06-02 17:31:14
我看过以前提出过的类似问题。到目前为止还没有运气。我在一个venv环境中使用PySpark。我该如何改变环境？我是从jupyter笔记本/python脚本中完成的吗？还是我需要使用bash命令？它在特定的配置文件中吗？如果是的话，它在哪里？
回答 2
Stack Overflow用户
回答已采纳
发布于 2022-06-02 18:22:40
此配置以及许多其他配置已移到: SQLConf -SQLConf
这可以在配置文件中设置，也可以通过spark中的命令行设置，使用：
spark.conf.set("spark.sql.debug.maxToStringFields"，1000)
Stack Overflow用户
发布于 2022-06-02 17:44:10
您可以在.config文件中设置它，也可以使用命令行
spark.conf.set("spark.sql.debug.maxToStringFields", <value>)页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/72480159
复制相关文章
相似问题
腾讯云开发者
