首页
学习
活动
专区
工具
TVP
发布
社区首页 >问答首页 >pyspark -在Python代码中设置spark.driver.extraJavaOptions,而不是spark-submit或spark-defaults

pyspark -在Python代码中设置spark.driver.extraJavaOptions,而不是spark-submit或spark-defaults
EN

Stack Overflow用户
提问于 2018-06-22 03:14:52
回答 1查看 3.2K关注 0票数 2

我喜欢避免使用spark-submit,而是使用python driver_file.py开始我的PySpark代码

我们使用spark.driver.extraJavaOptions和spark-submit或spark-defaults配置文件设置了一些代理设置。相反,我希望在Python代码中设置此选项,以便可以使用python driver_file.py运行它

但是,由于某些原因,当我尝试使用以下代码执行此操作时,我无法访问我试图访问的资源。但是通过在spark-default中使用相同的选项,我可以做到。我做错了什么?

代码语言:javascript
复制
sconf = SparkConf().set("spark.serializer","org.apache.spark.serializer.KryoSerializer").set('spark.driver.extraJavaOptions', 'proxy_stuffness')
sconf.setAppName("something")
sc = SparkContext(conf = sconf)
print 'Config: ', sc.getConf().getAll()
EN

回答 1

Stack Overflow用户

发布于 2018-06-22 03:56:29

问题是有些设置无法在运行时在您的驱动程序中设置。这在一定程度上取决于您正在运行spark的环境/集群的类型,以及您向其提交应用程序的方式。我相信java选项设置只能通过spark-defaults.conf或通过命令行调用spark-submit来设置。

从文档中:

的Spark属性主要可以分为两类:一类是与deploy相关的,比如“spark.driver.memory”、“spark.executor.instances”,这类属性在运行时通过SparkConf进行程序化设置时可能不会受到影响,或者行为取决于你选择哪种集群管理器和部署模式,所以建议通过配置文件或者spark-submit命令行选项来设置;另一类主要是Spark运行时控制,比如“spark.task.maxFailures”,这类属性可以通过任何一种方式来设置。

https://spark.apache.org/docs/latest/configuration.html#dynamically-loading-spark-properties

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/50976043

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档