为火炬手设置python路径
为火炬手设置python路径
提问于 2015-10-06 00:01:02
为Python工作节点设置sys路径的“正确”方法是什么？
工人节点从主节点“继承”sys路径是个好主意吗？
通过.bashrc在工作节点中设置路径是个好主意吗？或者有什么标准的火种设置方式？
回答 4
Stack Overflow用户
回答已采纳
发布于 2015-10-06 01:03:12
设置环境变量(包括PYSPARK_PYTHON )的一种标准方法是使用conf/spark-env.sh文件。Spark附带了一个模板文件(conf/spark-env.sh.template)，它解释了最常见的选项。
它是一个普通的bash脚本，所以您可以像使用.bashrc一样使用它。
您将在火花配置指南中找到更多的细节。
Stack Overflow用户
发布于 2017-09-13 00:27:35
通过下面的代码，您可以只为当前作业更改python路径，这也允许驱动程序和执行器使用不同的python路径：
PYSPARK_DRIVER_PYTHON=/home/user1/anaconda2/bin/python PYSPARK_PYTHON=/usr/local/anaconda2/bin/python pyspark --master ..Stack Overflow用户
发布于 2020-07-26 13:32:06
你可以做以下任何一件事-
在配置上，
更新SPARK_HOME/conf/spark-env.sh，添加以下行：
# for pyspark
export PYSPARK_PYTHON="path/to/python"
# for driver, defaults to PYSPARK_PYTHON
export PYSPARK_DRIVER_PYTHON="path/to/python"或
在守则中添加：
import os
# Set spark environments
os.environ['PYSPARK_PYTHON'] = 'path/to/python'
os.environ['PYSPARK_DRIVER_PYTHON'] = 'path/to/python'页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/32959723
复制相关文章
相似问题
腾讯云开发者
