我不知道如何配置Pycharm,这样我就可以直接在Pyspark中运行脚本。我在Elasticsearch集群上使用Pyspark,并使用以下代码来运行脚本。当我尝试将pyspark shell配置为解释器时,它使用默认的python解释器运行,但由于错误it I not a valid SDK而无法工作:
if __name__ == "__
我刚刚使用conda安装了pyspark 2.2.0 (在windows 7 64位上使用python v3.6,在java v1.8上使用python v3.6)$pyspark
The system cannot find the path specified.我尝试在我的path环境变量中包含pyspark路径目录
我已经使用anaconda成功安装了pyspark,并在.bashrc文件中配置了路径。键入pyspark命令后,它将打开python代码正常工作的Jupyter-notebook。但是当我执行collect()、take(5)等Pyspark命令时,它给出了一个错误,即"Cannot run program '/usr/bin/Python-3.7.4".它引用了错误的目录,因为Python-3.7.4安装在Anaconda<
将传入的配置文件、传入的可执行python文件上载到用户hadoop主目录下创建的.sparkStaging目录中。除了这些文件,pyspark.zip和py4j-version_number.zip .lib从$SPARK_ home /python/lib也被复制到用户hadoop主目录下创建的.sparkStaging目录中。此PYSPARK_PYTHON是边缘节点中的路径。那么,在另一个节