我在Mac上安装了Spark2.4。
当我试图从命令行启动时,使用spark,我会得到以下错误:
Traceback (most recent call last):
File "/Applications/anaconda3/bin/spark", line 2, in <module>
from spark import spark_admin
File "/Applications/anaconda3/lib/python3.6/site-packages/spark/spark_admin.py", line 49
os.chmod(join(proj_dir,'etc','cgiserver.py'),0755)
^
SyntaxError: invalid token当我使用pyspark启动时,我打开了一个木星窗口。
我的.bash_profile是:
export SPARK_HOME=/usr/local/spark-2.4.0-bin-hadoop2.7/
export PATH="$SPARK_HOME/bin:$PATH"
export PYTHONPATH="$SPARK_HOME/python:$PYTHONPATH"
...
HADOOP_HOME=/usr/local/hadoop-2.9.2/这个错误是什么,如何修复?
发布于 2019-10-30 08:07:12
您没有正确地设置~/.bashrc文件中的配置,您错过了单引号中包含的路径。另外,如果您希望独立设置Spark,则不需要设置HADOOP_HOME。
请参阅我的设置中的以下行:
export SPARK_HOME='/home/kr_user/tools/spark/'
export PATH=${SPARK_HOME}/bin:$PATH在~/.bashrc文件中添加这些行并使用命令刷新环境:
source ~/.bashrc这会对你有用的。
https://stackoverflow.com/questions/54295817
复制相似问题