首页
学习
活动
专区
工具
TVP
发布
社区首页 >问答首页 >将`SPARK_HOME`设置为什么?

将`SPARK_HOME`设置为什么?
EN

Stack Overflow用户
提问于 2015-06-14 08:12:30
回答 1查看 36.7K关注 0票数 22

安装apache-maven-3.3.3,scala 2.11.6,然后运行:

代码语言:javascript
复制
$ git clone git://github.com/apache/spark.git -b branch-1.4
$ cd spark
$ build/mvn -DskipTests clean package

最后:

代码语言:javascript
复制
$ git clone https://github.com/apache/incubator-zeppelin
$ cd incubator-zeppelin/
$ mvn install -DskipTests

然后运行服务器:

代码语言:javascript
复制
$ bin/zeppelin-daemon.sh start

运行一个以%pyspark开头的简单笔记本时,我得到了一个关于找不到py4j的错误。pip install py4j (ref)刚刚上线。

现在我得到了这个错误:

代码语言:javascript
复制
pyspark is not responding Traceback (most recent call last):
  File "/tmp/zeppelin_pyspark.py", line 22, in <module>
    from pyspark.conf import SparkConf
ImportError: No module named pyspark.conf

我已经尝试将我的SPARK_HOME设置为:/spark/python:/spark/python/lib。没有变化。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2015-06-14 09:29:26

需要两个环境变量:

代码语言:javascript
复制
SPARK_HOME=/spark
PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-VERSION-src.zip:$PYTHONPATH
票数 31
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/30824818

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档