在ubuntu上为pyspark安装Apache spark
在ubuntu上为pyspark安装Apache spark
提问于 2017-07-27 04:01:44
在使用python(pyspark)访问的Ubuntu(16.04)本地机器上安装Apache spark 2.0的简单分步指南是什么？我尝试过搜索网页，大多数都以这样或那样的错误而告终。
回答 1
Stack Overflow用户
发布于 2017-07-27 04:01:44
礼节：https://www.santoshsrinivas.com/installing-apache-spark-on-ubuntu-16-04/
我在这里写我的步骤，因为我看到有几个步骤与预期的不同(至少对于ubuntu 16.04)
下面是具体的步骤
步骤1：
从http://spark.apache.org/downloads.html下载最新的预构建版本
步骤2:解压并移动Spark
cd ~/Downloads/
tar xzvf spark-2.0.1-bin-hadoop2.7.tgz
mv spark-2.0.1-bin-hadoop2.7/ spark
sudo mv spark/ /usr/lib/第3步:安装SBT
echo "deb https://dl.bintray.com/sbt/debian /" | sudo tee -a /etc/apt/sources.list.d/sbt.list
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 2EE0EA64E40A89B84B2DF73499E82A75642AC823
sudo apt-get update
sudo apt-get install sbt注意：-您在此步骤中可能会遇到一些问题。所以请参考最后提供的链接。
步骤4:确保安装了Java。如果不是
sudo apt-add-repository ppa:webupd8team/java
sudo apt-get update
sudo apt-get install oracle-java8-installer第5步:配置Spark
cd /usr/lib/spark/conf/
cp spark-env.sh.template spark-env.sh
vi spark-env.sh并添加以下内容
JAVA_HOME=/usr/lib/jvm/java-8-oracle
SPARK_WORKER_MEMORY=4g 第六步:配置bash文件。
使用以下命令打开bashrc文件
vi ~/.bashrc(if you want to use vi editor)
subl ~/.basrc(if you want to use sublime)将以下代码复制到bashrc文件中
export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export SBT_HOME=/usr/share/sbt-launcher-packaging/bin/sbt-launch.jar
export SPARK_HOME=/usr/lib/spark
export PATH=$PATH:$JAVA_HOME/bin
export PATH=$PATH:$SBT_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin使用以下命令启动bash文件
source ~/.bashrc第7步:立即尝试
pyspark注意:如果您在安装sbt时遇到困难( ubuntu 16.04通常是这种情况)，请尝试以下链接
https://askubuntu.com/questions/771839/problem-installing-package-git-all/771889#771889
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/45336367
复制相关文章
相似问题
腾讯云开发者
