python 安装spark_Spark环境搭建 (Python)

  1. 安装lib

材料:

spark : http://spark.apache.org/downloads.html

hadoop : http://hadoop.apache.org/releases.html

jdk: http://www.oracle.com/technetwork/java/javase/downloads/index-jsp-138363.html

hadoop-commin : https://github.com/srccodes/hadoop-common-2.2.0-bin/archive/master.zip (for windows7)

需要下载对应的版本

步骤:

a. 安装jdk,默认步骤即可

b. 解压spark  (D:\spark-2.0.0-bin-hadoop2.7)

c. 解压hadoop  (D:\hadoop2.7)

d. 解压hadoop-commin (for w7)

e. copy hadoop-commin/bin to hadoop/bin (for w7)
  1. 环境变量设置
SPARK_HOME = D:\spark-2.0.0-bin-hadoop2.7

HADOOP_HOME = D:\hadoop2.7

PATH append = D:\spark-2.0.0-bin-hadoop2.7\bin;D:\hadoop2.7\bin
  1. Python lib设置
a. copy D:\spark-2.0.0-bin-hadoop2.7\python\pyspark to [Your-Python-Home]\Lib\site-packages

b. pip install py4j

c. pip install psutil

   (for windows: http://www.lfd.uci.edu/~gohlke/pythonlibs/#psutil)
  1. Testing

cmd -> pyspark 不报错并且有相应的cmd

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Jerry的SAP技术分享

使用Gardener在Google Cloud Platform上创建Kubernetes集群

使用Gardener,我们可以在几分钟之内在GCP, AWS, Azure或者Openstack上轻松创建Kubernetes Cluster。

12300
来自专栏跟着阿笨一起玩NET

VS2012 无法启动IIS Express Web服务器的解决方案

本文转载:http://blog.csdn.net/hongleidy5000/article/details/22732621

45210
来自专栏蓝天

Linux+Apache+Mysql+PHP典型配置

调试环境:Redhat9.0 Apache1.3.29 Mysql3.23.58 PHP4.3.4

12230
来自专栏bboysoul

搭建harbor仓库

wget https://storage.googleapis.com/harbor-releases/release-1.5.0/harbor-offline...

24640
来自专栏V站

WIN7系统如何在本地(局域网)配置PHP环境?

安装完成后,点击控制面板->管理工具->Internet Information Services (IIS)管理器(注意不是那个什么6.0的)

45270
来自专栏磨磨谈

rbd-mirror配置指南-单向备份

RBD 的 mirroring 功能将在Jewel中实现的,这个Jewel版本已经发布了很久了,这个功能已经在这个发布的版本中实现了,本来之前写过一篇文章,但是...

17710
来自专栏轻量级微服务

Kubernetes 应用管理工具 Helm 使用指南

Helm 是一个类似于 yum/apt/homebrew 的 Kubernetes 应用管理工具。Helm 使用 Chart 来管理 Kubernetes ma...

28730
来自专栏技术文章

资深专家深度剖析Kubernetes API Server第1章(共3章)

欢迎来到深入学习Kubernetes API Server的系列文章,在本系列文章中我们将深入的探究Kubernetes API Server的相关实现。如...

15920
来自专栏腾讯大数据的专栏

Ta 腾讯分析添加热点图

1、打开TA:http://v2.ta.qq.com/ QQ号登录 2、点选站点列表 ? 3、选择新增站点,输入域名点击添加即可。 ? 4、点选监控检测→页面热...

49080
来自专栏LanceToBigData

KVM+Qemu+Libvirt实战

上一篇的文章是为了给这一篇文件提供理论的基础,在这篇文章中我将带大家一起来实现在linux中虚拟出ubuntu的server版来 我们需要用KVM+Qemu+L...

49170

扫码关注云+社区

领取腾讯云代金券