教程-Spark安装与环境配置

1.Spark介绍

Spark是一种通用的大数据计算框架,是基于RDD(弹性分布式数据集)的一种计算模型。那到底是什么,可能还不是太理解,通俗讲就是可以分布式处理大量极数据的,将大量集数据先拆分,分别进行计算,然后再将计算后的结果进行合并。

这一篇主要给大家分享如何在Windows上安装Spark。

2.Spark下载

我们要安装Spark,首先需要到Saprk官网去下载对应的安装包,Spark官网:http://spark.apache.org/downloads.html

第一步点击我红框框住的蓝色链接部分即可。

spark首页

操作了第一步以后会跳转到另一个页面,如下图所示,选择红框框住的部分进行下载,然后选择文件保存的路径进行保存即可。

spark下载页

我们需要把下图中的bin文件所在的路径设置到环境变量里面。

spark文件

3.Spark环境变量设置

第一步右键我的电脑,然后选择属性,就来到了下图这个界面。

step1

选择红框框住的高级系统系统设置,然后再点击环境变量。

step2

这里我们看到有两个path,一个是用户的环境变量,一个是系统的环境变量,这两个有啥区别呢?

系统的环境变量设置以后对所有登陆这个系统的所有用户都起作用,而用户环境变量只对这个用户起作用,我们一般设置系统环境变量,即系统用户变量里面的path。

先点击path部分把path行选中,然后再点击编辑。

step3

把bin (包含bin) 文件夹所在的路径添加到已有环境变量的后面,并用;隔开,然后点击确定,这样环境变量就配置成功。

step4

利用组合键Win+R调出cmd界面,输入spark-shell,得到如下界面:

error1

报错Missing Python executable Python是因为没有把Python添加到环境变量中,所以需要先把Python添加到环境变量中,添加方式和Spark添加方式是一样的,只需要找到你电脑中Python所在路径即可。

error2

把Python添加到环境变量以后,再次输入spark-shell,没有Python的报错了,但是还有Java not found的报错,所以我们需要在电脑上安装Java

4.Java下载安装

首先需要来到Java官网去下载对应的Java版本,Java官网:https://www.oracle.com/technetwork/java/javase/downloads/index.html

选择我红框框住的JDK DOWNLOAD,然后就会跳转到另一个页面。

java1

先点击小红框框住的Accept License Agreement,然后再点击下方对应的版本,这里我电脑是Windows 64bit,所以选择Windows x64即可。

java2

下载好以后是一个.exe文件,直接双击运行即可,等程序安装完成以后,同样需要把安装目录下的bin文件夹添加到环境变量,添加方式与spark添加方式一样。

jdk文件

这个时候再次输入sprak-shell就会得到下图中大大的一个spark图案,当你看到这个界面时,说明spark已经安装配置完成了。

success1

因为spark是由scala语言写的,所以spark原生就支持scala语言,所以你会看到scala>这个符号,scala语言中也有print方法,我们输入一个看看结果,得到我们想要的结果了,说明正式安装完成了。

get

5.PySpark安装

经过上面的步骤以后我们算是把spark已经成功安装到了我们的电脑中,但是spark默认是用的scala语言。如果我们想要用Python语言去写spark的话,而且只需要用Python语言的话,可以直接利用pyspark模块,不需要经过上面的spark下载和环境配置过程,但是同样需要java环境配置过程。pyspark模块安装的方法与其他模块一致,直接使用下述代码即可:

pip install pyspark

这里需要注意一点就是,如果你的python已经添加到环境变量了,那么就在系统自带的cmd界面运行pip。如果你是用的是Anaconda,且没有添加环境变量,那你就需要在Anaconda Promt中运行pip了。当pip安装成功以后,打开jupyter notebook输入:

import pyspark

如果没有报错,说明pyspark模块已经安装成功,可以开始使用啦。

原文发布于微信公众号 - 张俊红(zhangjunhong0428)

原文发表时间:2019-01-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券