教程-Spark安装与环境配置

总第130篇/张俊红

1.Spark介绍

Spark是一种通用的大数据计算框架,是基于RDD（弹性分布式数据集）的一种计算模型。那到底是什么，可能还不是太理解，通俗讲就是可以分布式处理大量极数据的，将大量集数据先拆分，分别进行计算，然后再将计算后的结果进行合并。

这一篇主要给大家分享如何在上安装Spark。

2.Spark下载

第一步点击我红框框住的蓝色链接部分即可。

spark首页

操作了第一步以后会跳转到另一个页面，如下图所示，选择红框框住的部分进行下载，然后选择文件保存的路径进行保存即可。

spark下载页

我们需要把下图中的bin文件所在的路径设置到环境变量里面。

spark文件

3.Spark环境变量设置

第一步右键我的电脑，然后选择属性，就来到了下图这个界面。

step1

选择红框框住的高级系统系统设置，然后再点击环境变量。

step2

这里我们看到有两个path，一个是用户的环境变量，一个是系统的环境变量，这两个有啥区别呢？

系统的环境变量设置以后对所有登陆这个系统的所有用户都起作用，而用户环境变量只对这个用户起作用，我们一般设置系统环境变量，即系统用户变量里面的path。

先点击path部分把path行选中，然后再点击编辑。

step3

把bin (包含bin) 文件夹所在的路径添加到已有环境变量的后面，并用隔开，然后点击确定，这样环境变量就配置成功。

step4

利用组合键调出界面，输入，得到如下界面：

error1

报错是因为没有把添加到环境变量中，所以需要先把添加到环境变量中，添加方式和添加方式是一样的，只需要找到你电脑中所在路径即可。

error2

把Python添加到环境变量以后，再次输入，没有Python的报错了，但是还有的报错，所以我们需要在电脑上安装。

4.Java下载安装

首先需要来到Java官网去下载对应的Java版本，Java官网：https://www.oracle.com/technetwork/java/javase/downloads/index.html

选择我红框框住的，然后就会跳转到另一个页面。

java1