前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Windows32或64位下载安装配置Spark

Windows32或64位下载安装配置Spark

作者头像
马克java社区
修改2019-06-24 10:11:12
8260
修改2019-06-24 10:11:12
举报
文章被收录于专栏:java大数据

Windows 32或64位下载安装配置Spark: 1)下载地址:http://spark.apache.org/downloads.html 马克-to-win @ 马克java社区:选择需要下载的Spark版本,我选的是当前最新的版本2.2.0。因为我已经安装了Hadoop 2.7.4版本的,所以我选择对应的Pre-built for Hadoop 2.7 and later。注意网站上说scala要求2.11版本以上。(在我的新机器上,是没有预先装scala的,先装的spark, 证明这么装的顺序是可行的)

​ 2)配置: 马克-to-win @ 马克java社区:解压spark-2.2.0-bin-hadoop2.7.tgz到本机一个目录,例如C:\Users\dell\Downloads\spark-2.2.0-bin-hadoop2.7\spark-2.2.0-bin-hadoop2.7,参考hadoop那节,配置环境变量%SPARK_HOME%,再有把%SPARK_HOME%/bin加入到Path里面, 我自己建了一个目录叫myrun,因为在哪个目录运行,就会在其中产生metastore_db这个目录,所以为了运行,我专门建了一个目录来运行。

​ 3)启动测试: a)启动Hadoop b)在cmd窗口运行spark-shell,出现下图代表OK。

​ c)因为我的hadoop 的根目录下有一个README.txt文件,

​ 所以测试一下word count,在命令行输入sc.textFile("hdfs://localhost:9000/README.txt").count()查看执行结果,出现如下图代表计算word count成功。

文章来自:https://blog.csdn.net/qq_44596980/article/details/93179878

本文系转载,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文系转载前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档