前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >IntelliJ IDEA配置Spark使用

IntelliJ IDEA配置Spark使用

作者头像
bear_fish
发布2018-09-19 15:03:03
1.8K0
发布2018-09-19 15:03:03
举报
文章被收录于专栏:用户2442861的专栏

第二步下载插件 首先启动intelliJ IDEA:在命令行终端中,进入$IDEA_HOME/bin目录,输入./idea.sh进行启动,进入如下界面,然后选择右下角“plugins”

然后进入以下界面,点击Plugins,由于Scala插件没有安装,需要点击”Install JetBrains plugins"进行安装,如下图所示:

然后进入以下界面,点击下载,等下载安装好后,点击close就ok了

安装插件后,在启动界面中选择创建新项目,弹出的界面中将会出现"Scala"类型项目,如下图,选择scala-》scala

点击next,就如以下界面,project name自己随便起的名字,把自己安装的scala和jdk选中,注意,在选择scala版本是一定不要选择2.11.X版本,那样后续会出大错!完成后,点击Finish

然后再File下选择project Structure,然后进入如下界面,进入后点击Libraries,在右边框后没任何信息,然后点击“+”号,进入你安装spark时候解压的spark-XXX-bin-hadoopXX下,在lib目录下,选择spark-assembly-XXX-hadoopXX.jar,结果如下图所示,然后点击Apply,最后点击ok

现在我们就可以在src下创建一个包,然后创建一个Object,如下图,然后就可以用scala来编写代码了。

二,编写代码 我编写了一个小代码,单词计数,代码如下

在textFile("")中的内容为数据路径,然后点击Run就可以看到结果了。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2016年10月08日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档