spark环境搭建(idea版本)
spark环境搭建(idea版本)
红目香薰
发布于 2022-11-29 19:33:09
发布于 2022-11-29 19:33:09
导读：
为了对初学者可以进行友好的交流，本文通过windows的idea快速搭建spark的运行环境，让初学者可以快速的感受spark带来的惊艳感受。 Linux效果更佳，但是对初学者没那么友好，咱们先搞定windows之后再琢磨就会容易很多。 那么接下来如果有环境的话大概5~7分钟就能搞定哦。
目录
环境需求
环境：win10 开发工具：IntelliJ IDEA 2021.2 maven版本：3.6.3
正文
创建【maven】空项目的步骤我就省略了啊。直接进入主题：
步骤一：安装【Scala】插件
点击【左上角】的【File】，选择【Settings...】
选择【Plugins】在输入框中输入【Scala】等待几秒后，看到显示【Scala】点击【Install】当显示为【Installed】代表安装成功了。
步骤二、maven引包
打开【pom.xml】
初始状态：
输入以下编码内容：
<!-- 基础配置 -->
<build>
<plugins>
<plugin>
<groupId>net.alchim31.maven</groupId>
<artifactId>scala-maven-plugin</artifactId>
<version>3.2.2</version>
<executions>
<execution>
<goals>
<goal>testCompile</goal>
</goals>
</execution>
</executions>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-assembly-plugin</artifactId>
<version>3.1.0</version>
<configuration>
<descriptorRefs>
<descriptorRef>jar-with-dependencies</descriptorRef>
</descriptorRefs>
</configuration>
<executions>
<execution>
<id>make-assembly</id>
<phase>package</phase>
<goals>
<goal>single</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
</build>粘贴位置：
需要重新加载一下maven
这里别急，需要等待，可能3分钟哦。
步骤三、创建Scala类
这里需要在创建位置点击【鼠标右键】依次选择【New】-【Scala Class】
输入个类名，并且需要选择【Object】类型，键盘敲击【Enter】回车即可。
项目结构如下：
输入以下编码：
def main(args: Array[String]): Unit = {
print("hello world!")
}
【鼠标右键】点击【Run】执行即可，第一次执行需要的时间比较长，请耐心等待，可能【1分钟】后才能出来结果哦。
最终效果如下：
恭喜你，搭建环境结束，您的第一个大数据【spark】的【Hello World】打印出来了。
本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2022-01-28，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录