单机模式部署
Spark版本 : spark-2.4.7-bin-hadoop2.7
1、安装配置JDK环境
2、下载Spark
官网下载http://spark.apache.org/
然后上传到LInux服务器上...指定每个executor可用内存为1G
–total-executor-cores 6 指定所有executor使用的cpu核数为6个
–executor-cores 表示每个executor使用的...cpu 的核数
三、使用 Spark-shell
Spark-shell 是 Spark 给我们提供的交互式命令窗口(类似于 Scala 的 REPL)
3.1、打开 Spark-shell
$ bin...scala>
四、wordcount案例
4.1、 创建 2 个文本文件
mkdir input
cd input
touch 1.txt
touch 2.txt
写入内容
4.2、打开 Spark-shell...), (MapReduce,1), (hello,2), (spark,4), (hi,1), (core,1))
scala>
4.5、登录Ice:4040查看程序运行
[外链图片转存失败,源站可能有防盗链机制