scala语言编写,提供多种语言接口,需要JVM。官方为我们提供了Spark 编译好的版本,可以不必进行手动编译。
Spark安装不难,配置需要注意,并且不一定需要Hadoop环境。
下载:
解压
tar zxvf spark-2.4.1-bin-hadoop2.7.tgz
UnknownHostException
配置文件:
bin/spark-shell
75617 Master
79700 Jps
75684 Worker
◆ Wordcount 词频统计,是大数据分析中最为基础的一种任务 英文分词较容易,直接分割空格即可。
◆ 实现思路 首先将文件中所有的单词提取出来,然后合并相同单词
`pwd`/`ls |grep L`