◆ Spark 由scala语言编写,提供多种语言接口,需要JVM
◆ 官方为我们提供了Spark 编译好的版本,可以不必进行手动编译
◆ Spark安装不难,配置需要注意,并且不一定需要Hadoop环境
◆ 在配置前尽量先阅读官方文档,避免直接从网上找配置教程
◆ 要为节点设 置好使用的内存,否则可能导致节点利用率低;
◆ 注意spark中IP与端口号的配置,以免UnknownHostException
bin/spark-shell
◆ Spark shell是一个bash脚本,在./bin
目录下
◆ Spark shell 为我们事先配置好了上下文(context) 和会话(session)
◆ Wordcount
词频统计,是大数据分析中最为基础的一种任务
英文分词较容易,直接分割空格即可。
◆ 实现思路
首先将文件中所有的单词提取出来,然后合并相同单词
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。