Spark运行第一个Scala程序WordCount

week

发布于 2019-12-26 16:29:01

5420

发布于 2019-12-26 16:29:01

文章被收录于专栏：用户画像用户画像

1、前置条件安装

hadoop:https://blog.csdn.net/jxq0816/article/details/78736449

scala:https://www.runoob.com/scala/scala-install.html

2、Idea安装Scala插件

3、代码

object ScalaWordCount {
  def main(args: Array[String]): Unit = {
    var lines = List("hello scala", "hello world","hello java")
    //切分并压平
    val words = lines.flatMap(_.split(" "))
    // 把每个单词生成一个一个pair（key, 1）
    val tuples = words.map((_, 1))
    //以key进行分组 第一个_代表元组，第二个_1 代表key（单词）
    val gro

本文参与腾讯云自媒体分享计划，分享自作者个人站点/博客。

如有侵权请联系 cloudcommunity@tencent.com 删除

https