前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >spark中 map和reduce理解及与hadoop的map、reduce区别

spark中 map和reduce理解及与hadoop的map、reduce区别

作者头像
用户1410343
发布2018-03-26 15:23:04
2.2K0
发布2018-03-26 15:23:04
举报
文章被收录于专栏:about云

问题导读 1.你认为map函数可以做哪些事情? 2.hadoop中map函数与Scala中函数功能是否一致? 3.Scala中reduce函数与hadoop中reduce函数功能是否一致? spark用的Scala编写的。因此这里的map和reduce,也就是Scala的map和reduce。scala 有很多函数,而且很方便。这里想写下map和reduce函数,也是看到一篇帖子,感觉Scala非常有意思。 map函数 map函数,你可以往里面放一些,在其它语言中的匿名函数。 源数据:(“人名”,年龄) val rdd = sc.parallelize(Array[(String,Int)](("Michael",29),("Andy",30),("Justin",19), ("Tom",10), ("Tonny",11), ("Bob",12))) 比如val result = rdd.map(x => x._2) 上面是什么意思?x是rdd中的元素,代表的是任何一个(String,Int),比如("Michael",29)或则("Andy",30)等。x._2则是第二个元素。 与hadoop中map函数比较 hadoop的map函数,与Scala中map函数没有太大的关系。hadoop的map函数,主要用来分割数据。至于如何分割可以指定分隔符。 reduce函数 Scala中,reduce是传递两个元素,到函数中,然后返回值与下一个元素,一起作为参数传入。Scala有意思的地方在这里,难懂的地方也在这里。 如下面语句 val result = rdd.reduce((x,y) => (if(x._2 < y._2) y else x)) x和y在我们传统的函数中,它是固定的。但是Scala中,就不是了。刚开始传入的是第一个元素和第二个元素,后面的就是返回值和下一个元素。如上面 第一次传参:为下面两个 ("Michael",29)("Andy",30) 但是比较之后,由于30大于29,因为返回的是("Andy",30),("Andy",30)与第三个元素作为参数传入,("Andy",30)跟第三个元素比较("Justin",19)。 由于30大于19,因此依旧返回的是("Andy",30).依次类推。最后得出结果。 与hadoop中reduce函数比较 hadoop中reduce函数,一般用于统计数据。比如wordcount中统计单词的个数等。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2017-05-21,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 about云 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档