前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Scala当中parallelize并行化的用法

Scala当中parallelize并行化的用法

作者头像
马克java社区
修改2019-07-16 18:08:17
2.5K0
修改2019-07-16 18:08:17
举报
文章被收录于专栏:java大数据

parallelize并行化集合是根据一个已经存在的Scala集合创建的RDD对象。集合的里面的元素将会被拷贝进入新创建出的一个可被并行操作的分布式数据集。 例如:val rdd03 = sc.parallelize(List(1, 4, 3, 7, 5)) 根据系统环境来进行切分多个slice,每一个slice启动一个Task来进行处理。 val rdd03 = sc.parallelize(List(1, 4, 3, 7, 5), 5) 指定了partition的数量为5, makeRDD和parallelize的区别?makeRDD函数有两种实现,第一种实现其实完全和parallelize一致。而第二种实现可以为数据提供位置信息,除此之外,和parallelize是一致的 */ val rdd03 = sc.parallelize(List(1, 4, 3, 7, 5), 3) val rdd03_1 = rdd03.map { x => x + 1 } println("map2 用法 is 马克-to-win @ 马克java社区:" + rdd03_1.collect().mkString(",")) val rdd04 = sc.parallelize(List(1, 4, 3, 7, 5), 3) val rdd04_1 = rdd04.filter { x => x > 3 } println("filter2 用法 马克-to-win @ 马克java社区:" + rdd04_1.collect().mkString(",")) val rdd05: RDD[Int] = sc.makeRDD(Array(1, 4, 3)) val rdd06: RDD[Int] = sc.makeRDD(Array(7, 5)) myunion(rdd05, rdd06) /*reduce(function)

更多请见:https://blog.csdn.net/qq_44596980/article/details/93310016

本文系转载,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文系转载前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档