腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

SpringCloud专栏

专栏作者

234

文章

534581

阅读量

72

订阅数

Spark——RDD操作详解

java 缓存 scala spark

一、基本RDD 1、针对各个元素的转化操作最常用的转化操作是map()和filter()。转化操作map()J接收一个函数，把这个函数用于RDD中的每一个元素，将函数的返回结果作为结果RDD中对应元素。而转化操作filter()则接收一个函数，将RDD满足该函数的元素放入新的RDD中返回。map()的返回值类型不需要和输入类型一样。从一个RDD变成另外一个RDD。lazy，懒执行。比如根据谓词匹配筛选数据就是一个转换操作。例：求平均值 Scala：

天涯泪小武

2019-05-26

1.5K0

spark RDD算子（八）之键值对关联操作

sql spark github java git

github: https://github.com/zhaikaishun/spark_tutorial/tree/master/src/main/java/com/spark/rdd_tutorial/tutorial8 先从spark-learning中的一张图大致了解其功能

天涯泪小武

2019-05-26

1.7K0

2 Spark机器学习 spark MLlib Statistics统计入门

机器学习神经网络深度学习人工智能 spark

在机器学习中，数据的处理也非常重要，矩阵、统计什么的都很常见。这一篇看一下Statistics统计相关的操作。

天涯泪小武

2019-01-17

5450

1 Spark机器学习 spark MLlib 入门

spark scala jar 机器学习

开始学习spark ml了，都知道spark是继hadoop后的大数据利器，很多人都在使用spark的分布式并行来处理大数据。spark中也提供了机器学习的包，就是MLlib。

天涯泪小武

2019-01-17

1.1K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态