前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Spark-Core核心RDD基础02

Spark-Core核心RDD基础02

原创
作者头像
软件架构师Michael
发布2022-05-06 14:52:06
2290
发布2022-05-06 14:52:06
举报
文章被收录于专栏:软件工程师Michael

1.SparkContext对象读取文件内容

首先由SparkContext对象sc调用textFile()函数,然后进行collect()操作,也就是做一个reduce操作,即可显示读取的结果

sc读取文件
sc读取文件

2.reduce操作实例

实例1:map后,进行reduce操作

reduce操作
reduce操作

刷新Spark的Jobs页面,发现由新的jobs显示处理了。此时的Jobs不仅有collect,还有reduce了。

Jobs列表
Jobs列表

实例2:执行wholeTextFiles后,再进行collect操作。

wholeTextFiles操作
wholeTextFiles操作

此时再来刷新一下UI上的Jobs列表,发现有新的变化了。

Jobs列表
Jobs列表

【小结】

日拱一卒,终有所获。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档