前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Spark-Core核心RDD基础03---对照Spark官网学习

Spark-Core核心RDD基础03---对照Spark官网学习

原创
作者头像
软件架构师Michael
发布2022-05-09 23:29:57
2290
发布2022-05-09 23:29:57
举报
文章被收录于专栏:软件工程师Michael

参考Spark 2.3.0官方文档:

https://spark.apache.org/docs/2.3.0/rdd-programming-guide.html#overview

Spark的两种创建方式

方式1:把程序中一个已有的集合传给SparkContext 的parallelize()方法

创建RDD的第1种方式
创建RDD的第1种方式

方式2:从外部存储中读取数据来创建RDD

创建RDD的第2种方式
创建RDD的第2种方式

【小结】

spark的官方文档可谓是言简意赅,仅仅是通过上面这两段文字,就能了解到创建RDD的两种方式,再结合代码实例在pyspark中实践一把,很快就能领会到其中的精髓了。值得注意的是,Python API的中文资料相对较少,因此需要能大致看懂英文版本API说明,毕竟英文文档才是原汁原味的知识,被翻译后的中文,都是被加工过了,有些甚至被扭曲了。

撸起袖子加油干!

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档