二、Python 容器数据转 RDD 对象
1、RDD 转换
在 Python 中 , 使用 PySpark 库中的 SparkContext # parallelize 方法 , 可以将 Python...Python 容器数据转为 RDD 对象 ;
# 将数据转换为 RDD 对象
rdd = sparkContext.parallelize(data)
调用 RDD # getNumPartitions...print("RDD 元素: ", rdd.collect())
完整代码示例 :
# 创建一个包含列表的数据
data = [1, 2, 3, 4, 5]
# 将数据转换为 RDD 对象
rdd..."RDD 元素: ", rdd.collect())
3、代码示例 - Python 容器转 RDD 对象 ( 列表 )
在下面的代码中 ,
首先 , 创建 SparkConf 对象 , 并将 PySpark...;
# 创建一个包含列表的数据
data = [1, 2, 3, 4, 5]
再后 , 并使用 parallelize() 方法将其转换为 RDD 对象 ;
# 将数据转换为 RDD 对象
rdd =
云服务器
ICP备案
腾讯会议
对象存储
云直播
