在将pyspark.rdd.PipelinedRDD对象转换为Pyspark时获得空值
在将pyspark.rdd.PipelinedRDD对象转换为Pyspark时获得空值
提问于 2021-03-22 12:54:12
我的数据集有一个名为“事件操作”的列。
它有“转换”、“购买”、“结帐”等值。我希望以这样一种方式来转换这一列，即它将转换为1，而将所有其他类别映射为0。
我以这种方式使用lambda函数：
e1 = event1.rdd.map(lambda x: 1 if x.eventAction == 'conversion' else 0)其中event1是我的星星之火的名字。
在打印e1时，我得到以下内容：
print(e1.take(5))
[0, 0, 0, 0, 0]所以我认为lambda函数正常工作。现在，当我转换为时，我得到了空值，如下所示：
schema1 = StructType([StructField('conversion',IntegerType(),True)])
df = spark.createDataFrame(data=[e1],schema=schema1)
df.printSchema()
df.show()
如果你能帮我做这件事，那就太好了。
谢谢!
回答 1
Stack Overflow用户
回答已采纳
发布于 2021-03-22 12:58:56
spark.createDataFrame期望Row的RDD，而不是整数的RDD。在转换为dataframe之前，需要将RDD转换为map Row对象。请注意，没有必要在e1周围添加方括号。
from pyspark.sql import Row
e1 = event1.rdd.map(lambda x: 1 if x.eventAction == 'conversion' else 0).map(lambda x: Row(x))
schema1 = StructType([StructField('conversion',IntegerType(),True)])
df = spark.createDataFrame(data=e1,schema=schema1)也就是说，您想要做的事情应该很容易地使用Spark when函数来完成。没有必要将RDD与自定义lambda函数一起使用。例如：
import pyspark.sql.functions as F
df = events.select(F.when(F.col('eventAction') == 'conversion', 1).otherwise(0).alias('conversion'))页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/66746484
复制相关文章
相似问题
腾讯云开发者
