如何为pyspark.sql.dataframe.DataFrame编写这个熊猫逻辑，而不使用pandas呢？
如何为pyspark.sql.dataframe.DataFrame编写这个熊猫逻辑，而不使用pandas呢？
提问于 2022-07-05 13:21:20
我对Pyspark完全陌生，因为Pyspark没有loc特性，我们如何编写这个逻辑。我试图通过指定条件，但无法得到理想的结果，任何帮助都将不胜感激！
df['Total'] = (df['level1']+df['level2']+df['level3']+df['level4'])/df['Number']
df.loc[df['level4'] > 0, 'Total'] += 4
df.loc[((df['level3'] > 0) & (df['Total'] < 1)), 'Total'] += 3
df.loc[((df['level2'] > 0) & (df['Total'] < 1)), 'Total'] += 2
df.loc[((df['level1'] > 0) & (df['Total'] < 1)), 'Total'] += 1回答 1
Stack Overflow用户
回答已采纳
发布于 2022-07-05 14:46:24
的数据，如
data_ls = [
(1, 1, 1, 1, 10),
(5, 5, 5, 5, 10)
]
data_sdf = spark.sparkContext.parallelize(data_ls). \
toDF(['level1', 'level2', 'level3', 'level4', 'number'])
# +------+------+------+------+------+
# |level1|level2|level3|level4|number|
# +------+------+------+------+------+
# | 1| 1| 1| 1| 10|
# | 5| 5| 5| 5| 10|
# +------+------+------+------+------+实际上，您正在更新每个语句中的total列，而不是以if-然后-否则的方式进行更新。您的代码可以使用多个withColumn()和when()复制(如出一辙)，如下所示。
data_sdf. \
withColumn('total', (func.col('level1') + func.col('level2') + func.col('level3') + func.col('level4')) / func.col('number')). \
withColumn('total', func.when(func.col('level4') > 0, func.col('total') + 4).otherwise(func.col('total'))). \
withColumn('total', func.when((func.col('level3') > 0) & (func.col('total') < 1), func.col('total') + 3).otherwise(func.col('total'))). \
withColumn('total', func.when((func.col('level2') > 0) & (func.col('total') < 1), func.col('total') + 2).otherwise(func.col('total'))). \
withColumn('total', func.when((func.col('level1') > 0) & (func.col('total') < 1), func.col('total') + 1).otherwise(func.col('total'))). \
show()
# +------+------+------+------+------+-----+
# |level1|level2|level3|level4|number|total|
# +------+------+------+------+------+-----+
# | 1| 1| 1| 1| 10| 4.4|
# | 5| 5| 5| 5| 10| 6.0|
# +------+------+------+------+------+-----+我们可以将所有的withColumn()和when()合并成一个带有多个when()语句的withColumn()。
data_sdf. \
withColumn('total', (func.col('level1') + func.col('level2') + func.col('level3') + func.col('level4')) / func.col('number')). \
withColumn('total',
func.when(func.col('level4') > 0, func.col('total') + 4).
when((func.col('level3') > 0) & (func.col('total') < 1), func.col('total') + 3).
when((func.col('level2') > 0) & (func.col('total') < 1), func.col('total') + 2).
when((func.col('level1') > 0) & (func.col('total') < 1), func.col('total') + 1).
otherwise(func.col('total'))
). \
show()
# +------+------+------+------+------+-----+
# |level1|level2|level3|level4|number|total|
# +------+------+------+------+------+-----+
# | 1| 1| 1| 1| 10| 4.4|
# | 5| 5| 5| 5| 10| 6.0|
# +------+------+------+------+------+-----+页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/72870190
复制相关文章
相似问题
腾讯云开发者
