如何在pyspark中创建中位数、平均值和标准差的新列？

在pyspark中，可以使用withColumn方法结合内置函数来创建中位数、平均值和标准差的新列。下面是具体的步骤：

导入必要的模块：

from pyspark.sql import SparkSession
from pyspark.sql.functions import col, expr

创建SparkSession对象：

spark = SparkSession.builder.getOrCreate()

加载数据集到DataFrame：

df = spark.read.csv("data.csv", header=True, inferSchema=True)

其中，"data.csv"是数据集的文件路径，header=True表示第一行是列名，inferSchema=True表示自动推断列的数据类型。

使用withColumn方法创建新列：

df = df.withColumn("median", expr("percentile_approx(column_name, 0.5)"))
df = df.withColumn("mean", expr("avg(column_name)"))
df = df.withColumn("stddev", expr("stddev(column_name)"))

其中，column_name是要计算中位数、平均值和标准差的列名。

显示结果：

df.show()

完整的代码示例：

from pyspark.sql import SparkSession
from pyspark.sql.functions import col, expr

spark = SparkSession.builder.getOrCreate()

df = spark.read.csv("data.csv", header=True, inferSchema=True)

df = df.withColumn("median", expr("percentile_approx(column_name, 0.5)"))
df = df.withColumn("mean", expr("avg(column_name)"))
df = df.withColumn("stddev", expr("stddev(column_name)"))

df.show()

在这个示例中，我们使用了percentile_approx函数来计算中位数，avg函数来计算平均值，stddev函数来计算标准差。你可以根据实际需求替换column_name为你要计算的列名。

腾讯云相关产品和产品介绍链接地址：