在pyspark数据帧中用数字替换字符串

在pyspark数据帧中，可以使用withColumn函数和when函数来将字符串替换为数字。

首先，我们需要导入必要的模块和创建一个SparkSession对象：

from pyspark.sql import SparkSession
from pyspark.sql.functions import when

spark = SparkSession.builder.getOrCreate()

接下来，我们可以使用createDataFrame方法创建一个示例数据帧：

data = [("Alice", 25), ("Bob", 30), ("Charlie", 35)]
df = spark.createDataFrame(data, ["Name", "Age"])
df.show()

输出结果为：

+-------+---+
|   Name|Age|
+-------+---+
|  Alice| 25|
|    Bob| 30|
|Charlie| 35|
+-------+---+

现在，假设我们想将数据帧中的字符串"Bob"替换为数字100，我们可以使用withColumn和when函数来实现：

df = df.withColumn("Age", when(df.Name == "Bob", 100).otherwise(df.Age))
df.show()

输出结果为：

+-------+---+
|   Name|Age|
+-------+---+
|  Alice| 25|
|    Bob|100|
|Charlie| 35|
+-------+---+

在这个例子中，我们使用when函数来判断df.Name == "Bob"是否为真，如果为真，则将"Age"列的值替换为100，否则保持原来的值不变。

这是一个简单的示例，你可以根据实际需求进行更复杂的替换操作。关于pyspark数据帧的更多操作和函数，请参考腾讯云的Spark SQL开发指南。

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云