如何在pyspark中删除列中的连字符？

在pyspark中删除列中的连字符，可以使用DataFrame的withColumn()方法和regexp_replace()函数来实现。

首先，使用withColumn()方法创建一个新的列，将原始列的值进行处理。然后，使用regexp_replace()函数将连字符替换为空字符串。最后，使用select()方法选择需要保留的列，并丢弃原始列。

以下是一个示例代码：

from pyspark.sql import SparkSession
from pyspark.sql.functions import regexp_replace

# 创建SparkSession
spark = SparkSession.builder.getOrCreate()

# 创建示例DataFrame
data = [("John-Doe", 25), ("Jane-Smith", 30), ("Mike-Williams", 35)]
df = spark.createDataFrame(data, ["name", "age"])

# 删除列中的连字符
df = df.withColumn("name_without_hyphen", regexp_replace("name", "-", ""))

# 选择需要保留的列
df = df.select("name_without_hyphen", "age")

# 显示结果
df.show()

输出结果如下：

+-------------------+---+
|name_without_hyphen|age|
+-------------------+---+
|           JohnDoe| 25|
|         JaneSmith| 30|
|      MikeWilliams| 35|
+-------------------+---+

在这个示例中，我们使用withColumn()方法创建了一个名为name_without_hyphen的新列，其中使用regexp_replace()函数将原始列name中的连字符替换为空字符串。然后，使用select()方法选择了需要保留的列，并丢弃了原始列。

对于pyspark中删除列中的连字符的问题，腾讯云提供的相关产品是腾讯云数据工场（DataWorks），它是一款大数据开发与运维一体化的云端数据集成与数据开发产品。您可以通过DataWorks提供的数据开发工具，使用Spark SQL语法对数据进行处理和清洗，包括删除列中的连字符等操作。

更多关于腾讯云数据工场的信息，请访问腾讯云官方网站：腾讯云数据工场。