提取列值并将其作为Spark dataframe中的数组分配给另一列
在Spark中，我们可以使用split函数将一个列的值拆分成一个数组，并将该数组分配给另一个列。
首先，我们需要导入必要的Spark库和函数：
from pyspark.sql import SparkSession
from pyspark.sql.functions import split然后，我们可以创建一个Spark会话：
spark = SparkSession.builder.getOrCreate()接下来，我们可以创建一个包含需要处理的数据的DataFrame：
data = [("John,Doe",), ("Jane,Smith",), ("Tom,Hanks",)]
df = spark.createDataFrame(data, ["name"])
df.show()输出结果为：
+----------+
| name|
+----------+
| John,Doe|
|Jane,Smith|
| Tom,Hanks|
+----------+现在，我们可以使用split函数将name列的值拆分成一个数组，并将该数组分配给另一个列name_array：
df = df.withColumn("name_array", split(df.name, ","))
df.show()输出结果为：
+----------+-------------+
| name| name_array|
+----------+-------------+
| John,Doe| [John, Doe]|
|Jane,Smith|[Jane, Smith]|
| Tom,Hanks| [Tom, Hanks]|
+----------+-------------+现在，name_array列包含了name列的值拆分后的数组。
对于这个问题，腾讯云没有特定的产品或链接可以推荐。但是，腾讯云提供了强大的云计算平台和服务，可以满足各种云计算需求。您可以访问腾讯云官方网站（https://cloud.tencent.com/）了解更多关于腾讯云的信息。
相关·内容
1回答
我使用Spark窗口函数row_number()为具有嵌套结构的复杂DataFrame生成ID。然后，我提取DataFrame的一部分以创建多个表作为输出，其中包括这个键。但是，Spark只会在操作被触发时物化该表，所以当提取的表保存到HDFS中时，它最终会生成ID。另一方面，在处理大型DataFrames和转换时，Spark可能会打乱数据，从而更改row_num
浏览 1提问于2017-11-21得票数 1
我有一个包含以下列的Spark Dataframe。C1 | C2 | C3| C42 | 3 | 3 | S2我想通过从列C5中获取不同的值来生成另一个列C4，比如C5[S1,S2]谁能帮我在Spark data frame中使用Scala实现这一点？
浏览 6提问于2016-12-23得票数 0
回答已采纳
4回答
我有一个只有一列的Dataframe该列的每一行都有一个字符串值数组：["123", "abc", "2017", "ABC"]
["456", "def", "2001", "ABC&q
浏览 8提问于2017-12-01得票数 28
回答已采纳
1回答
我试图在Dataframe中替换或更新某些特定的列值，因为我们知道dataframe是不可变的，我试图将其转换为新的dataframe，而不是更新或替换。我尝试了dataframe.replace，正如在Spark中解释的那样，但是它给了我错误作为错误:值替换不是org.apache.spark</em
浏览 0提问于2017-03-22得票数 0
---------+| SuperiorCard|| Distinguish|我有一个自定义顺序的数组，我希望数据集按数组中给定的顺序排序。+-------------+| Vista|| SuperiorCard|如何使用spark
浏览 0提问于2019-05-08得票数 2
1回答
我试图添加一个新列来激发数据格式，如下所示：我试图将上述列值列表作为新列传递给dataframe，并尝试对新列执行sha2，并尝试执行varchar(64)。newcolumn", sha2(col(abc), 256).cast('varchar(64)'))Exception in thread &
浏览 2提问于2020-04-22得票数 0
回答已采纳
df.withColumn(x, when($"x" > 75, $"x" + 10).otherwise($"x")).show()|Ayan| Math| 70|
res6: String = Marks
我希望传递一个变量作为参数，该变量存储dataframe的</em
浏览 2提问于2020-07-10得票数 0
回答已采纳
7 | Unidentified9 | UseCase211 | Unidentified我必须提取列UseCase中值为Unidentified的前4行，并对它们进行进一步处理。在这一点上，我不想获得中间和最后两行的Unidentified值。
我希望避免使用ID列，因为它们不是固定的。以上数据只是一个样本。当我使用映射函数(在将其
浏览 5提问于2016-12-15得票数 1
我正在读入中的流数据，数据包含在每个数据/请求中的几个字段中。我希望对这些字段进行精确处理，并为其创建一个dataframe列，并希望将其余字段作为map存储在另一个dataframe列中。示例：{"event1":"Value","event2"
浏览 5提问于2022-06-15得票数 0
我有一个具有以下模式的dataframe：emp_details: Array(String)1, Array(empname=xxx,city=yyy,zip=12345)这些数据在数据格式中，我需要从数组中读取emp_details，并按下面的方式将其分配给新列，或者如果我可以将该数组
浏览 0提问于2018-05-16得票数 1
回答已采纳
我正在尝试解析JSON并使用Python Spark向DataFrame添加一列：其中<code>D1</code>是具有以下结构的JSON字符串：我想提取<code>D3</code>字段的值，并将其添加到<code>D
浏览 2提问于2019-03-26得票数 0
我正在尝试执行星火的countVectorizer模型。作为这个需求的一部分，我正在读取一个csv文件并从其中创建一个Dataframe (inp_DF)。中创建第4列，其中包含所有这3列的值数组，如| indiana|需要这
浏览 1提问于2017-09-05得票数 0
回答已采纳
1回答
|HILLIARD |FL |对于每个empID，需要打印不同值的列名，构建一个结构并收集所有的值。检查每组的计数是否> 1，然后打印列名。这是我的密码 .add("empID", IntegerType, true)
.add("Zipcode&quo
浏览 3提问于2021-12-08得票数 1
回答已采纳
1回答
我有一个Spark程序，它读取一个相对较大的dataframe (~3.2 id )，其中包含两个列: id、name和另一个相对较小的dataframe (~20k条目)，其中包含一个列:id我想知道怎样才能有效地解决这个问题，为
浏览 0提问于2016-11-21得票数 4
回答已采纳
我有一个如下的数据集：概率的DataType是Vector，我想将它转换为Array，以便可以将数据集保存到数据库中。
浏览 13提问于2019-07-26得票数 0
回答已采纳
我有一个场景，通过where条件从同一个DataFrame中使用另一个列从DataFrame读取一列，这个值作为IN条件通过，从另一个DataFrame中选择相同的值，我如何在spark DataFrame中实现。在SQL中，它将类似于：
select distinct(A.date) from table A where A.
浏览 19提问于2021-05-28得票数 0
回答已采纳
0.0 0.0我想做三件事：
每一行都将具有唯一的ID“属性”标签下的值成为列名，这些列名是热编码的，将新表导出回CSV
浏览 3提问于2019-12-16得票数 0
在名为“转录”的列中，我希望从列中的每一行中提取大写单词，并将其作为dataframe的特性，并将大写单词后面的字符串作为该特性下的数据点的值。预期的输出将是dataframe中的另一列，名称为字符串中<
浏览 2提问于2020-02-28得票数 0
回答已采纳
1回答
我想将dataframe的架构拆分为一个集合。我正在尝试这个方法，但是模式被打印成一个字符串。我是否可以将其拆分为每个StructType的集合，以便对其进行操作(比如只从输出中提取数组列)？我试图平平一个复杂的多层次的结构+数组数据。output.toList
目前的输出是
identifyArrayColumns: (data
浏览 0提问于2018-03-09得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
