从pyspark dataframe中的数组列中删除结构
，可以使用pyspark的内置函数和方法来实现。
首先，我们需要使用withColumn方法创建一个新的列，该列将是原始数组列的副本，但是不包含结构。然后，我们可以使用select方法选择所有其他列和新创建的列，以获取最终的结果。
下面是一个完整的示例代码：
from pyspark.sql import SparkSession
from pyspark.sql.functions import col, expr
# 创建SparkSession
spark = SparkSession.builder.getOrCreate()
# 创建示例数据
data = [
(1, ["a", "b", "c"], {"key1": "value1", "key2": "value2"}),
(2, ["d", "e", "f"], {"key3": "value3", "key4": "value4"})
]
df = spark.createDataFrame(data, ["id", "array_col", "struct_col"])
# 删除数组列中的结构
df = df.withColumn("array_col_no_struct", expr("transform(array_col, x -> x)"))
# 选择所有其他列和新创建的列
df = df.select([col(c) for c in df.columns if c != "array_col"] + ["array_col_no_struct"])
# 显示结果
df.show()这段代码中，我们首先使用withColumn方法创建了一个名为"array_col_no_struct"的新列，该列是原始数组列"array_col"的副本。在expr函数中，我们使用了transform函数来遍历数组中的每个元素，并返回它们本身，从而删除了结构。
然后，我们使用select方法选择了所有其他列和新创建的列，以获取最终的结果。最后，我们使用show方法显示了结果。
这是一个简单的示例，你可以根据实际情况进行调整和扩展。关于pyspark的更多信息和使用方法，你可以参考腾讯云的相关产品和文档：
相关·内容
1回答
删除pyspark中的嵌套列
、、、、
我有一个包含一列结果的pyspark数据帧。在结果列中，我想删除列"Attributes“。dataframe的模式是：(在结果中有更多的列，但为了方便起见，我没有显示它们，因为模式很大) |-- results: struct (nullable = true)
| |-- l: array (nullable = true)
| | |-- element: struct (containsNull = true)
| | | |-- m: struct (nullable = true)
| | | | |-
浏览 20提问于2020-06-15得票数 0
回答已采纳
1回答
Input_pyspark_dataframe:
id name collection student.1.price student.2.price student.3.price
111 aaa 1 100 999 232
222 bbb 2 200 888 656
333 ccc 1 300 777 454
444 dd
浏览 0提问于2020-08-20得票数 0
我正在使用Pyspark2.0通过读取csv来创建一个DataFrame对象，使用：
data = spark.read.csv('data.csv', header=True)
我使用以下命令找到数据的类型
type(data)
结果是
pyspark.sql.dataframe.DataFrame
我正在尝试将数据中的一些列转换为LabeledPoint，以便应用分类。
from pyspark.sql.types import *
from pyspark.sql.functions import loc
from pyspark.mllib.regression
浏览 4提问于2016-09-08得票数 6
我有一个包含两列的pyspark dataframe，ID和Elements。"Elements“列中有list元素。它看起来像这样，
ID | Elements
_______________________________________
X |[Element5, Element1, Element5]
Y |[Element Unknown, Element Unknown, Element_Z]
我想用‘element’列中最频繁的元素组成一个列。输出应如下所示：
ID | Elements
浏览 6提问于2021-10-07得票数 1
3回答
我有一个PySpark dataframe，其中包含一个列"student“，如下所示：
"student" : {
"name" : "kaleem",
"rollno" : "12"
}
在dataframe中，这方面的架构是：
structType(List(
name: String,
rollno: String))
我需要将该列修改为
"student" : {
"student_details" : {
"
浏览 3提问于2020-05-27得票数 2
回答已采纳
在PySpark中，我们不能使用传统的熊猫或R风格的符号来根据DataFrame中的旧列来制作新的列。例如，假设我试图连接两列：
import pyspark.sql.functions as F
df['newcol'] = F.concat(df['col_1'], df['col_2'])
结果：
TypeError: 'DataFrame' object does not support item assignment
相反，这样做的实现方法是
df = df.withColumn('newcol', F.
浏览 1提问于2016-07-28得票数 1
回答已采纳
4回答
如何在Spark中压缩两个数组列
、、、、
我有潘达的数据。我尝试将包含字符串值的两个列连接到一个列表中，然后使用zip将列表中的每个元素都用'_‘连接起来。我的数据集如下：
df['column_1']: 'abc, def, ghi'
df['column_2']: '1.0, 2.0, 3.0'
我想将这两列连接到第三列中，如下所示，我的每一行数据都是这样的。
df['column_3']: [abc_1.0, def_2.0, ghi_3.0]
我已经在python中成功地使用了下面的代码，但是dataframe相当大，运行整个datafra
浏览 2提问于2019-01-21得票数 9
回答已采纳
我已经从np.select获得了一个numpy数组，我希望将其存储为PySpark DataFrame中的一个新列。我怎么能这么做？
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
pdf = pd.DataFrame({'a': [1,2,3], 'b': ['abc', 'cde', 'edf']})
df_data = spark.createDataFrame(pdf, schema='
浏览 6提问于2022-05-25得票数 1
1回答
我试图将列LOW的字符串值转换为双倍，但在dataframe中获取空值。
from pyspark.sql.types import *
df3 = df2.withColumn("LOW",df2["LOW"].cast(DoubleType()))
df3.printSchema()
df3.show()
浏览 2提问于2022-06-23得票数 0
回答已采纳
我在PySpark中有两个数据帧，如下所示： Dataframe A:总共1000条记录 +-----+
|Name |
+-----+
| a|
| b|
| c|
+-----+ Dataframe B:共3条记录 +-----+
|Zip |
+-----+
|06905|
|06901|
|06902|
+-----+ 我需要在Dataframe A中添加一个名为Zip的新列，并使用从Dataframe B中随机选择的值填充这些值。因此，Dataframe A将如下所示： +-----+-----+
|Name |Zip |
+-----+-----+
|
浏览 12提问于2021-02-10得票数 2
回答已采纳
我有一个用例来映射基于条件的pyspark列的元素。通过这个文档，我找不到一个函数来执行映射函数。
因此，尝试使用pyspark映射函数，但无法将pyspark列转换为dataFrame
注意:我之所以使用pyspark列，是因为我从我使用的库(远大期望)中获得了它的输入。
@column_condition_partial(engine=SparkDFExecutionEngine)
def _spark(cls, column, ts_formats, **kwargs):
return column.isin([3])
# need to replace the abov
浏览 4提问于2021-11-19得票数 0
回答已采纳
请原谅我的无知，因为我对pyspark和Spark还不熟悉。我正在将Spark从1.6.3升级到2.1，在使用pyspark运行我们的模型时遇到了问题。
在运行抛出错误的python脚本时，我们所要做的就是读入一个JSON，并使用如下所示将其转换为DF
df_read = sparkSession.read.json('path to json file')
在这个读取之后，我们在DF上执行一些操作，在列上运行一些UDF，然后最终希望写回JSON，然后JSON将被提取并写入Apache Phoenix表。
当尝试在DF上执行任何终端操作时，例如show()或take()或任何类
浏览 8提问于2018-12-04得票数 0
我的输入是pyspark中的dataframe列，它只有一个列DETAIL_REC。
detail_df.show()
DETAIL_REC
================================
ABC12345678ABC98765543ABC98762345
detail_df.printSchema()
root
|-- DETAIL_REC: string(nullable =true)
对于每11个字符/字符串，它必须位于下一行的dataframe中，以便下游进程使用它。
预期输出应在dataframe中为多行。
DETAIL_REC (No spaces lines
浏览 2提问于2022-03-04得票数 1
回答已采纳
我正在尝试将pandas.DataFrame代码转换为等效的pyspark DataFrame。我有一个以下格式的RDD。
myRdd = [[1, 'a', {'a':[1, 2]}],
[2, 'b', {'c': 1, 'd':3}],
[3, 'c', {}]]
columnNames = ['sl', 'name', 'params']
内部列表中的第三个元素没有特定的结构。在pandas数据帧中，我可以
浏览 1提问于2018-04-07得票数 1
3回答
我正在尝试打破一个字符串(技术上是从dataframe的列中传递的字符串)，并将这些破碎的字符串作为列表返回到dataframe。Scala版本2.11。我更喜欢使用udf的scala或pyspark解决方案--因为在udf内部发生了很多事情。
让我们说，我有一个数据：
val df = List(("123", "a*b*c*d*e*f*x*y*z"), ("124", "g*h*i*j*k*l*m*n*o")).toDF("A", "B")
我想要的结果(在udf中，因为那里发生了很多事情；Sc
浏览 4提问于2018-04-24得票数 1
回答已采纳
我在一个DataFrame中有一列，我需要在Pyspark中选择3个随机值。有没有人能帮帮我-我，好吗？
+---+
| id|
+---+
|123|
|245|
| 12|
|234|
+---+
愿望：
从该列获得3个随机值的数组：
**output**: [123, 12, 234]
浏览 0提问于2017-10-04得票数 5
回答已采纳
我正在尝试将pyspark dataframe列从字符串数组转换为字符串。 df： text
[this, is, a, book, that, I, like] 我需要： text
"this, is, a, book, that, I, like" 基于How to convert column of arrays of strings to strings?， 我的py3代码： import pyspark.sql.functions as F
t = df.withColumn('text', F.concat_ws(", &
浏览 7提问于2020-09-14得票数 0
回答已采纳
我有一个包含'people‘和'timestamp’列的PySpark DataFrame (加上其他与问题无关的列)。解释是用户在那个时候做了一些事情。
我想对“人物”的所有行进行分组，其中“时间戳”的差异不超过“阈值”值(例如5分钟)。
你知道我如何在PySpark中实现这一点吗？最好是以DataFrame作为结果？
感谢你的想法！
浏览 35提问于2018-08-30得票数 0
回答已采纳
我想要创建一个函数，该函数从PySpark中的左联接创建一个新列，详细说明一个列中的值是否匹配或不匹配另一个dataframe逐行的列。
例如，我们有一个PySpark dataframe (d1)具有列ID和名称，另一个PySpark dataframe (d2)具有相同的列- ID和Name。
我试图创建一个连接这两个表的函数，并创建一个新列，如果两个数据文件中存在相同的ID，则创建一个显示“True”或“False”的新列。
到目前为止，我有这个
def doValuesMatch(df1, df2):
left_join = df1.join(df2, on='ID&#
浏览 3提问于2021-12-11得票数 0
1回答
我从继承的dataset转换了一个dataframe，它看起来如下所示：
data = [("[]","2000","M",False),
("[{'username':'aabb','points':'200','active':'true'}, {'username':'bbaa22','points':'0','active':'
浏览 1提问于2022-02-09得票数 1
回答已采纳
1回答
我试图修改Map类型的Dataframe列，其值依次为Struct类型：
root
|-- name: string (nullable = true)
|-- age: long (nullable = true)
|-- MapName: map (nullable = true)
| |-- key: string
| |-- value: struct (valueContainsNull = true)
| | |-- field1: double (nullable = true)
| | |-- field2: double (n
浏览 3提问于2021-01-04得票数 3
回答已采纳
我正在尝试在Pyspark中实现一个自定义的分解。我有4列，它们是具有几乎相同模式的结构数组(一列结构包含的字段比其他三列少一个)。 对于我的DataFrame中的每一行，我有4列结构数组。列是学生、teaching_assistants、教师、管理员。 学生、teaching_assistants和教师是带有字段id、student_level和name的结构数组。 例如，下面是DataFrame中的一个示例行。 ? 学生、teaching_assistants和教师结构都有相同的模式("id“、"student_level”、"name")，而管理
浏览 22提问于2020-10-06得票数 3
回答已采纳
我已经创建了一个空的dataframe，并开始添加它，通过读取每个文件。但其中一个文件的列数比前一个文件多。如何仅为所有其他文件选择第一个文件中的列？
from pyspark.sql import SparkSession
from pyspark.sql import SQLContext
from pyspark.sql.types import StructType
import os, glob
spark = SparkSession.builder.\
config("spark.jars.packages","saurf
浏览 1提问于2019-09-06得票数 3
回答已采纳
我正在使用pandasUDF将标准的ML python库应用于pyspark DataFrame。在定义了模式并进行了预测之后，我得到了pyspark DF作为输出。现在，我想用这个预测数据帧做一些事情，例如，我尝试对列"weekly_forecast_1“中的所有值进行求和。当我应用.collect()或.toPandas()方法时，在.fit()中得到以下错误 IndexError: too many indices for array:array is 0-dimensional, but 1 were indexed 每当我尝试将.collect()或.toPandas()方
浏览 33提问于2020-11-24得票数 0
1回答
我正在使用spark版本2.3，并试图将spark中的蜂巢表读取为：
from pyspark.sql import SparkSession
from pyspark.sql.functions import *
df = spark.table("emp.emptable")
在这里，我添加了一个新列，其中包含了从system到现有的dataframe的当前日期
import pyspark.sql.functions as F
newdf = df.withColumn('LOAD_DATE', F.current_date())
现在面临一个问题，当我试
浏览 0提问于2018-12-06得票数 2
回答已采纳
1回答
我在pyspark中有一个dataframe，df有一个数组字符串类型的列，所以我需要生成一个包含列表头部的新列，还需要包含尾列表连接的其他列。 这是我的原始数据帧： pyspark> df.show()
+---+------------+
| id| lst_col|
+---+------------+
| 1|[a, b, c, d]|
+---+------------+
pyspark> df.printSchema()
root
|-- id: integer (nullable = false)
|-- lst_col: array (nulla
浏览 29提问于2020-01-24得票数 0
回答已采纳
下面是创建pyspark.sql DataFrame的代码
import numpy as np
import pandas as pd
from pyspark import SparkContext
from pyspark.sql import SQLContext
df = pd.DataFrame(np.array([[1,2,3],[4,5,6],[7,8,9],[10,11,12]]), columns=['a','b','c'])
sparkdf = sqlContext.createDataFrame(df, samplingR
浏览 0提问于2015-08-11得票数 6
我试图使用一个简单的数据集来运行Logistic回归，以理解pyspark的语法。我有数据，看上去有11列，其中前10列是特性，最后一列(第11列)是标签。我想传递这10列作为特征和第11列作为标签。但是我只知道作为一个列传递，使用featuresCol="col_header_name"作为一个特性传递，我使用熊猫读取了csv文件中的数据，但我已经将其转换为RDD。以下是代码：
from pyspark.ml.classification import LogisticRegression
from pyspark.sql import SQLContext
from pys
浏览 0提问于2019-02-19得票数 3
回答已采纳
我有一个pyspark dataframe A，它有3列：
Lat lon zip
-69 40 trp
-69 41 nxt
我有另一个pyspark dataframe B，它具有相同的列，但捕获的值将不同：
Lat lon zip
-68 43 trp
-89 45 trp
我希望根据dataframe B中匹配的邮政编码为A的每个记录创建纬度经度对。
因此，输出RDD对将如下所示：
(([-69,40],[-68,43]),
([-69,40],[-89,45]))
我可以在没有循环的情况下做到这一点吗？我试图复制这里使用的.map：
不成功
浏览 2提问于2017-11-16得票数 0
我在我的星火DataFrame上有一篇专栏：
|-- topics_A: array (nullable = true)
| |-- element: string (containsNull = true)
我正在使用CountVectorizer：
topic_vectorizer_A = CountVectorizer(inputCol="topics_A", outputCol="topics_vec_A")
我得到了NullPointerExceptions，因为有时topic_A列包含null。
有办法绕道吗？用零长度数组填充它可以正常工作
浏览 5提问于2016-11-01得票数 4
回答已采纳
我有一个带有一些列的pyspark数据格式。我想为dataframe的每一列计算每个单词的出现情况。我可以使用group查询来计数单词，但我需要弄清楚如何仅使用一个查询来获取每个列的这个细节。我附上了一个样本数据框架，以供参考和预期输出。
下面是我用来获取计数的查询，但它只适用于特定的列: DF.groupBy('ColumnName').count()
我很感谢你对此的投入。
示例输入数据格式：
预期输出：
浏览 2提问于2022-11-22得票数 0
2回答
IPYNB 我有如图所示的Dataframe user_recommended。recommendations列是如下所示的PySpark RDD： In[10]: user_recommended.recommendations[0]
Out[10]: [Row(item=0, rating=0.005226806737482548),
Row(item=23, rating=0.0044402251951396465),
Row(item=4, rating=0.004139747936278582)] 我想把Python转换成recommendati
浏览 24提问于2019-03-12得票数 0
我对火种很陌生
希望从由Row创建的DataFrame中访问列。
请参阅下面我的.py文件中的代码
它抛出错误AttributeError：'DataFrame‘对象没有属性'product’
import findspark
findspark.init("/opt/spark")
from pyspark.sql import SparkSession
from pyspark.sql import Row
from pyspark.sql import SQLContext
productRevenue = Row("product
浏览 2提问于2020-04-13得票数 0
回答已采纳
1回答
如何将数据帧中的列转换为字符串？
、、、、
我使用了转换为json的api，使用pandas进行了标准化，并使用pyspark转换为dataframe。 但是我不能改变列，无论是表单还是任何东西，我不能选择它们。 我想知道我哪里错了！ import requests
import json
import pandas as pd
import pyspark.sql.functions as F
import os
from pyspark.sql.types import DoubleType
from pyspark.sql import types
base_url = "https://api.talkwalk
浏览 6提问于2020-12-11得票数 0
回答已采纳
我有一个电火花数据，我想删除任何一行至少有一个NA。
我知道如何只对一列(下面的代码)这样做。
如何对dataframe的所有列执行相同的操作？
可复制示例
# Import modules
from pyspark.sql import SparkSession
from pyspark import SparkContext
from pyspark.sql.functions import col
from pyspark.sql import Row
# Defining SparkContext
SparkContext.getOrCreate()
# Defining Spa
浏览 14提问于2022-10-05得票数 1
回答已采纳
有一系列数值变量的pyspark数据帧。 例如 我的dataframe有一个从1到100的列值。 1-10 - group1<== 1到10的列值应包含group1作为值11-20 - group2。。。91-100 group10 如何使用pyspark dataframe实现这一点？
浏览 15提问于2019-04-10得票数 1
回答已采纳
1回答
在我的dataframe中，我需要将数组数据类型列转换为struct。我可以用一个数据样本(通过在编辑器中修改)手动完成这一操作，这就是我需要的数据。我需要用PySpark来做。
输入数据格式：
root
|-- id: string (nullable = true)
|-- description: string (nullable = true)
|-- documents: array (nullable = true)
| |-- element: struct (containsNull = true)
| | |-- id: string (nulla
浏览 10提问于2022-10-19得票数 1
1回答
在Databricks中，使用PySpark，我正在处理一个具有以下列的DataFrame，其中每一行都是一个具有多个字典的列表：
我想打开/平放这一列，以便为每个字典值都有一个单独的列。但是，问题是该列的数据类型是字符串。我怎样才能打开这个专栏？
作为参考，下面是一个值的示例：
[{“long_name”：“索非亚”、“short_name”、“索非亚”、“类型”：“地点”、“政治”}、{“long_name”：“索菲亚市省”、“short_name”、“索菲亚城市省”、“类型”：“administrative_area_level_1”、“政治”}、{“long_name
浏览 3提问于2022-09-20得票数 1
我想在PySpark中进行分组，但是这个值可以出现在多个列中，所以如果它出现在所选列中的任何一列中，那么它将被分组。
例如，如果我将这个表放在Pyspark中：
我想总结一下每个身份证的访问和投资，结果是：
请注意，ID1是前三列中有ID1的行0、1、3的总和，ID1访问= 500 + 100 + 200 = 800。ID2是行1、2等的总和。
为了简单起见，我的例子是一个简单的dataframe，但在实际中是一个大得多的df，有很多行和变量，还有其他操作，而不仅仅是"sum“。这对熊猫来说是不可能的，因为它太大了。应该在PySpark
OBS2:我用熊猫打印了表格
浏览 4提问于2019-09-20得票数 1
回答已采纳
我正在尝试从pyspark中的dataframe中查找重复的列值。
例如，我有一个只有一个列'A‘的dataframe，值如下：
==
A
==
1
1
2
3
4
5
5
我期望如下所示的输出(只需要重复的值)
==
A
==
1
5
浏览 0提问于2019-08-27得票数 4
我试图使用pyspark.pandas API在数据库上构造数据的共生矩阵。
我试着用这个方法构造矩阵。
该代码在熊猫中运行良好，但在使用pyspark.pandas时出现了错误。
coocc = psdf.T.dot(psdf)
coocc
我得到了这个错误
TypeError: Unsupported type DataFrame
我查过医生了。
pyspark.pandas.DataFrame.dot()
以串联作为输入。
我尝试使用psdf.squeeze()将dataframe转换为系列化，但它并不将dataframe转换为串联，因为我的dataframe有多个列。
有没有办法将py
浏览 8提问于2022-10-14得票数 0
回答已采纳
如果我有一个包含arrays的Spark，我可以通过DataFrame在这些数组上使用Python List方法吗？如何将Spark DataFrame array<double>转换为Python列表？
下面是一个示例，其中包含一些UDF。我不确定为什么使用最大值可以，但是使用len就不行了。最后，我想用原始数组列中的采样值创建一个新列。这也会得到一个关于期望两个参数的错误，如果你能帮助的话也会得到加分！
我有以下Spark DataFrame
from pyspark.sql.functions import udf
from pyspark.sql import Row
fr
浏览 1提问于2016-10-28得票数 4
回答已采纳
我有一个pyspark.sql.dataframe.DataFrame，其中一个列有一个Row对象数组：
+------------------------------------------------------------------------------------------------+
|column |
+----------------------------------------------------
浏览 1提问于2019-12-17得票数 0
1回答
我有一个DataFrame字段，它是一个Seq[Seq[String]]，我构建了一个UDF来将所述列转换为SeqString列；基本上，是用于Scala中的flatten函数的UDF。
def combineSentences(inCol: String, outCol: String): DataFrame => DataFrame = {
def flatfunc(seqOfSeq: Seq[Seq[String]]): Seq[String] = seqOfSeq match {
case null => Seq.empty[String]
浏览 0提问于2019-01-19得票数 1
回答已采纳
我有2个数据，其中一个由1列整数组成，第2列由3列(integer_start、integer_end、have )组成。
dataframes及其列
dataframe1 -> integer
dataframe2 -> integer_start, integer_end, animal
因此，我想要做的是加入这两个数据格式，这样如果
dataframe1.integer is in between dataframe2.integer_start and dataframe2.integer_end
取出dataframe1.整数和相应的dataframe2。动物，并放入一
浏览 3提问于2020-01-06得票数 1
2回答
我有一个pyspark dataframe，其中一些列具有相同的名称。我想将具有相同名称的所有列合并到一列中。例如，输入dataframe： ? 我如何在pyspark中做到这一点？任何帮助都将不胜感激。
浏览 57提问于2021-06-18得票数 2
回答已采纳
我有两个清单
List1=['curentColumnName1','curentColumnName2','currentColumnName3']
List2=['newColumnName1','newColumnName2','newColumnName3']
它们是包含所有列的dataframe df。
我想要检查是否在dataframe中存在列'curentColumnName1，如果是，那么将其重命名为newColumnName1，如果所有列都存在于dataframe中，则需要
浏览 1提问于2022-08-18得票数 0
我有一个PYSPARK数据格式df，其值为“纬度”和“经度”：
+---------+---------+
| latitude|longitude|
+---------+---------+
|51.822872| 4.905615|
|51.819645| 4.961687|
| 51.81964| 4.961713|
| 51.82256| 4.911187|
|51.819263| 4.904488|
+---------+---------+
我想从dataframe列中获取UTM坐标('x‘和'y')。为此，我需要将‘经度’和‘纬度’的值从pyproj输入
浏览 2提问于2020-05-26得票数 1
回答已采纳
相关问题：
因此，我有一个pyspark dataframe，我想删除所有行中所有值都相同的列，同时保持其他列的完整性。
然而，上述问题的答案仅适用于熊猫。有没有针对pyspark数据帧的解决方案？
谢谢
浏览 1提问于2018-12-17得票数 4
1回答
我有一个PySpark数据帧，它有一个复杂的列，请参考下列值：
ID value
1 [{"label":"animal","value":"cat"},{"label":null,"value":"George"}]
我想在PySpark dataframe中添加一个新列，它基本上将它转换为一个字符串列表。如果Label为null，则字符串应包含value；如果label不为null，则string应为label:value。因此，对于上面的示例数据帧，输出应如下所示：
ID
浏览 0提问于2021-02-09得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
