1回答
假设我在pyspark数据帧中有以下数据结构： arr1:array string1:string element:string
string2: string 如何从我的数据帧中删除arr2？
浏览 8提问于2019-10-15得票数 0
1回答
有一个有10列的表。其中一种列类型是struct，假设列名是xyz。xyz包含元素数组。 例如，xyz列包含a:值1，b:值2，c:值3...现在我想从这个数组中删除c元素。 我该怎么做呢？这段代码需要在pyspark/python中完成。
浏览 12提问于2021-09-22得票数 1
我将一个df从pyspark导出到BigQuery。df包含包含数组元素的列，如何将数组转换为连接字符串？每当我尝试查询导出的BigQuery表的数组列时，都会得到以下错误。Error: Cannot access field element on a value with type ARRAY<STRUCT<element STRING>> +----
浏览 48提问于2020-06-03得票数 2
1回答
我有一个PySpark Dataframe，它包含一个ArrayType(StringType())列。此列包含需要删除的数组中的重复字符串。arraycol_without_dupes", F.remove_dupes_from_array("arraycol"))
我的直觉是，这有一个简单的解决方案，但是在浏览堆栈溢出15分钟之后，我没有发现比爆炸列、删除完整数据帧上的重复项、然后再分组更好的方法了。
浏览 1提问于2019-01-14得票数 2
回答已采纳
2回答
我有一个pyspark数据帧：----------------------------------------------------------------------------------------
在matricule数组中我想删除"AZ"字符串，然后删除
浏览 28提问于2020-02-26得票数 2
回答已采纳
我有一个Pyspark.sql.dataframe，它有两个数组列，其中包含String。两个列数组的长度都不一致，有些行也有空项。我需要比较这两列，并且必须删除B列中的每一行的一个数组元素，当它在列覆盖中的数组中找到时。null| null|+-----
浏览 5提问于2020-01-30得票数 1
回答已采纳
我想从dataframe (pyspark)中的数组(在array列中)中删除一个数组。import pyspark.sql.functions as F
from pyspark.sql.types import StructType, StructField, StringType,不太确定如何定义要删除的元素。谢谢!
浏览 18提问于2020-02-05得票数 1
回答已采纳
2回答
在中过滤数组
、、、、
火花版本: 2.3.0['apple', 'banana', 'orange']['apple', 'pineapple', 'grapes']
我想要过滤每个数组中包含&
浏览 3提问于2021-10-01得票数 1
回答已采纳
1回答
我有一个心理公园数据框架，它有字符串，整型和数组类型的列。我尝试对所有列运行for循环，以检查它们是否为任何数组类型的列，并将其转换为字符串。然后，pyspark数据框中的输出应该包含int、string列。 下面的代码将只返回从数组转换为字符串的列。如何包含else语句以从dataframe中获取不是数组类型的剩余列。
浏览 20提问于2021-04-11得票数 0
回答已采纳
|-- Arr_of_Str: array (nullable = true)
|-- element: string (containsNull = true) 如何将字符串转换为字符串数组
浏览 45提问于2019-12-12得票数 2
回答已采纳
我有一个包含两列(A、B，其类型为double)的PySpark数据帧，其值为0.0或1.0。我正在尝试添加一个新列，它是这两个列的总和。我遵循了中的示例from pyspark.sql.types import IntegerType, StringTypesum_cols = F.udf(lambda x: x, Intege
浏览 2提问于2018-09-26得票数 4
我尝试向df添加一个包含字符串数组的空数组的列，但最终添加了一个字符串数组的列。我试过这个： import pyspark.sql.functions as F
df = df.withColumn('newCol', F.array([])) 我如何在pyspark中做到这一点？
浏览 91提问于2019-08-28得票数 9
回答已采纳
我已经从np.select获得了一个numpy数组，我希望将其存储为PySpark DataFrame中的一个新列。我怎么能这么做？from pyspark.sql import SparkSession我使用np.select的一些条件和选择如下
np.select(conditions, choices, d
浏览 6提问于2022-05-25得票数 1
我试图使用Glue和pySpark在AWS上执行ETL工作，但不幸的是，我对此非常陌生。
在大多数情况下，我没有任何问题，使用胶水动态数据，以执行应用程序和一些其他的转换，我必须执行。但是，我面临一个特定列的问题，必须将其从字符串转换为整数数组。在这个列value中，我们将数据类型设置为string，它实际上是一个转换为string并由空格分隔的整数数组，例如，value列中的数据条目看起来类似于'111 222 333 4
浏览 5提问于2020-04-20得票数 2
回答已采纳
我有一个包含三列的PySpark数据格式。前两列以数组作为它们的元素，而最后一列给出最后一列的数组长度。以下是PySpark数据文件：| c1|2017-01-16 00:00:00]| []| 0|
+---------------------+------------
浏览 3提问于2019-12-07得票数 1
回答已采纳
数组类型列的第n项可以使用getitem(n)检索.地图类型的列可以使用getItem(key)或'column.key'分开。数组有类似的语法吗？上下文:目标是以可读的方式从大规模嵌套的json中获取特定字段。from pyspark import SparkContext
sc = SparkContext.getOrCreate(
浏览 4提问于2020-10-09得票数 0
回答已采纳
我有一个包含三列的PySpark dataframe (df)。startTimeArray：它是一个数组，包含按升序排列的时间戳。在列startTimeArray (和endTimeArray列)中，数组的长度可能不同。在列startTimeArray中，我希望确保数组中的连续元素(连续索引中的元素)之间的差值至少为三天。如果startTimeAr
浏览 3提问于2019-12-09得票数 2
回答已采纳
1回答
我有一个PySpark数据，其中第二列是一个列表列表。下面是我拥有的PySpark数据文件：|A |B ||b |[[95.0], [12.0, 88.0]] |在本例中，我尝试扁平数组(在第二列
浏览 6提问于2020-02-08得票数 0
回答已采纳
我们在中有一个函数typedLit来添加数组或映射作为列值。|b |seq ||1 |0 |[1, 2, 3]|+---+---+---------+
我在PySpark中找不到等同的东西。如何在PySpark中创建一个以数组作为列值的列？
浏览 1提问于2020-05-31得票数 7
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
