1回答
删除pyspark中的嵌套列
、、、、
我有一个包含一列结果的pyspark数据帧。在结果列中，我想删除列"Attributes“。dataframe的模式是：(在结果中有更多的列，但为了方便起见，我没有显示它们，因为模式很大) |-- results: struct (nullable = true) | | | | | | |
浏览 20提问于2020-06-15得票数 0
回答已采纳
6回答
我正在尝试使用PySpark从中的结构中删除一些嵌套列。
我为Scala找到了这个，它似乎正是我想做的，但我不熟悉Scala，也不知道如何用Python编写它。
浏览 8提问于2017-07-12得票数 10
回答已采纳
1回答
我有一个Pyspark数据文件，看起来像这样：我希望提取"dic“列中的嵌套字典，并将它们转换为PySpark数据格式。如下所示：请告诉我如何做到这一点。
谢谢!
浏览 2提问于2020-07-20得票数 2
如何在Pyspark中更改嵌套列的数据类型？例如，如何将value的数据类型从string更改为int？
浏览 19提问于2017-08-23得票数 1
回答已采纳
1回答
我希望将存储在pyspark.sql.dataframe.DataFrame "ddf“中的事务按列"key”分组，该列指示事务的来源(在本例中为customer )。分组是一个非常昂贵的过程，因此我想在嵌套模式中将组写入磁盘：
(key, [[c1, c2, c3,...], ...])这将允许我快速加载密钥上的所有事务，并在不重新运行分组的情况下开发复杂的自
浏览 6提问于2016-05-14得票数 0
回答已采纳
数组类型列的第n项可以使用getitem(n)检索.地图类型的列可以使用getItem(key)或'column.key'分开。数组有类似的语法吗？上下文:目标是以可读的方式从大规模嵌套的json中获取特定字段。from pyspark import SparkContext
sc = SparkContext.getOr
浏览 4提问于2020-10-09得票数 0
回答已采纳
当该行上的列值为零时，我想从行中删除该列。我不想从Dataframe中删除该列。仅当列值为零时，我才从该特定行中删除该列。我用的是Pyspark。
浏览 19提问于2020-04-09得票数 0
我知道PySpark DataFrames是不可变的，所以我想创建一个新列，该列是根据应用到PySpark DataFrame的现有列的转换生成的。我的数据太大了，无法使用collect()。该列是唯一int列表(在给定列表中不重复int)，例如：[1,2][2,3]
上面是一个玩具例子，因为我的实际DataFrame有一个最大长度为5
浏览 9提问于2017-01-12得票数 1
回答已采纳
我有一个Pyspark数据框架，看起来像这样： ? 我想提取"dic“列中的那些嵌套字典，并将它们转换为PySpark数据帧。如下所示： ? 另外，每一行中的键也会有一些变化，例如，一些行可能有其他行没有的字段。我希望包括所有字段，如果一条记录没有某些字段/keys，则该值可以显示为"null“。 请告诉我如何才能做到这一点。 谢谢!
浏览 22提问于2020-07-22得票数 0
我在我的pyspark上使用pyspark.ml.feature.StopWordsRemover类。它有ID和文本列。除了提供默认的停止词列表外，我还想添加自己的自定义列表，以从字符串中删除所有数值。from py
浏览 0提问于2017-04-26得票数 9
回答已采纳
1回答
我有一个嵌套的JSON字典，我需要将其转换为spark dataframe。此JSON字典显示在数据框列中。我一直在尝试使用"from_json“和"get_json_object”来解析dataframe列中存在的字典，但一直无法读取数据。以下是我一直在尝试读取的源数据的最小片段： {"value": "\u0000\u0000\u0000\u0000/{\"co
浏览 36提问于2021-04-01得票数 1
回答已采纳
我正在尝试从嵌套的JSON (具有动态模式)中提取某些参数，并使用pyspark生成火花数据。我的代码非常适合于第1级(key:value)，但对于作为嵌套JSON一部分的每一对(key:value)都无法获得独立的列。注意-这不是确切的模式。它只是给出了模式的嵌套性质的概念。数据)
嵌套retweet_status JSON下的</e
浏览 2提问于2019-04-28得票数 0
回答已采纳
我在使用这段代码删除带有pyspark的嵌套列时出现了这个错误。为什么这不管用？我正试着用一个斜面代替一个错误，但它也没用。那么在这种情况下你是做什么的？
浏览 1提问于2020-04-10得票数 0
回答已采纳
我有一个只有一条记录的pyspark数据帧。它包含一个id字段和一个"value“字段。value字段包含嵌套的语句，如下面的inputdf所示。我想创建一个新的数据帧，如下面的outputdf所示，其中type列是inputdf中value字段中嵌套dict的键，value和active列包含嵌套dict中的相应值。有没有人有一个巧妙
浏览 0提问于2020-08-08得票数 1
我有一个pyspark dataframe，其中一些列包含字符串数组(其中一列包含嵌套数组)。因此，我无法将数据帧写入csv。下面是我正在处理的数据帧的一个示例- |ID | emailed| clicked| Null +-------+----------------
浏览 2提问于2017-09-11得票数 5
回答已采纳
1回答
我已经使用S3数据格式在pyspark.pandas中读取和存储了拼花文件。现在，在第二阶段，我试图在databricks中读取pyspark dataframe中的parquet文件，并面临将嵌套的json列转换为适当列的问题。首先，我使用以下命令从S3读取拼图数据：我的<
浏览 8提问于2022-06-07得票数 0
1回答
Parquet文件的文档表明它可以存储/处理嵌套数据类型。然而，我找不到更多关于最佳做法/陷阱/.的信息。将这些嵌套数据类型存储到Parquet时。我正在考虑以下情况：
I使用PySpark (Spark3.3)将我的星火DataFrame存储到一个Delta文件(该文件在罩下使用Parquet文件)。DataFrame DataFrame有一个嵌套的数据类型( StructType )列，还有许多(10
浏览 2提问于2022-11-11得票数 1
我在Azure技术上工作，想要读取json文件，它超过3 3GB，并且在嵌套元素中有重复的列。我试过pyspark，数据流，pipeines。但不走运。你能建议我使用哪种技术吗？
浏览 34提问于2021-11-18得票数 0
1回答
我目前正在处理一些相当复杂的json文件，我应该将它们转换并写入增量表。问题是，当涉及到列的数据类型时，每个文件都有细微的差异。有人能给我解释一下检索嵌套结构列的数据类型的一般方法吗？在互联网上，我只能找到如何对它们做选择：https://sparkbyexamples.com/pyspark/pyspark-select-nested-struct-columns/
浏览 42提问于2021-10-22得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
