我尝试在PySpark中复制这个问题的解决方案(Spark < 2.3，所以没有map_keys)：下面的是我的代码(与上面链接的问题的df相同)：
import pyspark.sql.functions
浏览 44提问于2020-05-20得票数 0
回答已采纳
当在循环中重复相同的数据时，就会发生堆栈溢出错误。数据量仅为40k记录。在单节点14 is /28 is时，尝试使用集群大小。FT/RT,Country,Charge_Type,Tariff_Loc,Charge_No,Status,Validity_from,Validity_to,Range_Basis,Limited_Parties,Charge_Detail,Freetime_Unit,Freetime,Count_Holidays,Majeure,Start_Event,Same/Next_Day,Next_Day_if_AFTER,Availability_Date,
浏览 8提问于2022-06-07得票数 0
我需要将JSON的列表转换为pySpark DataFrames。JSON都有相同的架构。问题是JSON中dicts的值条目有不同的数据类型。例如:字段complex是一个Dicts数组，Dict有四个键，但类型不同(整数、字符串、浮点数和嵌套Dict)。参见下面的示例JSON。如果我使用df = spark.createDataFrame(json_list)从jsons中创建我的DataFrame，因为他无法正确地推断模式，所以pyspark“删除
浏览 23提问于2022-03-28得票数 0
回答已采纳
所以我有这个流数据，我试图把这个'customer_ids‘列转换成一个简单的字符串。schema = StructType()\ .add("date"如何将这种流DataFrame列或任何其他方式转换为groupBy此列？
浏览 0提问于2017-12-13得票数 1
我有一个拼图文件中的数据，其中有2个字段：object_id: String和alpha: Map<>。|-- key: string我正在使用Spark2.0，并尝试创建一个新的数据框，其中的列需要是object_id加上object_id, key1, key2, key2, ...中的ALPHA映射的键scala> alphaDF.m
浏览 2提问于2016-11-15得票数 18
回答已采纳
{"name": "sarah", "profession": "scientist"}, "ghi": {"name": "matt", "profession": "doctor"}}然后展开成
浏览 2提问于2018-05-14得票数 4
我有一个，其中一列是is列表。例如，我想获取其中包含特定ID的行数。但是，要使用映射，我需要使用自定义udf而不是内置(scala)函数array_contains进行筛选。有了MapType，我可以做到：
from pyspark.sql.types import Boolea
浏览 1提问于2018-10-30得票数 2
回答已采纳
1回答
我试图修改Map类型的Dataframe列，其值依次为Struct类型： |-- name: string (nullable = true)from pyspark.sql import SparkSession, DataFramefrom pyspark.sql.types import StructType, String
浏览 3提问于2021-01-04得票数 3
回答已采纳
1回答
我在数据帧Usage_Service_Union中有以下值。map (nullable = true) | |-- value: string (valueContainsNull = true)** ").show(truncate=False)Usage_Service_Union.registerTempTabl
浏览 7提问于2021-06-01得票数 0
我尝试了下面的代码，但它不起作用：给出错误：NameError: name 'typedLit' is not defined
浏览 15提问于2022-06-23得票数 2
回答已采纳
1回答
我有一个带有一个DataFrame列的MapType，并希望按键的名称将其分解到所有的列中。%s'%item for item in ['a','b']]).show()
但我想删除键依赖项。如果我们有一个StrucType列，这可以很容易地通过执行display(nested_df.select('*', 'nested_array.*'))来实现。|-- nested_field1: long
浏览 0提问于2018-10-11得票数 6
回答已采纳
1回答
我正在尝试获取列的键和值，其中有些行为json，而另一些行为string/None。我希望将每个json键和它的值分别叠加到新的不同列中。Json可以是嵌套类型和i don't know the schema of json rows beforehand (like how many keys are/ how nested it is|
+-----+-----+----------
浏览 1提问于2021-10-16得票数 0
回答已采纳
1回答
如何在中创建嵌套的二元组
、、、、
小队，我需要你的帮助我处理了一个CSV值文件，并传递给map函数来创建一个嵌套的字典结构。当我处理地图函数中的数据时..。嵌套字典的值以字符串的形式返回。我需要嵌套的字典作为dict。它转换为String的原因是..默认情况下，火花中的MapType处理Map(StringType, StringType, True)Row(id=207224, id1=118392271480
浏览 7提问于2020-01-05得票数 1
回答已采纳
我正在尝试以嵌套的方式在拼图中存储我的数据，并使用映射类型列将复杂的对象存储为值。如果有人能告诉我过滤器下推是否适用于列或not.For的映射类型，下面的示例是我的sql查询-measureMap是一个映射，关键字作为字符串，值
浏览 2提问于2016-06-21得票数 6
我有一个模式，它有1000个字段，每个字段都有自己的名称和类型。现在，当我创建一个RDD低谷ES-Hadoop连接器，然后通过指定模式转换为DataFrame时，它失败了-
我想用Parquet格式
浏览 0提问于2019-03-11得票数 2
1回答
在Postgres中，我有一个名为"mytable“的表，其中有两个列，id (bigint)和value (varchar(255))。id使用nextval('my_sequence')从序列中获取其值。PySpark应用程序接受一个dataframe并使用postgresql(PostgreSQL42.1.4.jar)将数据插入到"mytable“中。下面是我目前如何编写从</em
浏览 0提问于2018-01-21得票数 2
回答已采纳
我正在尝试从pyspark dataframe中获取空值的行。在pandas中，我可以在数据帧上使用isnull()来实现这一点：但在PySpark的情况下，当我运行以下命令时，它显示Attributeerror如何在不对每一列进行检查的情况下获取具有空值的行？
浏览 25提问于2018-11-27得票数 5
2回答
我一直在尝试从列表中提取列，但无法想象如何做到这一点。我对spark来说还是个新手。在Spark 2.4.3上运行pyspark。[[ "a", 0, null, "{ }"], [ "c", 0, null, "{ }"],
] } 我想把'data‘部分放到列中我的粗略形状是70列乘650k
浏览 53提问于2020-12-18得票数 1
回答已采纳
我正在尝试创建一个StructType模式，以传递给JSON，以便解析存储为JSON的列。JSON数据包含一个Map，它有字符串键和struct类型的值，但是每个结构的模式取决于键。考虑一下这个JSON示例，其中"data“列是一个带有值name和address的映射，每个值的模式是不同的： "data": { "first&q
浏览 5提问于2021-05-12得票数 2
这就是我如何在pyspark中创建具有原始数据类型的数据 for i in range(3)]现在，如果我想有第三列的字典数据3.0, "2": 3.0, "3": 3.0}|
+---
浏览 2提问于2020-05-31得票数 5
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
