我正在尝试为我的新DataFrame创建一个模式，并尝试了各种括号和关键字的组合，但无法弄清楚如何实现这一点。我现在的尝试是： StructField("User", IntegerType()),ArrayType(StructType([
StructField("user", StringType()),
浏览 1提问于2018-01-23得票数 14
100,200,300))]
df1 = spark.createDataFrame(([x[0],*x[1]] for x in sdata), schema
浏览 8提问于2022-12-03得票数 0
回答已采纳
我尝试向df添加一个包含字符串数组的空数组的列，但最终添加了一个字符串数组的列。我试过这个： import pyspark.sql.functions as F
df = df.withColumn('newCol', F.array([])) 我如何在pyspark中做到这一点？
浏览 91提问于2019-08-28得票数 9
回答已采纳
2回答
我在没有指定模式的情况下将这个json加载到Spark： "titles": { { } }df.printSchema()的结果是 |-- titles: struct (nullable = true) | | |--|-- S: string (nullable = true)
我试图将这个js
浏览 3提问于2022-10-23得票数 0
回答已采纳
我在Python语言中有一个函数(有许多不同的函数，但情况相同)，我正在将它转换为PySpark，然而，这个函数有一个不同整数类型的列表作为输入，有一个输出是一个列表，其中包含n个整数类型的列表，举个例子pyspark.sql.types import StructType, StructField, IntegerType, FloatType, StringType, ArrayType
frompyspark_my_function = udf(my_functi
浏览 55提问于2021-09-19得票数 0
1回答
这是我的数据| core_id| movie_genres_upd|这些是我的数据类型：我将提供一个更明显的例子以下是最初的数据
浏览 3提问于2020-05-26得票数 0
回答已采纳
1回答
多态JSON的火花处理
、、、
考虑到这个JSON输入(为可读性以多行形式显示，但实际的输入文档是一行CR分隔的)： "common": { "type":"A", "date":"2020-01-01T12:00:00" }data": { "favoriteIn
浏览 3提问于2021-04-23得票数 0
回答已采纳
2回答
我有以下类型的数据：|34d| 6| 111 |
存在一个json列表，它们可能共享公共密钥，但我想从同样具有key2的json中提取key1的值。在pyspark中，我看到了基于固定模式的解决方案()，但在没有固定模式的
浏览 0提问于2020-06-22得票数 1
我有一个带有行数组的Dataframe，我想要创建一个新的dataframe，它包含内部结构的一个特定支柱之间的组合。不知道该怎么做。我发现的所有例子都使用了一个简单的数字数组。
浏览 9提问于2022-05-10得票数 -1
1回答
我有一个包含一个列的 table root我的问题是如何将该列转换为数组数组:T.ArrayType(T.ArrayType
浏览 4提问于2020-07-28得票数 0
我有一个关于dataframes和添加应该包含嵌套列表的列的基本问题。', 'o'], ['hallo', 'ti']]], 为了从这个输出中创建一个新的Dataframe，我尝试创
浏览 0提问于2017-06-27得票数 0
回答已采纳
我正在尝试使用下面的嵌套模式手动创建一个pyspark dataframe - StructField('fields', ArrayType(StructType([ StructField('sourceids', ArrayType(IntegerType(StringType())
浏览 2提问于2020-04-23得票数 0
回答已采纳
1回答
我正在尝试创建一些样本数据框来对一些函数进行测试，我经常获得带有嵌套对象(数组或更多的JSON对象)的JSON对象，我需要测试不同类型的对象，即Struct和Array，并根据它们的类型将它们传递给正确的函数以创建表格数据帧这些对象来自API，一些是内部的，一些是外部的，所以我受应用程序开发人员的摆布。，我需要创建一个模式，如下所示：
from pyspark.sql.types
浏览 15提问于2021-02-23得票数 0
回答已采纳
2回答
我希望通过python3从中的json列中提取数据。我需要一个数据文件，比如： 2010 05 rchsc yes 12.56 red from pyspark.sql.functionsimport from_json, col
schema =StructFiel
浏览 6提问于2020-07-27得票数 3
回答已采纳
我使用的是PySpark，我想做的事情如下： {'id': 2, 'name': 'd', 'score': 300},df = spark.createDataFrame(dicts)
from pyspark.sq
浏览 2提问于2017-10-30得票数 1
1回答
nullable = true) |-- interest_rate: string (nullable = true) 我需要创建其他DataFrame来创建包含列的数组。payments ARRAY<STRUCT<id: INT, payment_date: STRING, method: STRING, amount: DOUBLE>> 我的DataFrame期末考试应该是
浏览 4提问于2020-04-13得票数 0
云服务器
ICP备案
对象存储
云直播
腾讯会议
腾讯云开发者
