2回答
"id": { "1": "00002", } StructField("name",StringType(),True),
浏览 30提问于2021-07-19得票数 1
1回答
如何将Vectors.dense列添加到pyspark中？import DenseVector
sqlCtx = SQLContext(sc)
sdf = sqlCtx.createDataFrame(
浏览 1提问于2018-04-14得票数 1
回答已采纳
1回答
我需要将大约20个PySpark表转换为Pandas (应用使用Pandas构建的一些变量统计函数)。基本上，我有我想要的翻译PySpark<=>Pandas类型。我知道如何检索PySpark类型。但我不知道如何将PySpark类型转换为可用的字典。print(
浏览 16提问于2022-06-10得票数 0
回答已采纳
我有一个包含一行和两个日期字段的dataframe，分别为createddate和enddate 如何根据这两个日期字段获得包含2行的新数据帧 我已经有了一个数据帧，它看起来像 +----------abcdsdfdlsjdlfkdjfld 2017-09-15 null
abcdsdfdlsjdlfkdjfld 2017-12-01 null 基本上，我的第一行应该来自createddate列，第二行应该来自结束日期的下一个日期。我还想填充enddate列</
浏览 7提问于2019-10-18得票数 0
我正在尝试理解DataFrame列类型。当然，DataFrame不是一个物化的对象，它只是一组Spark的指令，将来要转换成代码。但我认为，这个类型列表代表了在执行操作时JVM中可能出现的对象类型。(data)d['old_SparseVector'] = pyspark.mllib.linalg.SparseV
浏览 1提问于2016-07-31得票数 7
回答已采纳
] print(df)Courses Fee Duration Discount
0 Spark 22000 30days
浏览 6提问于2022-06-28得票数 -2
回答已采纳
我有一个pyspark数据帧，包含两个日期参数和几个其他参数。|| 3 | 2019-06-01|2019-05-01| 324 |
我希望将这两个日期列合并到一个新列中，以便为每个条目复制行。我还希望使用将日期添加到新列的条件，如date1、<=、given_date & date2、<=、given_date等。从堆栈溢出的中，我可以找到关于将列</
浏览 13提问于2019-11-19得票数 0
1回答
我想要一种安全的方法，把熊猫的数据转换成火花放电数据，它可以处理熊猫数据为空的情况(比如在应用了某种过滤器之后)。例如，以下内容将失败：import pandas as pdcols = ['col_1', 'col_2', 'col_3']spark_df = spark.createDataframe(pandas_df</e
浏览 17提问于2022-08-16得票数 1
1回答
我有一个心理公园数据框架，它有字符串，整型和数组类型的列。我尝试对所有列运行for循环，以检查它们是否为任何数组类型的列，并将其转换为字符串。然后，pyspark数据框中的输出应该包含int、string列。 下面的代码将只返回从数组转换为字符串的列。如何包含else语句以从dataframe中获取不是数组类型的剩余列。dfstring = df.select([(F.col(c)
浏览 20提问于2021-04-11得票数 0
回答已采纳
2回答
电火花数据爆炸串柱
、、、
我正在寻找一种有效的方法，将pyspark df_input中的行分解为列。我不明白这种格式的'@{name...}'，不知道从哪里开始，以解码它。谢谢你帮忙！df_input = sqlContext.createDataFrame( (1, '@{name= Hans; age= 45}'),
(2, '@{name
浏览 1提问于2022-06-14得票数 1
回答已采纳
我有一个dataframe，它在一个列中存储一个JSON对象。我希望处理JSON对象来创建一个新的dataframe (列的数目和类型不同，每行将从JSON对象生成n个新行)。我在下面编写了这样的逻辑:在迭代原始数据集时，将字典(行)附加到列表中。'zyx':item.zyx}
df.apply(lambda row: process_row_data(row), axis=1)# create the new dat
浏览 4提问于2022-10-19得票数 1
回答已采纳
我对pyspark非常陌生，我有一个从csv (在胶水中)加载的数据集。有一列code，其中有string和long。()
|-- code: choice| |-- string
似乎pyspark将缺少的值视为string。我通过像这样扁平化列找到了这一点。此外，当我尝试将整个列转换为string时，我发现没有一行是== 'null'。如何将它们转换</e
浏览 2提问于2020-04-30得票数 0
我正在利用以下内容来查找星星之火中缺少的值：df.select(*(sum(col(c).isNull().cast("int")).alias(c) for c in df.columns)).show()import numpy as np ("James","
浏览 4提问于2022-03-31得票数 1
回答已采纳
遵循方法文档，可以将一行中的列表分解为多行：df.explode('A')df = pd.DataFrame({'A': ["[1, 2, 3]", 'f
浏览 13提问于2019-11-29得票数 0
回答已采纳
1回答
grouped = df.groupBy('episode_id')ops = dict()df = grouped.agg(ops)
我如何将其转换为与Pyspark兼容的等效代码？我无法使
浏览 3提问于2022-11-30得票数 0
1回答
有效地扩展行数组以分隔列
、、、
我有一个火花数据，它的字段之一是一个行结构数组。我需要把它扩展到他们自己的专栏。问题之一是数组中，有时缺少一个字段。以下是一个例子：from pyspark.sql.types import *df = df.withColumn("info_dict&quo
浏览 1提问于2018-03-12得票数 2
回答已采纳
3回答
将JSON数组分解成行
、、、、
我有一个dataframe，它有两个列"ID“和"input_array”(值是JSON数组)。但是数组列的数据类型不匹配错误正在出现。
在图像中，第一个数据是我需要读取并转换为第二个数据的输入数据。需要将3行输入转换为5行输出。
浏览 13提问于2022-10-05得票数 -1
回答已采纳
我是Pyspark的新手，我正在研究如何将列类型转换为dict类型，然后使用explode将该列展平为多个列。| 012| c2 | 0.003609|
test:2 | test1:subtest2 | 18 | c13 | 0.00203 | 我在为col2定义正确的模式以将其类型从String转换为json或dict时遇到了麻烦。然后，我希望能够将值分解为多个列，
浏览 25提问于2019-06-02得票数 0
回答已采纳
我将一个df从pyspark导出到BigQuery。df包含包含数组元素的列，如何将数组转换为连接字符串？每当我尝试查询导出的BigQuery表的数组列时，都会得到以下错误。Error: Cannot access field element on a value with type ARRAY<STRUCT<element STRING>>
下面是导出到BigQuery的pyspark中的df</e
浏览 48提问于2020-06-03得票数 2
1回答
我想转换一个带有dict值的列来扩展带有值的列，如下所示：| Idx||+-------+-------------------------------+#PySpark codedict</
浏览 2提问于2019-08-02得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
