我正在研究PySpark。我有一个数据框，我需要将其转储为JSON文件，但JSON文件应具有以下格式，例如- {"Column 1": [9202, 9202, 9202, ....], "Column 2": ["FEMALE因此，每列应该有一个键，相应的值应该包含该列中的所有值的列表 我尝试将其转换为Pandas数据帧，然后在将其作为JSON转储之前转换为
浏览 14提问于2019-12-18得票数 1
回答已采纳
|-- confidence: string (nullable = true)我正在尝试将其转换为Python，但是作为"words“的字典列表不会保留字典列表的格式。在火星雨中：转换为python dataframe：
scrape
浏览 4提问于2022-03-10得票数 0
2回答
我想从pyspark中现有的dataframe创建一个新的dataframe。数据帧"df“包含一个名为"data”的列，该列具有字典行，并具有字符串形式的模式。并且每个字典的键都不是fixed.For，例如，name和address是第一个行字典的键，但对于其他行来说情况并非如此，它们可能不同。如何转换为包
浏览 2提问于2018-11-09得票数 1
我有下面的pyspark数据帧df。它的模式如下所示。我还提供了一些样本数据，以及我正在寻找的所需输出。我遇到的问题是attributes列的值是字典。我想为字典中的每个键创建新列，但属性列中的值是字符串。所以我在使用explode或from_json时遇到了问题。我基于另一个使用explode的SO post进行了一次尝试，我
浏览 43提问于2021-10-05得票数 1
回答已采纳
我有一个用例来映射基于条件的pyspark列的元素。通过这个文档，我找不到一个函数来执行映射函数。因此，尝试使用pyspark映射函数，但无法将pyspark列转换为dataFrame带有时间戳字符串的
浏览 4提问于2021-11-19得票数 0
回答已采纳
我试图使用pyspark.pandas API在数据库上构造数据的共生矩阵。该代码在熊猫中运行良好，但在使用pyspark.pandas时出现了错误。coocc = psdf.T.dot(psdf)我得到了这个错误我查过医生了。pyspark.pandas.DataFrame.dot()
以串联作为输入。我尝试使用psdf.squeeze()
浏览 8提问于2022-10-14得票数 0
回答已采纳
1回答
我正在尝试使用字典理解将PySpark排序的行列表转换为Pandas数据框，但只有在显式地声明所需字典的键和值时才有效。row: row["col1"], row_list),
'col2': map(lambda row: row["col2"], row_list)} 然后使用以下命令将其转换为Pandas： pd.DataFrame(futu
浏览 20提问于2020-07-07得票数 0
我正在尝试将pandas.DataFrame代码转换为等效的pyspark DataFrame。我有一个以下格式的RDD。[2, 'b', {'c': 1, 'd':3}],内部列表中<e
浏览 1提问于2018-04-07得票数 1
您好，我需要将pyspark dataframe (或rdd)转换为字典，其中dataframe的列将是关键字，column_value_list将作为字典值。name amtb 20b 40我想要一本这样的字典：
new_dict = {'name':['a','b', 'a&#x
浏览 4提问于2017-04-28得票数 1
4回答
PySpark计算相关性
、、、、
我想使用pyspark.mllib.stat.Statistics.corr函数来计算pyspark.sql.dataframe.DataFrame对象的两列之间的相关性。如何将df['some_name']列转换为rdd of Vectors.dense对象？
浏览 12提问于2016-06-03得票数 16
回答已采纳
1回答
我有一个嵌套的JSON字典，我需要将其转换为spark dataframe。此JSON字典显示在数据框列中。我一直在尝试使用"from_json“和"get_json_object”来解析dataframe列中存在的字典，但一直无法读取数据。以下是我一直在尝试读取的源数据的最小片段： {"value": &
浏览 36提问于2021-04-01得票数 1
回答已采纳
1回答
我使用的是PySpark版本3.0.1。我正在将csv文件读取为具有2个日期列的PySpark数据帧。但是，当我尝试打印模式时，两列都被填充为字符串类型。 ? ? 上面附加的屏幕截图是Dataframe和Dataframe模式。 如何使用pyspark将date列中的行值转换为时间戳格式？我已经尝
浏览 16提问于2020-12-30得票数 2
对于每个响应，Dataframe中的其他几列包含字典列表如下：{“操作”：“单击”，“docid”：“url 1”，“位置”：1}{“操作”：“NoAction”，“docid”：“url 2”，“位置”：2}top1_list = df[df.columns[0
浏览 2提问于2020-04-01得票数 0
我正在尝试将我的pandas代码转换为pyspark dataframe，并尝试在dataframe的一列上应用函数。我在pandas dataframe中做了一些如下的事情。在操作了几个列值之后，将新列添加到pandas数据帧中，如下所示。return USD_amount
salesData['Sales (INR)']
浏览 15提问于2020-01-03得票数 1
回答已采纳
我有一个dataframe，它在一个列中存储一个JSON对象。我希望处理JSON对象来创建一个新的dataframe (列的数目和类型不同，每行将从JSON对象生成n个新行)。我在下面编写了这样的逻辑:在迭代原始数据集时，将字典(行)附加到列表中。for item in row.json_object['obj']:
# create a dictionary t
浏览 4提问于2022-10-19得票数 1
回答已采纳
5回答
我正在开发一个包含n列的PySpark DataFrame。我有一组m列(m < n)，我的任务是选择其中包含最大值的列。例如：col_1 = [1,2,3], col_2 = [2,1,4], col_3 = [3,2,5]col_4 = max(col1,col_2, col_3) = [3,2,5]
正如问题中所解释的那样，
浏览 7提问于2016-06-07得票数 29
回答已采纳
2回答
显示嵌套字典的列
、、、
我提取了一些加密货币数据，这些信息在一个嵌套的字典中。我能够通过以下代码访问第一个字典的关键字以及价格和其他信息，从而“隔离”我想要的信息： c = df['quote'][9]['USD']['price'] 然而，我想把它放在一个表中。我能够将字典转换为DataFrame；但是，我不能将列中嵌套<em
浏览 7提问于2020-10-31得票数 0
我有一个熊猫dataframe列，它由每行一个字典的列表组成(由运行在dataframe中的其他数据上的机器学习算法创建)。我的目标是将字典键转换为新的dataframe列的标题，行值将是字典的值。在现有列的每一行中，单个
浏览 4提问于2022-10-15得票数 0
回答已采纳
我正在尝试将字典：data_dict = {'t1': '1', 't2': '2', 't3': '3'}转换为数据帧： key | value|t1: File "/usr/local/Cellar/ap
浏览 8提问于2020-04-21得票数 5
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
