我有一个嵌套的JSON字典,我需要将其转换为spark dataframe。此JSON字典显示在数据框列中。我一直在尝试使用"from_json“和"get_json_object”来解析dataframe列中存在的字典,但一直无法读取数据。我使用下面的代码清理数据并将其读取到数据帧中 from pyspark.sql.functions import *
from py
我有一个dataframe,它在一个列中存储一个JSON对象。我希望处理JSON对象来创建一个新的dataframe (列的数目和类型不同,每行将从JSON对象生成n个新行)。我在下面编写了这样的逻辑:在迭代原始数据集时,将字典(行)附加到列表中。data = []
global data
for item in row.json_object['obj']:df_final =