考虑到list of namedtuples,有谁知道如何从选定的列中创建大熊猫DataFrame,其中一些列包含我想要作为列处理的字典?如果简单地调用pandas.DataFrame(),字典将不会被“展开”,因此您必须从它们创建另一个DataFrame,并将您想要的列附加到原始的DataFrame中
如果我调用map或mapPartition,并且我的函数接收来自PySpark的行,那么创建本地PySpark或PandasDataFrame的自然方法是什么?合并行并保留架构的东西?目前,我所做的事情如下: rows = [x for x in partition]
dfpart = pd.DataFrame(rows