为此,我在我创建的dataframe上调用"foreachPartition(inside)“方法。"inside“函数需要dataframe值。dataframe如下所示:DataFrame[lon: double, lat: double, t: bigint]def inside(iterator0:20000,:] #take sample of rows from big dataset
small_df=sqlContext.c
import numpy as n , pandas as pprint(n.array(s))上面的代码将没有问题的集合转换为但是,当我尝试从它创建一个DataFrame时,我会得到以下错误:
ValueError: DataFrame构造函数没有正确调用!那么,有没有办法将python /nested转换为numpy数组/字典,这样我就可以从它创建Data