我需要从spark dataframe中收集列n值并以数组的形式存储它。就像我们使用.values函数处理pandas数据框一样
我尝试过使用.select().collect(),但是它给我提供了空行
X = XVAr.values
Y = DF.loc[:,'LTR'].values以上是针对pandas dataframe的,我需要在spark dataframe中执行相同的操作。
我希望得到一个数组[[5,6,4,3],[3,4,6,5]]形式的输出
发布于 2019-05-16 14:49:42
没有任何样本数据很难判断。但你的解决方案应该行得通,
arr = numpy.array(df.select('LTR').collect())https://stackoverflow.com/questions/56160607
复制相似问题