我想向DataFrame列添加一个唯一值列表。'ID Incidencias'] = IDs 但我得到了以下错误: ValueError: Length of values does not match length of index 关于如何将唯一值列表添加到现有的DataFrame列,您有什么想法吗?
我有一个现有的Spark DataFrame (在Scala2.10.5和Spark 1.6.3上运行),我想用ArrayType或MapType添加一个新列,但不知道如何实现。但不知道该怎么处理。我不想用“单一”值创建多个列,而是将它们存储在一个列中。这将缩短我的代码,并使其更容易更改。.
val df = ...
// adding new co