如何将向量类型的VectorAssembler输出转换为数组
如何将向量类型的VectorAssembler输出转换为数组
提问于 2020-12-10 22:54:35
spark中的vectorAssembler函数提供了一个vectordouble类型作为输出，但我需要将其转换为arraydouble。我知道提供了一个内置的Vector_to_array函数，但我不知道如何将列转换为数组，一些元素也是稀疏数组。
var assembler = new VectorAssembler().setInputCols(Array("Pclass",
"Age",
"Fare",
"Gender",
"Boarded"
)).setOutputCol("features")
var transformedDF = assembler.setHandleInvalid("skip").transform(updatedDF)这是代码，我需要将features列从向量类型转换为数组类型。
回答 1
Stack Overflow用户
回答已采纳
发布于 2020-12-12 04:50:15
根据ml或mllib库为Vector使用别名，以免与Scala的Vector混淆
import org.apache.spark.ml.linalg.Vector => MLVector
import org.apache.spark.mllib.linalg.Vector => MLlibVector然后创建一个UDF
// 1. function to map to Array[Double]
val vec2Array: Any => Array[Double] = {
vector => vector match {
case vec: MLVector => vec.toArray
case vec: MLlibVector => vec.toArray
}
}
// 2. User Defined Function (UDF)
val vec2ArrayUDF = udf(vec2Array)
// 3. apply UDF on "features" column
val df_vec2Array = transformedDF.withColumn("features_array",vec2ArrayUDF(col("features"))) 页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/65236889
复制相关文章
相似问题
腾讯云开发者
