下面的代码试图执行一个简单的操作，尝试从稀疏向量转换为密集向量。以下是我到目前为止所拥有的：import org.apache.spark.ml.feature.at scala.Predef$.require(Predef.scala:281)
at org.apache.spark.ml.util.SchemaUtil
浏览 3提问于2021-11-27得票数 1
回答已采纳
2回答
我有一个scala.collection.immutable.Vector类型的向量，我想把它转换成org.apache.spark.ml.linalg.Vector类型的向量。例如，我想要如下所示的内容；val scalaVec = Vector(1,2,3)注意，我可以简单地输入val sparkVec
浏览 13提问于2017-02-24得票数 2
回答已采纳
failure: Lost task 0.0 in stage 13.0 (TID 13, localhost): java.lang.ClassCastException: org.apache.spark.ml.linalg.SparseVectorat scala.collection.Iterator$$anon$11.next(Iterator.scala:409)at scala.collection.Iterator$$anon$13.hasNext(Iterator.<e
浏览 0提问于2016-11-12得票数 4
1回答
我的一般理解是，当大多数元素为0时使用稀疏向量，当很少元素为0时使用密集向量。稀疏向量易于压缩。
为什么我们必须将下面的向量定义为密集向量？在每个向量中只有3个元素的情况下，定义稠密向量有什么帮助。为什么我们不能把它们当作向量呢？
浏览 2提问于2016-04-10得票数 0
回答已采纳
1回答
VectorUDT使用
、、、
但是org.apache.spark.ml.linalg.VectorUDT的用法表明VectorUDT是private。另外，我特别需要使用org.apache.spark.ml.linalg.VectorUDT，而不是org.apache.spark.mllib.linalg.VectorUDT。
浏览 8提问于2017-08-22得票数 2
1回答
我可以使用向量列和DataFrame方法创建一个星火toDF。val dataset = Seq((1.0, org.apache.spark.ml.linalg.Vectors.dense(0.0, 10.0, 0.5))).toDF("id", "userFeatures= true)
res5: org.apache.spark.sql.types.StructType = StructType(StructFiel
浏览 0提问于2018-05-13得票数 1
2回答
我正在尝试使用两列之间的内置函数来查找菱形统计数据：
r = ChiSquareTest.test(df, 'feature1
浏览 1提问于2020-04-06得票数 8
回答已采纳
在很高的层次上，我知道星火MLLib是写在RDDs之上的，而Spark是建立在DataFrames之上的，但是我的理解还不够详细。特别是，不同的向量实现缺乏兼容性，我想知道实现的区别是什么，为什么选择这些设计决策？
浏览 5提问于2017-09-05得票数 0
回答已采纳
尝试使用Spark for Scala中的Statistics工具，但在准备需要的向量时遇到了困难。‘类型的向量，但是在工具中使用此向量时，该向量已更改为'DenseVector’类型。import org.apache.spark.mllib.linalg._import org.apache.spark.rdd.RDDcorre
浏览 1提问于2017-04-27得票数 0
true) | |-- element: integer (containsNull = true)import org.apache.spark.ml.feature.VectorAssembler
imp
浏览 0提问于2017-10-17得票数 2
回答已采纳
我正在使用星星团2.0，我想将向量从org.apache.spark.mllib.linalg.VectorUDT转换为org.apache.spark.ml.linalg.VectorUDT。# Import LinearRegression classlr = LinearRegression()
model
浏览 5提问于2016-12-13得票数 6
1回答
model.clusterCenters()我将这些输入到pyspark中，当它运行model = kmeans.fit(vdf)时，我得到了以下错误：
TypeError:无法将类型转换为向量(CacheManager.scala:69)，org.apache.spark.rdd.RDD.iterator(RDD.scala:275)，org.apache.spark.rdd.ZippedPartitionsRDD2/python/
浏览 2提问于2017-03-02得票数 5
回答已采纳
我是Spark和Scala的新手。我从以下数据帧开始(由密集的双精度向量组成的单列)：scaledDataOnly_pruned: org.apache.spark.sql.DataFrame = [features: vector]
+---
浏览 0提问于2015-10-10得票数 10
我正在尝试在spark和scala中实现神经网络，但无法执行任何向量或矩阵乘法。Spark提供了两个向量。Spark.util向量支持点运算，但已弃用。mllib.linalg向量不支持scala中的操作。如何使用mllib在spark scala中执行向量乘法，如w*x，其中w是向量或权重矩阵，x是输入。pyspark
浏览 0提问于2016-01-20得票数 8
;import org.apache.spark.sql.Dataset;import org.apache.spark.ml.feature.VectorAssembler;:128)
at scala.collect
浏览 7提问于2017-06-30得票数 2
3回答
我正在尝试将dataframe转换为rdd，以便它可以用于建立回归模型。SPARK版本: 2.0.0码=>
import org.apache.spark.mllib.classification.LogisticRegressionWithLBFGSimport org.apache.spark.mllib.linal
浏览 4提问于2016-10-18得票数 8
回答已采纳
我使用Spark MLLib和Scala来加载csv文件，并转换特征向量中的特征，以使用它来训练一些模型；为此，我使用以下代码： // Loading the dataval rawLabels = spark.read.option(
浏览 12提问于2020-07-06得票数 0
回答已采纳
4回答
Spark ML的随机森林输出DataFrame有一个"probability“列，这是一个具有两个值的向量。我只想在输出DataFrame中添加两列"prob1“和"prob2"，它们分别对应于向量中的第一个和第二个值。关于如何将向量的列转换为值的列，有什么建议吗？
浏览 2提问于2016-05-19得票数 7
java.lang.IllegalArgumentException: requirement failed: Column features must be of type org.apache.spark.ml.linalg.VectorUDT
浏览 1提问于2017-05-08得票数 0
回答已采纳
在Apache Spark中，有没有将余弦距离的KMeans应用于Tf-IDF处理的数据帧的工作实现？
Spark，当然在ml库中有欧几里得距离实现，但对于任何其他距离度量都不是这样。
浏览 0提问于2017-06-26得票数 1
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
腾讯云开发者
