我有一个基于历史数据的LinearRegression模型，现在我正尝试在新数据上重用相同的模型来进行预测。我知道我们可以分别使用model.save和LinearRegression.load方法保存和加载模型，但是，我无法找到一种方法来将新数据传递到加载的模型中进行预测。创建和训练模型的代
浏览 0提问于2017-06-05得票数 2
回答已采纳
我正在试图找出为什么LinearRegressionWithSGD不适用于Spark的ParamGridBuilder。来自星火的文件：paramGrid = ParamGridBuilder()\.addGrid(lr.elasticNetParam, [0.0, 0.5, 1.0])\但是，将LinearRegression
浏览 2提问于2017-10-28得票数 0
回答已采纳
1回答
),(5,[0,2,4],[1,1,2]),(2,[1],[2])]PS:当我想让测试数据与功能选择的火车数据相同时
浏览 2提问于2016-03-09得票数 2
回答已采纳
我有一个在Spark 1.6中内置的预测模型(Logistic回归)，它已经保存到磁盘上，以便以后与新数据记录一起重用。我想用多个客户端调用它，每个客户端传入一个数据记录。似乎使用Spark作业来运行单个记录会有太多的开销，并且伸缩性不是很好(每次调用只会传入一组18个值)。用于加载保存的模型的Spark需要MLlib上下文，所以我正在寻找如何以可伸缩的方式实现这
浏览 15提问于2016-09-07得票数 1
1回答
火花负荷模型与持续训练
、、、
Scala和Spark2.0来训练模型 .setMaxIter(num_iter) .setStandardization(data).select("prediction")
现在我想继续用新的数据来训练模型，所以我保存了模型并加载它来继续培训。当我加载LinearRegression
浏览 0提问于2016-09-01得票数 9
但是，当模型适合时，我得到了最后一行的错误消息：
org.apache.spark.mllib.linalg.VectorUDT@f71b0bce.：U‘IllegalArgumentException:列特性必须是org.apache.spark.ml.linalg.VectorUDT@3bfc3ba7类型，但实际上是org.apache.spark.ml.linalg.VectorUDTpyspark.ml中有LabeledPoint在pyspark.ml
浏览 5提问于2017-02-14得票数 8
回答已采纳
4回答
如何加载PMML模型？
、、、
我正在按照的说明创建K均值模型。我在努力并显示为：
org.apache.hadoop.mapred.InvalidInputException
浏览 4提问于2016-06-15得票数 7
在2.0.0版本中使用pySpark ML对于一个线性回归的简单示例，我在新的ML库中得到一个错误。features"])from pyspark.ml.regression import LinearRegressionlr=LinearRegression()和错误：
IllegalArgumentEx
浏览 1提问于2016-08-11得票数 8
1回答
我是火花，大数据和scala的初学者，我试图用一个样本数据集在星火中建立一个预测模型。我想要使用pySpark，但是当前mllib对于pyspark有限制，因为它不进行保存和加载。0,24000，1，1，1，0，0，26，0，0，1，1，0，0，0，0,75000，1，1，1，1，1，0，15，1，0，1，1，1，1，0，0
基本上，这些数据有助于根据所有给定参数预测用户是否购买此杂志如何将这些数据转换为<e
浏览 3提问于2015-07-06得票数 2
3回答
我目前正在从事一个线性回归项目，在这个项目中，我需要收集数据，将其拟合到一个模型中，然后根据测试数据进行预测。+-----+------++-----+------+| 6000|673|| 8000| 678|+-----+------+
我
浏览 8提问于2017-06-27得票数 3
回答已采纳
我创建了一个MLlib管道来构建一个线性回归模型，当我为单个locationID提供数据时，它可以工作。现在我想为每个“locationID”创建许多模型(生产中可能有几千个locationID)。我想为每个模型保存模型系数。我的管道定义如下：import org.apache.
浏览 0提问于2018-04-12得票数 4
回答已采纳
1回答
假设我有以下Scala代码： .fit(df)现在，假设我创建了一个使用这个索引器的org.apache.spark.mllib.tree.model.DecisionTreeModel，并将
浏览 4提问于2017-05-08得票数 0
回答已采纳
我知道Spark有两个用于机器学习的库。一个是spark.ml，另一个是spark.mllib。我只想知道使用spark.ml构建的spark程序是否可以使用和测试(预测)使用spark.mllib pachages构建的模型，反之亦然？
浏览 4提问于2017-04-24得票数 0
我正在尝试使用SparkR和R作为前端来开发机器学习模型。我想使用Spark的MLLib，它工作在分布式数据帧上。有没有办法从R调用spark MLLib算法？
浏览 2提问于2015-07-09得票数 2
具体描述:项目A实际上是一个机器学习器，它有一组使用旧版本的spark-mllib的算法。我想在项目A中集成XGBOOST-spark算法。LabeledPoint转换为新的LabeledPoint，调用生成模型的XGBoost.train()方法，然后我们将模型传递回项目A。我们在项目A中导入该类(从项目B)，调用它的方法，获取模型，然后我们照常继续我们的业务。
当然，我也试过这么做。但它不起作用。我认为这是因为我们在</e
浏览 0提问于2018-04-25得票数 1
1回答
由于结果不佳，我想在训练的每个阶段(在训练和测试数据集上)显示模型所产生的误差。问题：如何用火花绘制模型的学习曲线？import org.apache.spark.ml.regression.LinearRegression
import org.apache.spark.ml.tuning.val lr = new Lin
浏览 1提问于2018-06-26得票数 2
回答已采纳
为了保存HDFS中的培训模型，我尝试了如下方法：和但是，发现一个错误是这样的：
浏览 6提问于2016-12-24得票数 2
回答已采纳
我试图将从模型生成的频繁项目集保存到文本文件中。代码是Spark库中FPGrowth示例的一个示例。直接在模型上使用saveAsTextFile写入RDD位置，而不是实际值。;import org.apache.spark.mllib.fpm.FPGrowthModel;
importorg.apache.spark.m
浏览 4提问于2016-05-30得票数 0
回答已采纳
我们的算法工程师正在使用pyspark和mlflow开发机器学习模型。他尝试使用mlflow.spark API保存模型&模型格式是原生spark MLlib格式。模型可以从Spark Scala代码加载吗？似乎mlflow在跨语言使用方面受到了很大的限制。
浏览 91提问于2020-06-19得票数 1
我正在使用org.apache.spark.ml.clustering.LDA进行主题建模(通过在线优化器)，它返回org.apache.spark.ml.clustering.LocalLDAModel然而，使用这种模型似乎没有任何方法来获得文档上的主题分布。而较早的mllib应用程序接口(org.apache.spark.mllib.clustering.LocalLDAModel )确实有这样的方法，即org.apache.spark.m
浏览 1提问于2017-02-08得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
