无法加载PiplineModel/LogisticRegressionModel mlib spark

文章/答案/技术大牛

发布

1回答

apache-spark、apache-spark-ml

我在加载包含LogisticRegressionModel stage的序列化PiplineModel时遇到了问题。我尝试了加载完整的管道和逻辑阶段，但得到了相同的错误。此外，在保存模型之前，我检查了coeficients()是否返回值，它确实返回值。你知道可能会发生什么吗？

浏览 16提问于2017-03-10得票数 0

2回答

如何确定logistic回归火花中的标签和特征？

apache-spark、machine-learning

我使用星火mlib，用Logistic回归模型进行分类。我跟踪了这个链接：import org.apache.spark.ml.classification.LogisticRegressionModel;import org.apache.spark.sql.Row; import o

浏览 0提问于2017-04-27得票数 2

回答已采纳

1回答

我正在尝试在Spark2.x版本中使用的保存和加载选项。我建立了一个LogisticRegression模型并成功地保存了该模型。但是，在加载模型时，将面临以下问题from pyspark.ml.classification import LogisticRegressionModel LogisticRegressionModel.loadjava.lang.IllegalArgumentException: requirement failed: Error loading metada

浏览 0提问于2018-10-03得票数 1

回答已采纳

1回答

如何从类名中获取伴生对象？

scala

我有一些spark模型文件，我想加载它们。一种方法是编写以下代码。LogisticRegressionModel.load(path) 但是，我需要有一个模型对象，这样我才能调用LogisticRegressionModel.load。我只得到了像org.apache.spark.ml.classification.LogisticRegressionModel这样的类名，所以我需要从类名中反射伴生对象，但是我该怎么做呢？

浏览 8提问于2020-06-23得票数 1

回答已采纳

1回答

为什么LogisticRegressionModel不能对libsvm数据进行评分？

apache-spark、apache-spark-mllib、apache-spark-ml

加载您想要得分的数据。数据以libsvm格式以下列方式存储: label index1:value2 1 index2:value2 2.val scores_path = results_base + run_id + "/" + "-scores" val lrm = LogisticRegressionModel.loadHere is the metadate for that model LogisticRegre

浏览 2提问于2016-04-28得票数 0

回答已采纳

4回答

将转换应用于新数据Spark

apache-spark、apache-spark-mllib

我在Java 2.3.1版本中使用Spark (core/mlib)。当我试图在一个新的数据点上使用这个模型时，我的问题就出现了： SparkSession spark =Shots.buildSession(); Dataset<Row> data = buildDataset(spark</

浏览 0提问于2018-06-18得票数 1

1回答

Spark中的在线(增量)逻辑回归

apache-spark、pyspark、spark-streaming、apache-spark-mllib、apache-spark-ml

在Spark (基于关系数据挖掘的应用程序接口)中，有一个用于增量训练MLlib回归模型的StreamingLogisticRegressionWithSGD。在Spark ML (基于DataFrame的API)中，我只找到了LogisticRegression类，只有用于批量训练的fit方法。这不允许模型保存、重新加载和增量训练的模式。Spark有什么可用的解决方案吗？

浏览 0提问于2018-04-26得票数 2

1回答

Mlib RandomForest (Spark2.0)预测单个向量

random、apache-spark、machine-learning、random-forest

在使用mlib和DataFrame (Spark2.0)在PipelineModel中训练RandomForestRegressor后，我将保存的模型加载到我的RT环境中，以便使用该模型进行预测，每个请求都通过加载的PipelineModel进行处理和转换，但在此过程中，我必须使用spark.createdataframe将单个请求向量转换为单行DataFrame，所有这一切大约需要700ms！有没有办法使用新的mlib来预测单个向量，而无需转换为DataFrame或执行其他操作来加快速

浏览 0提问于2016-08-02得票数 2

2回答

如何将pyspark模型保存到pickle文件

python、pyspark

如何将pyspark模型保存到pickle文件 final_data=output_fixed.select('features','CreditabilityIndex') dtc_model=dtc.fit(train)

浏览 130提问于2019-10-15得票数 0

1回答

如何导出pyspark mlib机器学习模型并部署为web服务？

web-services、rest、pyspark、apache-spark-mllib

我有一个使用spark mlib构建的线性回归模型。现在，我想导出模型并通过web服务使用模型。我正在调查PMML无法找到合适的源代码，因为我如何使用它。我想为Spark mlib中开发的模型做一些类似的事情。有没有人能帮帮我或者给我指出正确的来源？

浏览 0提问于2017-04-27得票数 0

2回答

如何加载逻辑回归模型？

apache-spark、apache-spark-ml

我可以使用以下代码将模型保存在parquet文件中trainedLRModel.write().overwrite().save("mypath"); Exception in thread "main" java.lang.NoSuchMethodExcep

浏览 3提问于2017-12-07得票数 4

1回答

将逻辑回归LBFGS模型转换为POJO

scala、apache-spark、pojo、logistic-regression、h2o

看看H20，我想知道是否有一种方法可以将我的Spark LogisticRegressionWithLBFGS()模型转换为POJO对象。目前，我一直使用LogisticRegressionModel.load()函数加载它，但这需要大约40秒的时间。

浏览 0提问于2016-02-06得票数 0

2回答

Spark朴素贝叶斯分类器的保存训练模型

java-8、apache-spark

有人知道-是否有可能保存斯派克的朴素贝叶斯分类器的训练模型(例如在文本文件中)，并在未来的需要时加载它？谢谢。

浏览 2提问于2014-10-26得票数 1

回答已采纳

1回答

从S3上的文件中计算数字的avg

amazon-web-services、apache-spark、amazon-emr

BUt我不知道我该用什么MLib？还是sparkSQL？我看到的所有参考资料都是为了完全不同的东西。有人能引导我朝正确的方向前进吗？

浏览 0提问于2018-10-18得票数 0

回答已采纳

1回答

工作流

apache-spark、apache-camel

我正在尝试在一个庞大的数据集中使用Spark的MLib，而这个数据集是我们目前保存在时间序列数据库中的。假设我们的时间序列数据库中有数据A、B、C、D和E，我想先加载A、B、C，然后进行一些转换，然后将转换后的数据传递到Spark中。有什么建议吗？

浏览 2提问于2016-04-16得票数 1

回答已采纳

2回答

如何在java中从星火MLLib Logistic回归中获得信心分数

java、apache-spark-mllib、logistic-regression

我使用以下代码片段：double confScore =$.dot(BLAS.scala:99)你能帮忙吗？我已经通过了API，无法找到任何特定的API给出信心评分。有人能帮帮我吗？lrmodel = (LogisticRegress

浏览 2提问于2016-09-05得票数 1

回答已采纳

1回答

用Java实现星火MLlib分类输入格式

java、apache-spark、apache-spark-mllib、apache-spark-ml

如何将DTO的列表转换为Spark输入数据集格式public class MachineLearningDTO implements Serializable {LogisticRegression logisticRegression = new LogisticRegression(); LogisticRegressionModel如果用代码将其更改为org.apache.spark.ml.linalg.Vect

浏览 5提问于2017-06-13得票数 0

回答已采纳

0回答

尝试在Pyspark中保存和加载Logistic回归模型时出错

apache-spark、model、pyspark

我已经用train_df数据训练了我的模型，并希望保存并加载它。float(val_set.count())print(accuracy) model = LogisticRegressionModel() model.load("&#x

浏览 2提问于2018-07-16得票数 0

1回答

重写Apache管道以使用现有模型

scala、apache-spark、apache-spark-mllib

我需要集成一个简单的模型，例如org.apache.spark.ml.classification.LogisticRegression，，而不是以前训练过的org.apache.spark.ml.PipelineModelprivate def pipelineBefore: org.apache.spark.sql.DataFrame = { (0L, "a b c d e spark</e

浏览 0提问于2019-07-08得票数 0

1回答

Pyspark回归模型储蓄后精度的变化

python、pyspark、apache-spark-ml

在我的模型中，我使用推荐的model2.getMaxIter() regModel.save(model_path) model2 = LogisticRegress

浏览 1提问于2017-05-12得票数 0

回答已采纳

点击加载更多