找不到Spark LinearRegression错误的原因
Spark LinearRegression错误的原因可能有多种，以下是一些可能的原因和解决方法：
- 数据格式错误：LinearRegression算法要求输入的数据格式正确，包括特征向量和标签的格式。可以通过检查数据的维度和类型来解决此问题。
- 数据缺失：如果数据中存在缺失值，LinearRegression算法可能会出错。可以使用数据清洗技术，如填充缺失值或删除包含缺失值的样本来解决此问题。
- 特征选择错误：LinearRegression算法对于输入特征的选择比较敏感。如果选择了不相关或冗余的特征，可能会导致错误。可以使用特征选择技术，如相关性分析或正则化方法来解决此问题。
- 数据量不足：如果数据量太小，LinearRegression算法可能无法准确建模。可以尝试增加数据量或使用其他更适合小样本的算法来解决此问题。
- 超参数设置错误：LinearRegression算法中可能存在一些超参数，如正则化参数等。如果超参数设置不当，可能会导致错误。可以通过交叉验证等技术来选择最优的超参数。
- 算法实现错误：如果使用的是自定义的LinearRegression算法实现，可能存在代码错误。可以仔细检查算法实现，确保没有错误。
总之，要找到Spark LinearRegression错误的原因，需要仔细检查数据格式、数据缺失、特征选择、数据量、超参数设置和算法实现等方面的问题，并根据具体情况采取相应的解决方法。腾讯云提供了Spark服务，可以使用其提供的Spark集群来进行分布式计算和机器学习任务。更多关于腾讯云Spark服务的信息可以参考腾讯云官方网站上的介绍：https://cloud.tencent.com/product/spark
相关·内容
我有一个数据帧，如下所示，称为training +------------------+------+
| features| MEDV|
+------------------+------+
| [6.575,4.98,15.3]|504000|
| [6.421,9.14,17.8]|453600|
| [7.185,4.03,17.8]|728700|
| [6.998,2.94,18.7]|701400| 我对此数据集运行线性回归 from pyspark.ml.regression import LinearRegression
lr=LinearRegres
浏览 16提问于2020-06-15得票数 0
回答已采纳
我正在使用星星团2.0，我想将向量从org.apache.spark.mllib.linalg.VectorUDT转换为org.apache.spark.ml.linalg.VectorUDT。
# Import LinearRegression class
from pyspark.ml.regression import LinearRegression
# Define LinearRegression algorithm
lr = LinearRegression()
modelA = lr.fit(data, {lr.regParam:0.0})
错误：
要求失败:列特性必须是
浏览 5提问于2016-12-13得票数 6
我正在学习如何使用Spark DataFrames API在scala中构建机器学习模型，并想知道可以用于优化模型的所有超参数的列表。通过搜索到目前为止，我找到了一些LinearRegression的超参数，例如：
setMaxIter
setRegParam
setElasticNetParam
它可以以下列方式使用：
import org.apache.spark.ml.regression.LinearRegression
val lr = new LinearRegression().setMaxIter(100).setRegParam(0.3).setElas
浏览 5提问于2017-05-21得票数 1
回答已采纳
1回答
火花负荷模型与持续训练
、、、
我使用LinearRegression. Scala和Spark2.0来训练模型
val lr = new LinearRegression()
.setMaxIter(num_iter)
.setRegParam(reg)
.setStandardization(true)
val model = lr.fit(data)
这很好，我得到了很好的结果。我保存了模型，并将其加载到另一个类中进行预测：
val model = LinearRegressionModel.load("models/LRModel")
val result = model.transfo
浏览 0提问于2016-09-01得票数 9
关于星火例外的小问题，请回答。
我有一个非常简单的数据集：
myCoolDataset.show();
+----------+-----+
| time|value|
+----------+-----+
|1621900800| 43|
|1619568000| 41|
|1620432000| 41|
|1623974400| 42|
|1620604800| 41|
[truncated]
|16212
浏览 1提问于2021-07-15得票数 0
回答已采纳
我正在尝试在eclipse中使用Scala语言中的Spark MLlib算法。在编译过程中没有问题，并且在运行时出现错误"NoSuchMethodError“。
下面是我的代码# code
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.mllib.linalg.Vectors
import org.apache.spark.mllib.regression.LabeledPoint
import org.apache.spark.mllib.r
浏览 0提问于2015-03-19得票数 1
我的用例：
从表单的MongoDB集合读取数据：
{
"_id" : ObjectId("582cab1b21650fc72055246d"),
"label" : 167.517838916715,
"features" : [
10.0964787450654,
218.621137772497,
18.8833848806122,
11.8010251302327,
1.67037687829152,
浏览 5提问于2016-11-16得票数 1
回答已采纳
考虑以下从MLlib中提取的火花代码
import org.apache.spark.ml.regression.LinearRegression
// Load training data
val training = spark.read.format("libsvm")
.load("data/mllib/sample_linear_regression_data.txt")
val lr = new LinearRegression()
.setMaxIter(10)
.setRegParam(0.3)
.setElasticNetP
浏览 11提问于2017-05-10得票数 0
回答已采纳
Spark ML LinearRegression似乎是对单一标签的倒退。
LabeledPoint(label: Double, features: Array[Double])
https://spark.apache.org/docs/0.8.1/api/mllib/org/apache/spark/mllib/regression/LabeledPoint.html
然而，对于我的问题，我需要预测一个向量
例如：
LabeledPoint(label: Array[Double], features: Array[Double])
有没有办法让我做到这一点？(这在spark-lear
浏览 0提问于2017-05-25得票数 1
在2.0.0版本中使用pySpark ML对于一个线性回归的简单示例，我在新的ML库中得到一个错误。
代码是：
from pyspark.sql import SQLContext
sqlContext =SQLContext(sc)
from pyspark.mllib.linalg import Vectors
data=sc.parallelize(([1,2],[2,4],[3,6],[4,8]))
def f2Lp(inStr):
return (float(inStr[0]), Vectors.dense(inStr[1]))
Lp = data.map(f2Lp)
te
浏览 1提问于2016-08-11得票数 8
我有以下使用pyspark.ml包进行线性回归的代码。但是，当模型适合时，我得到了最后一行的错误消息：
org.apache.spark.mllib.linalg.VectorUDT@f71b0bce.：U‘IllegalArgumentException:列特性必须是org.apache.spark.ml.linalg.VectorUDT@3bfc3ba7类型，但实际上是org.apache.spark.ml.linalg.VectorUDT@3bfc3ba7
有没有人知道遗漏了什么？pyspark.ml中有LabeledPoint在pyspark.mllib中的替代品吗？
from
浏览 5提问于2017-02-14得票数 8
回答已采纳
1回答
我有一个用DataFrame处理的LinearRegression。如果我直接这样做，如下面所示，我可以显示模型的细节：
val lr = new LinearRegression()
val lrModel = lr.fit(df)
lrModel: org.apache.spark.ml.regression.LinearRegressionModel = linReg_b22a7bb88404
println(s"Coefficients: ${lrModel.coefficients} Intercept: ${lrModel.intercept}")
Coeffi
浏览 2提问于2017-07-20得票数 2
回答已采纳
1回答
我的星火包是火花-2.2.0bin-hadoop2.7。
我将火花变量导出为
export SPARK_HOME=/home/harry/spark-2.2.0-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$PATH
我打开了火花笔记本
pyspark
我可以用火花装载包裹。
from pyspark import SparkContext, SQLContext
from pyspark.ml.regression import LinearRegression
print(SQLContext)
输出是
<class 'pyspark.
浏览 0提问于2018-02-13得票数 1
回答已采纳
我是星火机器学习的新手(两天前)，我正在执行下面的代码，在Spark中，我试图预测一些值，我在Stackoverflow中看到了这个错误帖子，但是我无法用正确的解决方案修复我的代码，所以再次为同样的问题道歉
输入数据：
1.00,1.00,9.00
1.00,2.00,10.00
1.00,3.00,9.00
1.00,4.00,9.00
1.00,5.00,9.00
1.00,6.00,9.45
1.00,7.00,9.45
1.00,8.00,9.45
1.00,9.00,9.45
代码：
val df = spark.read.csv("/root/Predictiondata.
浏览 5提问于2017-06-14得票数 0
回答已采纳
1回答
我正在尝试使用org.apache.spark.ml.regression.LinearRegression来拟合我的数据。因此，我已经将原始的RDD转换为dataframe，并尝试将其提供给linearRegression模型。
val spark: SparkSession = SparkSession.builder.master("local").getOrCreate
val parsedData = dataRDD.map{
item =>
val doubleArray = Array(item._1.toDouble, item._2.toDo
浏览 2提问于2020-09-29得票数 1
回答已采纳
我试图在Debian 9上使用Zeppelin 0.7.2和Spark2.1.1进行基本的回归。这两个齐柏林飞艇都安装在/usr/local/这意味着/usr/local/ zeppelin /和/usr/local/火星中。齐柏林飞艇也知道正确的SPARK_HOME。首先，我加载数据：
%spark.pyspark
from sqlalchemy import create_engine #sql query
import pandas as pd #sql query
from pyspark import SparkContext #Spark DataFrame
from pyspar
浏览 2提问于2017-08-16得票数 1
回答已采纳
1回答
我正在编写一个MLlib的应用程序，并想使用线性回归的算法。但是我想不出保存/加载输出的方法。我的代码：
import os
import sys
os.environ['SPARK_HOME']="C:\spark-2.2.0-bin-hadoop2.7"
try:
from pyspark.sql import SparkSession
from pyspark.ml.regression import LinearRegression
from pyspark.ml.linalg import Vectors
from p
浏览 1提问于2017-08-24得票数 0
1回答
我被指派使用Python语言使用Apache Spark运行一些代码并显示结果，我使用以下步骤安装了Apache Spark服务器：https://phoenixnap.com/kb/install-spark-on-windows-10。我尝试了我的代码，一切都很好。现在我被分配了另一个任务，它需要MLlib线性回归，他们为我们提供了一些应该运行的代码，然后我们将为它添加额外的代码。当我尝试运行代码时，我得到了一些错误和警告，其中的一部分出现在上一个任务中，但它仍然有效。我认为问题是应该添加一些与Mlib库相关的东西，这样代码才能正确运行。有人知道应该向spark添加哪些文件才能运行与ML
浏览 27提问于2020-12-02得票数 0
回答已采纳
我的spark版本是1.6
我的python版本是2.7
我的数据如下，
x = [300,400,500,500,800,1000,1000,1300]
y = [9500,10300,11000,12000,12400,13400,14500,15300]
+----+-----+
| x| y|
+----+-----+
| 300| 9500|
| 400|10300|
| 500|11000|
| 500|12000|
| 800|12400|
|1000|13400|
|1000|14500|
|1300|15300|
+----+-----+
我的错误代码，
f
浏览 2提问于2017-04-14得票数 0
我正在使用Azure和Spark版本为'2.1.1.2.6.2.3-1
我已经使用以下命令保存了我的模型：
def fit_LR(training,testing,adl_root_path,location,modelName):
training.cache()
lr = LinearRegression(featuresCol = 'features',labelCol = 'ZZ_TIME',solver="auto",maxIter=100)
lr_model = lr.fit(training)
浏览 0提问于2018-11-07得票数 0
我正在试图找出为什么LinearRegressionWithSGD不适用于Spark的ParamGridBuilder。来自星火的文件：
lr = LinearRegression(maxIter=10)
paramGrid = ParamGridBuilder()\
.addGrid(lr.regParam, [0.1, 0.01]) \
.addGrid(lr.fitIntercept, [False, True])\
.addGrid(lr.elasticNetParam, [0.0, 0.5, 1.0])\
.build()
但是，将LinearRegression更改为LinearR
浏览 2提问于2017-10-28得票数 0
回答已采纳
我正在尝试使用我在Kaggle上找到的住房数据集在PySpark中做一个非常简单的LinearRegression。有一堆列，但为了(虚拟地)尽可能简单，我只保留了其中的两列(在开始所有列之后)，并且仍然没有幸运地训练模型。下面是数据框在执行回归步骤之前的样子：
2016-09-07 17:12:08,804 root INFO [Row(price=78000.0, sqft_living=780.0, sqft_lot=16344.0, features=DenseVector([780.0, 16344.0])), Row(price=80000.0, sqft_living=430.0
浏览 4提问于2016-09-08得票数 2
在使用scala 2.12.3在本地模式下运行以下spark mllib时，遇到以下错误lambda not serialazable 有什么意见会非常感谢吗？(迁移到scala 2.11对我来说不是一个选择)你能让我知道我可以做些什么来避免这个问题吗？谢谢你 import java.io.FileWriter
import org.apache.spark.SparkConf
import org.apache.spark.ml.Pipeline
import org.apache.spark.ml.evaluation.RegressionEvaluator
import org.ap
浏览 40提问于2019-05-05得票数 0
回答已采纳
我正在尝试使用spark scala创建一个模型来在我的标签上进行预测，但我的IDE显示了以下错误：
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.ml.regression.LinearRegression.fit(Lorg/apache/spark/sql/Dataset;)Lorg/apache/spark/ml/PredictionModel;
这是我的TrainingDF数据框架，我想在它上面做一个模型：
+--------------------+-----+
|
浏览 14提问于2017-06-13得票数 0
回答已采纳
我遇到了一个错误，我在网上找不到答案。要重现错误，只需调用
sc = spark_connect(master = "local")
cars = copy_to(sc, mtcars)
cars %>% spark_apply(~lm(mpg ~.,.x))
它会抛出一个无法打开连接的错误。我使用的是win 10，RSTUDIO，sparklyr库。
浏览 1提问于2021-06-09得票数 0
我不断得到错误的答案，所以我尝试了一些非常，非常基本的东西，它仍然是错误的。
input file:
1 1:1
2 1:2
3 1:3
4 1:4
from pyspark.ml.regression import LinearRegression
# Load training data
training = spark.read.format("libsvm").load("stupid.txt")
lr = LinearRegression(maxIter=100, regParam=0.3, loss='squaredError')
浏览 7提问于2019-07-13得票数 0
回答已采纳
在尝试加载线性回归模型时，我得到了下面提到的错误：
Traceback (most recent call last):
File "server.py", line 5, in <module>
linReg = Model()
File "/home/pyspark/Desktop/building_py_rec/lin_reg/ml_algo/model.py", line 23, in __init__
self.model = LinearRegression.load('model_lin_reg'
浏览 1提问于2018-02-08得票数 4
回答已采纳
假设我的spark DataFrame (DF)看起来像
id | age | earnings| health
----------------------------
1 | 34 | 65 | 8
2 | 65 | 12 | 4
2 | 20 | 7 | 10
1 | 40 | 75 | 7
. | .. | .. | ..
我想对DF进行分组，在每个聚合的DF上应用一个函数(比如线性回归，它依赖于聚合DF的多列-在本例中是两列)，并得到如下输出
id | intercept| slope
-----------
浏览 1提问于2017-05-04得票数 1
我使用bin/Smark-EC2脚本设置了spark ec2集群。当我对主节点执行ssh并在示例程序上运行spark submit时，我看到来自所有执行器的以下错误，并且每个执行器被标记为失败：
(java.io.IOException: Cannot run program "/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.85.x86_64/jre/bin/java" (in directory "/root/spark/work/app-20150818182649-0015/4"): error=2, No such file
浏览 2提问于2015-08-18得票数 1
如何使用Apache spark解决Ax =b问题。我的输入是一个坐标矩阵：
import numpy as np
import scipy
from scipy import sparse
row = np.array([0, 3, 1, 0])
col = np.array([0, 3, 1, 2])
data = np.array([4, 5, 7, 9])
A = sparse.coo_matrix((data, (row, col)), shape=(4, 4))
#take the first column of A
b = sparse.coo_matrix((data, (ro
浏览 0提问于2017-12-27得票数 1
1回答
我是星火机器学习的新手，我想将多个列传递给功能，在下面的代码中，我只将日期列传递给功能，但现在我想将用户I和日期列传递给功能。我尝试使用向量，但它只支持双重数据类型，但在我的例子中，我有Int和String
如果有人提供任何建议/解决方案或任何代码示例来满足我的要求，我将非常感激。
代码：
case class LabeledDocument(Userid: Double, Date: String, label: Double)
val training = spark.read.option("inferSchema", true).csv("/root/Pre
浏览 1提问于2017-06-19得票数 1
回答已采纳
我不能在Rstudio中使用sparkR，因为我得到了一些错误:sparkR.sparkContext中的错误( appName，sparkHome，sparkConfigMap，：
10秒后JVM还没有准备好
我曾试图寻找解决办法，但却找不到。下面是我尝试设置sparkR的方式：
Sys.setenv(SPARK_HOME="C/Users/alibaba555/Downloads/spark") # The path to your spark installation
.libPaths(c(file.path(Sys.getenv("SPARK_H
浏览 10提问于2016-09-02得票数 2
我正在建立一个线性回归模型。但每次它都会给出不同的拦截和权重。如何保持常量？我使用过random.seed()，但它不起作用吗？有人知道如何在火星雨中进行恒定的拦截和权值吗？请给出语法或如何处理这件事？我使用的是spark 1.4.2和python2.7版本。
from pyspark.ml.regression import LinearRegression
from pyspark.sql.types import *
seed = 42
train_df, test_df = miles_new_df.randomSplit( [0.7, 0.3], seed = seed )
lin
浏览 0提问于2018-02-26得票数 0
1回答
我正在尝试做一些事情，包括取两个拟合模型的和，这样输出就是另一个LinearRegression类型的对象。我已经使用sklearn的标准LinearRegression方法拟合了这两个模型。
from sklearn.linear_model import LinearRegression
reg_1 = LinearRegression().fit(X1, y)
reg_2 = LinearRegression().fit(X2, y)
我希望能够生产出像这样的东西
reg = reg_1 + reg_2
这样，我仍然可以执行标准操作，例如
reg.predict(X3)
有没有一种简单
浏览 2提问于2020-02-19得票数 1
这段代码在火花壳中是正常的，但在Intellj中是异常的.
这是错误信息。错误：(59，7)值toDF不是org.apache.spark.rdd.RDDWeather可能的成员:可能在“值toDF”之前缺少分号？}.toDF()
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.ml.feature.VectorAssembler
import org.apache.spark.ml.feature.StandardScaler
import org.apache.spark.ml.regres
浏览 0提问于2018-09-10得票数 0
回答已采纳
我正在尝试从spark-sql中的SQL语句中获取Integer。
var num_en = ctx.sql("SELECT count(*) FROM table WHERE lang = 'en'")
num = num_en.collect()(0)
num_en是一个SchemaRDD，根据我得到的错误，num是一个“行”。
<console>:144: error: type mismatch;
found : org.apache.spark.sql.Row
(which expands to) org.apache.sp
浏览 0提问于2014-07-03得票数 4
回答已采纳
我正在使用cloudera 5.4.1和spark 1.3.0
我写了这段代码
val path = "/input/"
val conf = new SparkConf()
.setAppName("Form Submissions")
val sc = new SparkContext(conf)
val sqlConf = new SQLContext(sc)
val df = sqlConf.read.avro(path)
df.foreach(println)
这是我的sbt文件
name := "SparkAvro"
versi
浏览 15提问于2015-12-04得票数 1
回答已采纳
当我尝试训练线性回归模型时，我得到了下面的异常(然而，当我使用单独的JVM训练模型时，同样的事情也可以正确执行)：
org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 13.0 failed 4 times, most recent failure: Lost task 0.3 in stage 13.0 (TID 28, impetus-dsrv07.impetus.co.in, executor 2): java.lang.ClassCastException: cannot
浏览 103提问于2017-12-20得票数 0
我使用maven为项目构建了*.jar文件。当我尝试执行主类时，在代码的某一行，它为类Exception in thread "main" java.lang.NoClassDefFoundError提供了错误org.apache.spark.ml.recommendation.ALS。
我运行火花-提交如下：
sudo -u hdfs /usr/bin/spark-submit --class
org.apache.spark.examples.ml.MyTest spark-examples-*.jar --rank 10 --path
/home/ubuntu/dat
浏览 5提问于2016-05-23得票数 0
知道如何用R来验证从spark.ml.regression.LinearRegressionModel中计算出来的系数吗？我尝试了R中的lm()函数，但是来自R和Spark的两组系数是完全不同的。也许我应该在R中使用其他函数？
// transform dataframe
val spark = SparkSession.builder().master("local").getOrCreate()
import spark.implicits._
val df = dataRDD.map{case(fdate, adHashValue, effectDummyArray, t
浏览 2提问于2020-11-20得票数 0
回答已采纳
我开始编写一个ML模型，用于对一系列文档中的段落进行分类。我写了我的模型，结果看起来很棒！但是，当我尝试提供一个不包含labelCol的CSV (即标记的列，我试图预测的列)时，它抛出一个错误！‘字段tagIndexed不存在。’ 所以这很奇怪。我试图预测的是"tag“列，那么当我调用model.transform(df) (在Predict.scala中)时，它为什么会期望一个"tagIndexed”列呢？我没有使用ML的经验，但是所有的DecisionTreeClassifiers在测试数据中都不存在labelCol。这里我漏掉了什么？ 我创建了模型，使用测试数据对其进行
浏览 10提问于2019-02-19得票数 0
回答已采纳
1回答
如何预测火花ML中的值
、、、
我是非常熟悉火花机学习(4天大)我在Spark中执行下面的代码我正在尝试预测一些值
我的要求是我有以下数据
列
Userid,Date,SwipeIntime
1, 1-Jan-2017,9.30
1, 2-Jan-2017,9.35
1, 3-Jan-2017,9.45
1, 4-Jan-2017,9.26
2, 1-Jan-2017,9.37
2, 2-Jan-2017,9.35
2, 3-Jan-2017,9.45
2, 4-Jan-2017,9.46
我需要预测什么是，SwipeIntime for Userid =1将出现在日期5-2017年1月-2017
浏览 5提问于2017-06-16得票数 2
回答已采纳
1回答
我正在使用Apche Spark回归和线性回归算法。我正在使用文档中给出的代码片段。现在，在最新版本Spark1.5中使用LogisticRegressionWithSGD和LinearRegression会引发问题。
用于LogisticRegressionwithSGD的参数值为
Stepsize=0.01
No.of迭代= 1000
minBatchFraction = 0.001
此值的混淆矩阵为
27821 0
2287 0
对于具有LogisticRegressionWithLBFGS，混淆矩阵的相同数据，
27541 280
1249
浏览 2提问于2015-10-06得票数 2
1回答
尝试用线性回归运行星火管道，我得以执行该模型，并寻找
为了找到我需要模型摘要的模型效率和其他指标，我找到了一些示例，我在下面作了评论，以供参考。
import org.apache.spark.ml.feature.VectorAssembler
import spark.implicits._
import org.apache.spark.sql
import org.apache.spark.sql.functions._
import org.apache.spark.sql.types.DecimalType
浏览 2提问于2020-03-12得票数 0
回答已采纳
3回答
我是新来的火花，我下载了预编译火花。
当我尝试从命令行上的bin文件夹运行shell时，它将返回
:cd /users/denver/spark-1.6/bin
:spark-shell
找不到命令
但如果我像这样运行
:cd /users/denver/spark-1.6
:./bin/spark-shell
它发射火花..。
你能告诉我为什么在第一种情况下会出现错误吗？
浏览 3提问于2016-02-25得票数 1
回答已采纳
我用火花-毫升来训练线性回归模型。它非常适用于spark版本1.5.2，但现在对于1.6.1，我得到了以下错误：
java.lang.AssertionError: assertion failed: lapack.dppsv returned 228.
它似乎与一些低水平的线性代数库有关，但它在火花版本更新之前工作得很好。
在这两个版本中，我在培训开始前都会收到相同的警告，表示它不能加载BLAS和LAPACK。
[Executor task launch worker-6] com.github.fommil.netlib.BLAS - Failed to load implementati
浏览 3提问于2016-06-03得票数 0
回答已采纳
在IntelliJ思想中，我试图使用spark代码执行一个Java -这将导致java.lang.VerifyError。
StackTrace如下：
错误执行器:任务0.0中的异常(TID 2) java.lang.VerifyError：(类：(Ljava/lang/Object;Ljava/lang/Object;)Lscala/Some；方法: tryCompare签名:tryCompare签名)错误的返回类型的函数在org.apache.spark.sql.catalyst.expressions.GeneratedClass.generate(Unknown源)在org.apac
浏览 3提问于2016-08-20得票数 1
回答已采纳
下面的示例代码来自《使用Spark的高级分析》一书。当我将它加载到spark-shell (版本1.4.1)中时，它给出了以下错误，表明它找不到StatCounter：
import org.apache.spark.util.StatCounter
<console>:9: error: not found: type StatCounter
val stats: StatCounter = new StatCounter()
^
<console>:9: error: not found: type StatCo
浏览 0提问于2016-01-24得票数 7
我看到了多个关于学习过程中的以下错误的简单问题：
AttributeError: LinearRegression对象没有属性.
我找不到任何关于我的问题的提示：
AttributeError: LinearRegression object has no attribute 'model'
我尝试用以下代码进行多线性回归y~x：
import statsmodels.api as sma
from sklearn import linear_model
#https://scikit-learn.org/stable/modules/generated/sklearn
浏览 4提问于2022-03-18得票数 0
回答已采纳
scala> spark.version res8: String = 2.2.0
我正在使用一个包含列locationID的spark。我创建了一个MLlib管道来构建一个线性回归模型，当我为单个locationID提供数据时，它可以工作。现在我想为每个“locationID”创建许多模型(生产中可能有几千个locationID)。我想为每个模型保存模型系数。
我不知道如何在Scala中做到这一点。
我的管道定义如下：
import org.apache.spark.ml.feature.{OneHotEncoder, StringIndexer}
import org.apache.
浏览 0提问于2018-04-12得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
云直播
对象存储活动推荐
腾讯云开发者
