首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >Pyspark: Multiple LInear REgression label字段不存在

Pyspark: Multiple LInear REgression label字段不存在
EN

Stack Overflow用户
提问于 2020-06-15 19:21:02
回答 1查看 264关注 0票数 0

我有一个数据帧,如下所示,称为training

代码语言:javascript
运行
复制
+------------------+------+
|          features|  MEDV|
+------------------+------+
| [6.575,4.98,15.3]|504000|
| [6.421,9.14,17.8]|453600|
| [7.185,4.03,17.8]|728700|
| [6.998,2.94,18.7]|701400|

我对此数据集运行线性回归

代码语言:javascript
运行
复制
from pyspark.ml.regression import LinearRegression
lr=LinearRegression(featuresCol='features',
                    predictionCol='predictions')
lrModel=lr.fit(training)

错误:

代码语言:javascript
运行
复制
Py4JJavaError: An error occurred while calling o51.fit.
: java.lang.IllegalArgumentException: label does not exist. Available: features, MEDV
    at org.apache.spark.sql.types.StructType.$anonfun$apply$1(StructType.scala:275)
    at scala.collection.immutable.Map$Map2.getOrElse(Map.scala:147)
    at org.apache.spark.sql.types.StructType.apply(StructType.scala:274)
    at org.apache.spark.ml.util.SchemaUtils$.checkNumericType(SchemaUtils.scala:75)
    at org.apache.spark.ml.PredictorParams.validateAndTransformSchema(Predictor.scala:53)
    at org.apache.spark.ml.PredictorParams.validateAndTransformSchema$(Predictor.scala:46)
    at org.apache.spark.ml.regression.LinearRegression.org$apache$spark$ml$regression$LinearRegressionParams$$super$validateAndTransformSchema(LinearRegression.scala:176)
    at org.apache.spark.ml.regression.LinearRegressionParams.validateAndTransformSchema(LinearRegression.scala:119)
    at org.apache.spark.ml.regression.LinearRegressionParams.validateAndTransformSchema$(LinearRegression.scala:107)
    at org.apache.spark.ml.regression.LinearRegression.validateAndTransformSchema(LinearRegression.scala:176)
    at org.apache.spark.ml.Predictor.transformSchema(Predictor.scala:178)
    at org.apache.spark.ml.PipelineStage.transformSchema(Pipeline.scala:75)
    at org.apache.spark.ml.Predictor.fit(Predictor.scala:134)
    at org.apache.spark.ml.Predictor.fit(Predictor.scala:116)
    at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)

这个不存在的标签是什么?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2020-06-15 19:28:04

标签列的参数名称称为labelCollabelCol的默认值为label。这就是Spark试图读取一个不存在的名为label的列的原因。

labelCol='MEDV'替换predictionCol='predictions'应该可以解决这个问题。

这里是API文档的link

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/62387133

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档