我是星火新手,我正在使用Scala创建一个基本分类器。我从文本文件中读取数据集,并将其分成训练和测试数据集。然后我尝试标记训练数据,但是它失败了
Caused by: java.lang.IllegalArgumentException: requirement failed: Input type must be string type but got ArrayType(StringType,true).
at scala.Predef$.require(Predef.scala:224)
at org.apache.spark.ml.feature.RegexTokenizer.vali
我正在做一个样例pyspark ml练习,其中我需要存储一个模型并将其读回来。我能够成功地保存模型,但当我试图读取/加载它时,它抛出了下面的异常。我是spark ml和python的新手,请在这方面指导我。
代码:
from pyspark.sql import *
from pyspark.ml.feature import RFormula
from pyspark.ml.classification import LogisticRegression
from pyspark.ml import Pipeline
from pyspark.ml.tuning import ParamGr