我希望可以问一个与特定教程相关的问题。也许有人在这里使用相同的教程,并知道答案。
我正在跟踪二进制分类数据库教程,使用Kaggle泰坦尼克号数据集。
本教程适用于标签数据集。执行下列步骤:
本教程使用一个大的标签数据集,该数据集被分割成一列火车和一个测试来构建模型并随后对其进行评估。我用我的火车数据集处理它,没有问题。
现在,我想对没有标签的Kaggle的一个单独的'test‘数据集进行预测(在我的例子中,是“幸存者”列,如果教程中缺少“收入”列)。
有人知道怎么处理这件事吗?我是否必须在测试数据集上单独执行教程的整个预处理部分,然后调用以下内容:?
finalPredictions = bestModel.transform(preprocessedUnlabelledTestDataset)
或者我是否需要在测试数据集中添加缺少的标签列(收入/生存),然后进行预处理,然后调用上面的内容?
发布于 2017-11-20 18:54:35
据我所知,您想要使用教程模型的泰坦尼克号数据集。最简单的方法是:
添加科尔名称,并添加一个名为train_or_test的列。
然后执行SQL转换,然后进行预处理。
然后替换这一行
(trainingData, testData) = dataset.randomSplit([0.7, 0.3], seed = 100)
for trainData = dataset.filter([dataset.train_or_test ==1) # assuming train is set to 1 testData = dataset.filter(dataset.train_or_test ==0) # assuming test is set to 0
,然后放弃cols,继续您的工作。
https://stackoverflow.com/questions/43707427
复制相似问题