如何在星火流中仅在新批次上重新训练模型(不使用以前的训练数据集)？
如何在星火流中仅在新批次上重新训练模型(不使用以前的训练数据集)？
提问于 2016-11-25 09:46:47
我正在尝试写我的第一个推荐模型(Spark2.0.2)，我想知道是否可能，在最初的火车之后，当模型详细说明我的所有rdd时，只为未来的火车使用一个增量。
让我通过一个例子来解释：
- 当系统启动时，第一批使用所有rdd (200000元素)执行第一次培训。
- 在列车的最后，模型被保存下来。
- 第二批应用程序(火花流)加载先前保存的模型，并侦听动态队列。
- 当一个新元素到达时，第二批应该执行培训(在增量模式下？！)没有加载所有的200000元素之前，但只是与模型和一个新的元素。
- 在列车的最后，更新的模型被保存。
问题是，是否有可能以某种方式执行步骤4？
回答 1
Stack Overflow用户
回答已采纳
发布于 2016-11-25 10:07:26
我的理解是，只有机器学习算法才有可能支持像StreamingKMeans或StreamingLogisticRegressionWithSGD这样的流培训。
引用它们的文档(见上面的活动引用)：
(StreamingLogisticRegressionWithSGD)在流数据上训练或预测一个logistic回归模型。培训使用随机梯度下降来根据来自DStream的每一批新数据更新模型(模型方程见LogisticRegressionWithSGD )。
StreamingKMeans提供了配置流k均值分析、对流模型进行培训以及使用该模型对流数据进行预测的方法。
让我担心的是，算法属于org.apache.spark.mllib.clustering包，现在已经不再推荐了(因为它是基于RDD的，而不是基于DataFrame的)。我不知道他们是否有JIRAs用DataFrame改造他们。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/40801931
复制相关文章
相似问题
腾讯云开发者
