首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >如何从任务中调用Java / Scala函数?

如何从任务中调用Java / Scala函数?
EN

Stack Overflow用户
提问于 2018-08-24 01:40:43
回答 1查看 0关注 0票数 0

当我们使用Scala API时,RDD[LabeledPoint]使用预测的方法DecisionTreeModel是简单地映射RDD:

代码语言:javascript
运行
复制
val labelAndPreds = testData.map { point =>
  val prediction = model.predict(point.features)
  (point.label, prediction)
}

PySpark中的类似方法效果不佳:

代码语言:javascript
运行
复制
labelsAndPredictions = testData.map(
    lambda lp: (lp.label, model.predict(lp.features))
labelsAndPredictions.first()
代码语言:javascript
运行
复制
predictions = model.predict(testData.map(lambda x: x.features))
labelsAndPredictions = testData.map(lambda lp: lp.label).zip(predictions)

此处没有广播变量,Scala API定义predict如下:

代码语言:javascript
运行
复制
/**
 * Predict values for a single data point using the model trained.
 *
 * @param features array representing a single data point
 * @return Double prediction from the trained model
 */
def predict(features: Vector): Double = {
  topNode.predict(features)
}

/**
 * Predict values for the given data set using the model trained.
 *
 * @param features RDD representing data points to be predicted
 * @return RDD of predictions for each of the given data points
 */
def predict(features: RDD[Vector]): RDD[Double] = {
  features.map(x => predict(x))
}
EN

Stack Overflow用户

发布于 2018-08-24 10:47:19

使用默认的Py4J网关进行通信是完全不可能的,要理解为什么我们必须查看PySPark内部文档中的下图1:

票数 0
EN
查看全部 1 条回答
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/-100006047

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档