首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >在h2o.ai中,如何在java或scala中加载训练数据?

在h2o.ai中,如何在java或scala中加载训练数据?
EN

Stack Overflow用户
提问于 2017-04-22 15:58:07
回答 1查看 305关注 0票数 1

在我的项目中,我将使用H2O的机器学习算法。而我还没装上火车日期。我使用下面的方法。

代码语言:javascript
复制
 var f = FileUtils.getFile("D:\\from_2017_2_13\\untitled2\\src\\main\\resources\\extdata\\iris_wheader.csv")
 println(11111)
 var frame = FrameUtils.parseFrame(Key.make("iris_weather.hex"),f)
 println(22222)

11111已输出,则程序将运行,并且不会停止

代码语言:javascript
复制
 11111

另一种方式

代码语言:javascript
复制
 var f = FileUtils.getFile("D:\\from_2017_2_13\\untitled2\\src\\main\\resources\\extdata\\iris_wheader.csv")
 val parserSetup = H2OFrame.defaultParserSetup()
    parserSetup.setSeparator(',').setCheckHeader(ParseSetup.HAS_HEADER).setNumberColumns(5)
 val f3 = new H2OFrame(parserSetup, f)
    f3

错误

代码语言:javascript
复制
Exception in thread "main" java.lang.ArrayIndexOutOfBoundsException: 65535
 at water.DKV.get(DKV.java:202)
 at water.DKV.get(DKV.java:175)
 at water.parser.ParseSetup.createHexName(ParseSetup.java:594)
 at water.fvec.H2OFrame.<init>(H2OFrame.scala:56)
 at water.fvec.H2OFrame.<init>(H2OFrame.scala:84)
EN

回答 1

Stack Overflow用户

发布于 2017-04-23 01:22:46

要将数据作为H2O框架加载到Scala中,您可以执行以下操作:

代码语言:javascript
复制
import org.apache.spark.h2o._
import water.support.SparkContextSupport.addFiles
import org.apache.spark.SparkFiles
import java.io.File

val hc = H2OContext.getOrCreate(sc)

addFiles(sc, "/Users/avkashchauhan/smalldata/iris/iris.csv")
val irisData = new H2OFrame(new File(SparkFiles.get("iris.csv")))

加载数据后,您可以看到数据框,如下所示:

代码语言:javascript
复制
scala> irisData
res1: water.fvec.H2OFrame =
   Frame key: iris.hex
   cols: 5
   rows: 150
 chunks: 1
   size: 2454

一旦你摄取了数据框架,你就可以用它来构建模型了。如果你正在寻找在Scala中使用H2O库的示例,你可以在full end to end Scala based deep learning sample in H2O上找到这个博客。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/43556784

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档