h2o和parquet -无法确定文件类型错误

文章/答案/技术大牛

发布

1回答

python、amazon-s3、parquet、h2o

我们使用H2O (最新版本3.22.1.1)从s3读取镶木地板数据。我们使用python与H2O对话。这是单个H2O实例，而不是集群。有时我们会得到这样的错误：服务器错误water.exceptions.H2OIllegalArgumentException:错误:无法确定文件类型。://BUCKET_NAME/5c2e3fdc0c9c1800019c73f9/part-00001-c3363

浏览 20提问于2019-01-04得票数 0

2回答

是目录的HDFS“文件”

hadoop、pyspark、hdfs、parquet

背景--我们正在尝试将不同的文件类型(csv或parquet)读入pyspark，而我的任务是编写一个确定文件类型的程序。看来，拼花文件总是目录，在HDFS中显示为目录。为什么有些文件--“文件”和“目录”？

浏览 2提问于2017-08-10得票数 0

回答已采纳

1回答

在Azure Synapse工作区上读取Parquet文件错误火花

exception、pyspark、apache-spark-sql、azure-synapse

我的星火作业失败了，有以下错误。有人能帮我调试这个错误吗？ at org.apache.parquet.bytes.BytesUtils.readIntLittleEndian(BytesUtils.java:85) at org.apache.parquet.h

浏览 21提问于2022-10-06得票数 0

2回答

获取错误nativeio.NativeIO:在Windows中通过eclipse运行NativeIO时无法初始化MapReduce库

hadoop、mapreduce

我已经通过参考在Windows7上配置了hadoop18/10/03 20:04:21 INFO util.NativeCodeLoader

浏览 1提问于2018-10-03得票数 1

2回答

似乎无法使最新版本的H2O工作

python、python-3.x、conda、h2o

我正在学习如何使用h2o，但我似乎无法在木星笔记本上获得最新的版本。我可以设法让它运行一个非常老的版本(大约一年零几个月)。删除h2o并只留下h2o-py将导致以下错误： H2OStartupError:无法启动本地服务器: h2o.jar未找到。当我试图初始化h2o时，我一直得到CalledProcess连接错误和H2O错误。我结合h2o-py、h2o和h2o

浏览 2提问于2019-07-25得票数 1

回答已采纳

2回答

将数据存储模式保存在S3位置

apache-spark、amazon-s3、pyspark、databricks

我使用以下命令从databricks中的S3读取一个拼图文件我想读取dataframe的架构，我可以使用以下命令来完成：但我无法将df_schama对象写入S3上的文件。我只想将dataframe的模式保存到AWS S3中的任何文件类型(可能是文本文件)中。df_schema.w

浏览 0提问于2019-06-21得票数 4

2回答

h2o as.h2o(data.frame)错误:无法确定文件类型

r、rstudio、h2o

我有一个由15458个对象和113个变量组成的数据框架。我想用as.h2o()将其转换为一个as.h2o对象。但我得到了以下错误：转换一个小的测试数据可以工作。有什么想法吗？

浏览 6提问于2015-08-20得票数 0

回答已采纳

3回答

如何阻止h2o将大量的.ERR、.OUT和其他日志文件保存到本地驱动器

r、logging、h2o

我目前正在运行一个脚本，其中正在为蒙特卡罗交叉验证的几个迭代生成多个h2o、glm和深度学习模型。当运行完成(大约需要半天)时，h2o会将大量文件保存到本地驱动器(大小可达8.5GB)。有办法阻止h2o保存这些文件吗？

浏览 1提问于2017-10-26得票数 2

回答已采纳

1回答

将稀疏矩阵导入h2o实例非常慢

r、performance、import、sparse-matrix、h2o

我在R中得到了21万x 500个稀疏矩阵，我试图用h2o进行聚类。H2O cluster total memory: 14.22 GB H2O cluster allowedH2O Connection port: 54321 H2O InternalSecur

浏览 1提问于2017-06-26得票数 0

回答已采纳

1回答

Python应用程序中的H20内存泄漏

python、pandas、h2o

我的决策引擎构建在uWSGI和Nginx的python-烧瓶框架上。作为通过HTTP请求评估用户的一部分，我使用h2o==3.20.0.7运行记分卡来生成一个分数来对用户做出决定。记分卡在HTTP请求下与其他规则(顺序运行)一起运行，但错误仅在计算记分卡时报告。假设它需要更多的内存，因为它涉及到h2o。这个周期的流量看起来是一样的。所以我希望这不是因为交通拥挤。60-70%的错误消失了。我

浏览 12提问于2020-04-12得票数 0

1回答

安装起泡水

r、rstudio

我正在尝试安装与我的h2o和Spark版本兼容的最新版本的起泡水，从下面的链接install.packages("https://s3.amazonaws.com/h2o-releaseUsers/USER/Downloads/sparkling-water-2.3.259_nightly.zip',repos = NULL, type = "win.binary") 但它会引发以下错误'sparkling-

浏览 2提问于2018-07-18得票数 0

1回答

无法从Python[H2O.ai]连接到正在运行的H2O.ai服务器

python、hadoop、h2o

从主节点连接到在EMR核心节点上运行的H2o服务器时出错。import h2o误差跟踪 h2o.connect(ip="IP", port=54321) File "/usr/local/

浏览 1提问于2017-05-04得票数 1

回答已采纳

1回答

Python找不到模块h2o

python、python-3.x、machine-learning、installation、h2o

我在Debian (通过apt)上安装了Python2和3，并在之后安装了H2O (因此在执行安装命令时使用pip3而不是pip )。: No module named 'h2o' UnsatisfiableError: The following specifications were found

浏览 2提问于2017-08-20得票数 1

3回答

Rstudio :无法在Centos上启动H2O.init

rstudio、h2o

H2o无法成功启动，但我仍然可以访问链接localhost:12345/flow/index.htmlH2o.init中的错误( max_mem_size = -1，max_mem_size= "4g"，ip = "localhost"，：H2O启动失败，停止执行)。登录操作系统 [root@xxxx]# tail -200f /tmp/RtmpYou3gq/h2o_tuongnv4_started_from_

浏览 6提问于2017-05-12得票数 0

1回答

如何将文件从谷歌云存储导入到在R中运行的H2O

google-cloud-storage、h2o

所以我相当确定我已经正确地设置了授权。我尝试过使用Sys.setenv(GOOGLE_APPLICATION_CREDENTIALS = "/full/path/to/auth.json")。但在任何情况下，我都无法在Rstudio中做到这一点： h2o.init() h2o::h2o.importFile(path = "gs://[gcs_bucket]/[tbl.csv],destination_frame = "tbl_f

浏览 18提问于2019-09-23得票数 1

1回答

如何在azure笔记本中访问blob存储中的np数组

python、azure、blob

Dataset.Tabular没有将npy作为可接受的文件类型导入到笔记本中，但具有csv和parquet。我有多个维度，所以不确定这两个维度中的任何一个对我都有效？

浏览 10提问于2021-02-25得票数 0

回答已采纳

1回答

H2OConnectionError:意外的HTTP错误: HTTPConnectionPool(host='localhost'，port=54321)：

python-3.x、h2o

(Java版本8更新74 (build 1.8.0_74-b02) windows version 10 pro )h2o.init() 检查是否有H2O实例在上运行.未找到。_base_url，max_retries，“\n”.join(错误)) h2o.exceptions.H2OConnectionError:无法在5次重试后建立到H2O云的链接08:43.85 H2OConnectionEr

浏览 0提问于2018-05-01得票数 3

1回答

ERRR:无法从free port = 54321找到/168.2.4.54的空闲端口

linux、hadoop、h2o

当这个错误发生时，我正在Hardoop上运行H2O。这是关于如何在Hardoop上安装和运行H2O的文档： ERRR:无法从free p

浏览 2提问于2018-05-08得票数 0

2回答

H2O数据准备导出到POJO

r、h2o

我是H2O项目的新手，但对将其用于我的web应用程序有很大的兴趣。我制作了一些教程，使用R中的h2o库构建模型，然后将其导出为POJO模型。我在H2O文档页面()的“H2O产品化”部分找到了一些例子，比如Consumer loan application和Storm bolt。但在第一种情况下，它们使用相同的功能集，而在第二种情况下，数据准备是用.java代码完成的(这一点我不确定，除了R之外，我的编程技能很差)。因此，我无法弄清楚如何在新数据集上使用R中的转换代码。

浏览 0提问于2018-01-30得票数 3

1回答