我正在使用PyArrow的HDFS IO库运行一个Dask-YARN作业，它使用PyArrow的HDFS IO库将结果字典转储到HDFS中(代码如下所示)。然而，作业间歇性地遇到如下所示的错误，并不是每次运行，只是偶尔。我无法确定这个问题的根本原因，有人有什么想法吗？/io.pxi", line 72, in pyar
浏览 77提问于2019-08-07得票数 0
1回答
我正在尝试通过Pyarrow连接到HDFS，但由于无法加载libhdfs库而无法工作。libnativetask.so我得到的错误是()
File "/Users/PVZP/Library/Python/2.7/lib/python/site-packages&#x
浏览 9提问于2018-11-01得票数 9
我想做的是：fs = pa.hdfs.connect/hdfs.py", line 38, in __init__
File "pyarrow/io-hdfs.pxi", line 105, in pyarrow</e
浏览 0提问于2019-07-11得票数 0
回答已采纳
1回答
Please check out: http://continuum.io/thanks and https://anaconda.org
import osfrom pyarrow import hdfs
追溯(最
浏览 1提问于2018-10-28得票数 4
我的HDFS上有一个shapefile，我想用geopandas (版本0.8.1)在我的木星笔记本中导入它。我尝试了标准的方法，但是它不识别HDFS目录；相反，我相信它在我的本地目录中搜索，因为我对本地目录进行了测试，并且正确地读取了shapefile。这是我使用的代码：
shp = gpd.read_file('hdfs://hdfsha/my_hdf
浏览 5提问于2021-02-19得票数 1
回答已采纳
1回答
我正在尝试保存一个熊猫DataFrame到HDFS的CSV格式使用pyarrow上传方法，但CSV文件保存是空的。代码示例可以在下面找到。import ioimport pyarrow as pa
buf = io.StringIO()hdfs = pa.hdfs.co
浏览 0提问于2021-07-07得票数 0
我目前正在迁移旧的Arrow文件系统接口：
from pyarrow import fs以上所有这些都给我带来了相同的错误： File "
浏览 12提问于2020-03-31得票数 5
回答已采纳
我正在开发一个HDP集群，并试图使用pyarrow从HDFS读取一个.csv文件。我能够连接到hdfs，并使用info()函数打印有关文件的信息。但是当涉及到读取文件的内容时，我会得到一个pyarrow.lib.ArrowIOError.问题的根源是什么？这是我正在执行的代码import pyarrow as paimport
浏览 1提问于2019-04-16得票数 0
回答已采纳
我的操作系统是Windows 10 64位，我使用的是Anaconda 3.8 64位。我尝试用PyArrow模块开发Hadoop File System 3.3客户端。在Windows10上成功安装了带有conda的PyArrow。> conda install -c conda-forge pyarrowimport pyarrow</em
浏览 7提问于2020-10-21得票数 0
我正在尝试使用pyarrow将json文件保存在HDFS中。下面是我的代码。from pyarrow import hdfswith fs.open(outputFileVal1, 'wb') as fp:这会给出一个错误，即TypeError: a bytes-like object
浏览 1提问于2018-11-21得票数 1
还配置了必要的参数，以便python可以从hdfsh读取：export HADOOP_COMMON_LIB_NATIVE_DIR代码：pd.read_parquet('hdfs:///tmp/data/test.parquet', engine='pyarrow
浏览 22提问于2020-06-04得票数 2
1回答
我们正在试用dask_yarn版本0.3.0 (使用dask 0.18.2)，因为我使用的版本为0.10.0。我们正在尝试从hdfs读取csv文件，但是在运行dd.read_csv('hdfs:///path/to/file.csv')时出现了一个错误，因为它试图使用hdfs3。ImportError:找不到共享库: libhdfs3.so
这样做的正确语
浏览 4提问于2018-09-06得票数 0
我想写到hdfs的地板格式。当用下面的代码连接到hdfs时，我会得到错误"OSError: HDFS连接失败“。我不确定在建立这个连接时，主机、端口和用户参数是否正确。如何在我的计算机上学习这些参数？如果你能帮忙我会很高兴的。import pyarrow as paimpport pyarrow.parquet as pq
file = "source_path"
浏览 2提问于2021-12-14得票数 0
回答已采纳
我正在使用Dask分布式，并试图从存储在HDFS中的CSV创建一个数据格式。我认为与HDFS的连接是成功的，因为我能够打印dataframe列的名称。但是，当我试图在dataframe上使用len函数或任何其他函数时，会出现以下错误：我不明白
浏览 2提问于2019-04-30得票数 0
回答已采纳
我正在尝试安装“语法”包，它的依赖项包括包"vineyard“和"Graphviz”。我正在使用Pycharm，并且我能够毫无问题地安装Graphviz。然而，在安装“语法”和“葡萄园”包时，我得到了以下错误： C:\<mylib>>pip install grammar
Using cached https:-0.2.7-py3-none-any.whl 我得到以下错误： Processing c:<mylib>\vineyard_io<
浏览 33提问于2021-08-26得票数 1
回答已采纳
1回答
我有一个由分区的拼图文件组成的大型Impala数据库。我直接使用HDFS将一个Parquet分区复制到本地磁盘。此分区总共有15 of，由许多文件组成，每个文件大小为10MB。我正在尝试使用Pandas与Pyarrow引擎或Pyarrow直接读取，但它在内存中的大小使用了超过60‘t的RAM，并且它在使用所有内存之前不会读取整个数据集。内存使用量如此之大的原因可能是什么？
浏览 32提问于2019-02-02得票数 1
1回答
如何使用多处理拼花拼花
、、、、
我想使用pyarrow和multiprocessing同时读取多个hdfs文件。简单的python脚本可以工作(见下面)，但是如果我尝试使用multiprocessing做同样的事情，那么它将无限期挂起。我唯一的猜测是env在某种程度上是不同的，但是在子进程和父进程中，所有的环境变量都应该是相同的。，那么，可能的原因是什
浏览 5提问于2022-07-15得票数 1
回答已采纳
我尝试从存储在hdfs中的csv创建数据帧。连接成功。但在尝试获取len函数的输出时出现错误。://masterha/data/batch/82.csv')错误：Traceback (most recent call last): self.fh = fs.pahdfs.open(p
浏览 4提问于2019-11-27得票数 0
1回答
我已经安装了pyarrow，并希望连接到Hadoop集群中的hdfs文件。我有下面一行，这会给我带来错误。这是我收到的错误信息我应该如何安装libhdfs？我还需要做什么其他的依赖/
浏览 3提问于2019-06-24得票数 3
2回答
我有一些编写代码的pyarrow拼图数据集。我想要有一个集成测试，以确保文件被正确写入。我想通过将一个小的示例数据块写入内存中的文件系统来做到这一点。但是，我正在努力寻找一种适用于pyarrow的-compatible内存文件系统接口。 您将在下面找到一个包含filesystem变量的代码片段。我想用内存中的文件系统替换filesystem变量，稍后我可以在集成测试中以编程方式检查该文件系统。import pyarrow.parque
浏览 35提问于2019-05-29得票数 1
回答已采纳
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
