我知道“许多Arrow对象是不可变的:一旦构建，它们的逻辑属性就不能再改变了”()。在里有人说
Arrow C++中的表列可以分块，因此附加到表中是零拷贝操作，不需要简单的计算或内存分配。但是，我无法在文档中找到如何将行附加到表中。pyarrow.concat_tables(tables, promote=F
浏览 9提问于2022-03-10得票数 4
回答已采纳
1回答
正如您在下面的代码中所看到的，我在向保存在内存映射文件中的表添加新行时遇到了问题。我只想用新的行重写一次文件。import pyarrow as pa
table = pa.ipc.RecordBatchFileReader(source).pa.RecordBatchFileWriter(s
浏览 83提问于2021-03-12得票数 0
回答已采纳
我的Apache管道的目标是从BigQuery中的表中获取数据，然后将其输出到一个拼花文件中。我试图在Apache管道中使用 PTransform，它要求将schema作为pyarrow.Schema传递。这部分代码将不同类型的模式从BigQuery映射到各种pyarrow模式： 'STRING
浏览 3提问于2020-08-26得票数 0
回答已采纳
我在java (arrow-vector，arrow-memory-unsafe)和python (pyarrow) 中使用Apache库在不同的进程()中。我试图在内存中实现零拷贝DataFrame，但是在java库中找不到从python获得箭头向量的内存地址的API。我在pyarrow库中发现了该API，但在java库中却没
浏览 8提问于2020-12-30得票数 0
我正在编写一个lambda来读取存储在Parquet文件中的记录，将它们重组为partition_key: {json_record}格式，并将记录提交到Kafka队列中。我想知道，如果不立即将整个表读入内存中，是否有任何方法可以做到这一点。我尝试使用来自iter_row_groups库的fastparquet方法，但是我的记录只有一行组，所以我仍然将整个表加载到内存</e
浏览 16提问于2022-08-04得票数 1
我正在寻找一种方法将PyArrow表转换为内存中的csv，这样我就可以将csv对象直接转储到数据库中。使用，可以在磁盘上创建csv文件，但在内存中是否可以创建csv对象？我很难理解这些文件。提前感谢您的帮助！
浏览 10提问于2022-06-01得票数 0
回答已采纳
作为分析管道的一部分，我使用了大约60000个拼花文件，其中包含每一行必须连接的数据。每个文件都可以包含一组不同的列，在将它们与连接之前，我需要统一它们。()和pyarrow.parquet.ParquetDataset()分别读取每个文件。为此，我确定了导致错误的一个文件。这个文件在我的数据集中是最大的(496 MB，而其他<
浏览 35提问于2022-10-29得票数 0
回答已采纳
进程A打开一个文件，调用mmap并写入它，进程B做同样的操作，但是在进程A完成写入时读取相同的映射区域。
使用mmap，进程B可以从内存中读取文件，而不是磁盘，前提是进程A没有调用munmap。如果我想在Kubernetes中将进程A和进程B部署到不同的容器中，那么内存映射IO是否应该像最初的示例那样工作呢？容器B(进程B)应该像在我的常规Lin
浏览 2提问于2020-09-18得票数 5
回答已采纳
我有“旋转”格式的大型ish CSV文件:行和列是分类的，值是同构的数据类型。
有什么最好的方法(内存和计算效率)将这样的文件加载到具有“无轴”模式的pyarrow.Table中？换句话说，给定一个包含n行和m列的CSV文件，如何获得一个包含n*m行和一个列的pyarrow.
浏览 1提问于2022-03-28得票数 0
我有一个很大的压缩json文件，未压缩的单个文件大约有128GBs。使用.gz压缩时，文件大小约为21 is。我想利用pyarrow以块的形式读取文件，并将其转换为拼图数据集。我有以下代码，其中压缩的json文件通过pandas read_json读入块中，然后将这些块转换为apache箭头表，然后写出到parquet数据集： reader = pd.read_json("
浏览 59提问于2020-11-06得票数 0
4回答
如何使用pyarrow向parquet文件追加/更新？import pandas as pdimport pyarrow.parquet as pq
table2 = pd.DataFrame({'one'我在文档中没有发现任何关于附加拼花面板文件的内容。而且，您是否可以使用带有多处理的pyarrow来插入/更新数据。
浏览 2提问于2017-11-05得票数 36
回答已采纳
我使用pyarrow来创建和分析具有生物信息的镶嵌板表格，我需要存储一些元数据，例如数据来自哪个样本，它是如何获得和处理的。有没有办法用pyarrow编写文件范围内的Parq
浏览 17提问于2018-09-01得票数 17
回答已采纳
我正在开发一个python脚本，它将作为一个蔚蓝的应用程序功能运行。它应该从我们的gen1数据集中读取一个拼花文件，并对其进行一些处理。当在VS代码中以调试模式运行时，它工作得很好，但是当我将脚本部署到app函数时，它会以一条不太重要的消息检索一个错误。Functions.get_warehouse_from_sap”(失败，Id=227a48b8-0486-4c3f-8758-1f6298af68，Duration=9122ms)
当它试图读取拼花文件时会发生这种情况我尝试使用
浏览 11提问于2022-11-21得票数 0
2回答
我有一些编写代码的pyarrow拼图数据集。我想要有一个集成测试，以确保文件被正确写入。我想通过将一个小的示例数据块写入内存中的文件系统来做到这一点。但是，我正在努力寻找一种适用于pyarrow的-compatible内存文件系统接口。 您将在下面找到一个包含filesystem变量的代码片段。我想用内存中的<
浏览 35提问于2019-05-29得票数 1
回答已采纳
1回答
我一直在测试Azure上的地板文件，而不是将数据加载到PostgreSQL表中，因为我对熊猫做了很多提取/转换步骤，并且可能很快就会发现火花。是否有任何利弊使用吡箭打开csv文件而不是pd.read_csv？
我是否应该使用pyarrow来编写拼图文件而不是pd.to_parquet？最终，我将存储原始文件(csv、json和xlsx)。我用熊猫或pyarrow阅读了这些文件，添加了一
浏览 1提问于2019-09-15得票数 3
我有一些其他格式的大文件(总计约7,000个，每个4GB )，我想使用pyarrow.parquet.write_to_dataset()进行快速查询，将它们存储到分区(单元)目录中。目前，我正在使用以下过程遍历所有文件：import pyarrow.parquet as pq
for each_file in file_list:这是相当慢的，因为pq.write_to_dataset()需要大约27s才
浏览 9提问于2021-02-05得票数 1
1回答
["JAVA_HOME"]="/usr/java/jdk1.8.0_121"fs = hdfs.connect()
追溯(最近一次调用)：文件“1”，第1行，文件"/opt/cloudera/parcels/Anaconda/lib/python2.7/site-packages/pyarrow
浏览 1提问于2018-10-28得票数 4
我试图在磁盘上写入一个大的拼花文件(比内存更大)。我天真地认为我可以很聪明，可以使用ParquetWriter和write_table增量地编写一个文件，比如：import pyarrow.parquet asrows_dataframe, )但是，即使我正在生成块(<
浏览 8提问于2020-09-14得票数 5
我想以拼图文件格式将处理后的数据存储在pandas dataframe到azure blob中。但在上传到blobs之前，我必须将其作为parquet文件存储在本地磁盘中，然后再上传。我想把pyarrow.table写成pyarrow.parquet.NativeFile，然后直接上传。有没有人能帮我。下面的代码运行正常： import pyarrow as pa
import pyarrow.pa
浏览 20提问于2019-02-13得票数 3
回答已采纳
我想知道是否有一种方法可以转换PyArrow表，而不需要将它们转换成熊猫、数据仓库或python对象。其结果是： [[3 1 0 1] [2 0 3 1]]
[[3 3 2] [0 1 3]在我目前正在开发的程序中，我正在使用PyArrow来防止我在使用熊猫数据时遇到的内存泄漏问题，除了使用数据格式之外，我无法确定确切<
浏览 2提问于2021-06-22得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
