如何在C++中写入Apache Arrow feather文件？

文章/答案/技术大牛

发布

1回答

c++、apache-arrow

将数据写入Apache Arrow支持的Feather format的C++代码的最小示例是什么？该文件稍后将用于从Python代码中执行mmapped读取。假设我们有一个arrow::Table实例，如何将它的内容写入到一个feather文件中？

浏览 193提问于2020-07-24得票数 0

1回答

如何在c++中读取羽毛文件时启用内存映射

python、c++、pyarrow、apache-arrow、feather

在python和c++中读取相同的羽毛文件时，函数c++比我为c++使用的API执行得更好。当我进一步研究时，我发现主要的区别在于在python中，read_table() API使用了一个名为memory_map的标志(默认设置为true )。请建议我如何为c++ i使用内存映射，因为在c++可用的文档中找不到任何感兴趣的API。我使用的代码是- #!<arrow::Table> *feathe

浏览 1提问于2021-06-11得票数 1

1回答

如何正确读取由pyarrow生成的Apache* Arrow *Feather文件？

javascript、python、apache-arrow、feather

我没有成功地使用python脚本生成的javascript来阅读Apache。我使用的是Apache项目中的py箭头和箭头/js。我创建了一个简单的python脚本来创建Feather文件：import pyarrow.feather as feather 如果我在python

浏览 2提问于2021-03-11得票数 3

回答已采纳

1回答

在C++中读取箭头羽化文件

pandas、apache-arrow、feather

我已经搜索了Arrow文档，但是对于如何将通过pyarrow生成的羽毛文件读回到C++中并不是很清楚。import pyarrow.feather as feather这不是推荐的流程吗？

浏览 3提问于2019-10-29得票数 0

2回答

读取GoLang或Javascript中的Arrow* Feather文件*

javascript、python、go、apache-arrow、feather

我正在寻找一种通过GoLang或Javascript读取羽毛文件的方法，或者一些不需要用户进行其他额外安装的其他语言。import datetimeimport pyarrow.feather as feather df = pd.DataFrame(index

浏览 12提问于2021-04-26得票数 0

回答已采纳

1回答

如何在Pycharm中将R变量传递给Python变量？

python、r、pycharm

我是Pycharm的新手；但是，我想利用我的R和Python知识。我是这两种语言的忠实粉丝，而且我不断地了解他们。我希望将一个R变量传递给Python变量，类似于木星笔记本。我在任何地方都找不到这样做的示例代码。x <- 5# Some conversion method needs to be addedPython控制台

浏览 2提问于2022-03-30得票数 1

回答已采纳

1回答

将ftr文件读入R

python、r、feather

我想在R中打开一个.ftr文件，而不是.feather文件！但是羽毛包和箭头一号都不能完成这项工作。ex1 <- feather::read_feather("bla.ftr") ex2 <- arrow::read_feather("bla.ftr") 做好这件事。箭头方法给出以下错误消息： Error in ipc___feather___Reader__Read(self,

浏览 28提问于2020-07-20得票数 1

1回答

Apache Arrow使用C++在拼图中编写嵌套类型

apache-arrow

不幸的是，我发现没有c++示例可以将嵌套类型(如带有Apache Arrow的地图)写入parquet中。模式的创建是清晰的，但不是箭头表创建部分。有没有男孩在例子上有提示或链接？

浏览 35提问于2021-04-24得票数 0

1回答

如果feather文件格式仍然相关，或者社区倾向于使用其他文件格式来存储大文件？

python-3.x、feather

我正在探索Python的文件存储格式选项，偶然发现了feather。我注意到上一次发布是在2017年，我担心它的长期存在。网络搜索正在撤回那些似乎都在2017年左右停止的帖子。

浏览 20提问于2019-11-06得票数 6

回答已采纳

1回答

如何将缓冲区中的文件从Python发送给Julia

python、tcp、ftp、julia、feather

我在Python中有一个大型的Pandas DataFrame，我想在一个朱莉娅程序(作为DataFrames.DataFrame对象)中访问它。由于我希望避免为从Python发送到Julia的每个文件写入磁盘，似乎将DataFrame存储在一个缓冲区中的Apache /Feather中，并通过TCP从python发送到Julia似乎是理想的。我试过很多次了，但想不出怎么做将Apache /Feather

浏览 10提问于2022-06-07得票数 4

1回答

箭IPC对羽毛

pandas、apache-arrow、feather、vaex

说：而是pandas的替代品，它有两个不同的函数，一个用于Arrow，另一个用于Feather。，另一种熊猫替代品，表明艾罗IPC和羽毛是一样的。

浏览 1提问于2021-06-09得票数 6

回答已采纳

1回答

用可从熊猫到R的空Int64导出数据

python、pandas、pyarrow、feather

我正在尝试导出一个数据文件，其中包含类别和，这样R就可以轻松地读取它。我押注于Apache羽毛，但不幸的是，熊猫的Int64数据类型似乎没有实现：import pandas as pd col2 = pd.Series([1, 3, 2, 1]).astype('Int64') df = pd.DataFrame({'a': col1, 'b': co

浏览 2提问于2019-10-26得票数 2

回答已采纳

1回答

在python中，从R data.table访问数据的推荐方法是什么？我能避免将数据写入光盘吗？

python、r、data.table

有什么推荐的方法可以将数据从R(以data.table的形式)传递到Python，而不必将数据保存到磁盘中？我知道我可以使用使用reticulate的R中的python模块(我认为可以在另一边使用rpy2完成相同的事情)，但是从我所读到的内容来看，损害了库的整体性能，因此很有可能存储到磁盘上使用python和运行我还喜欢这样，每当我在堆栈溢出中询问与data.table相关的问题时，我会很快得到一个高质量的答案，而对于Pandas，我却没有那么成功。

浏览 0提问于2020-08-18得票数 11

回答已采纳

1回答

R用羽毛格式写入字节向量

r、apache-arrow、feather

在R中，如何以羽毛格式将data.frame写入内存中的原始字节向量？arrow包有一个write_feather函数，其中目标可以是BufferedOutputStream，但是文档没有描述如何创建这样的流或访问它的底层缓冲区。除此之外，大多数其他包假定使用本地文件系统，而不是内存中的存储。预先感谢您的考虑和答复。

浏览 3提问于2022-08-18得票数 0

2回答

转换为羽毛文件创建巨大的文件

python、r、feather

我正在尝试将一个转换成一个，用于使用Python中的Pandas阅读。1 data_year, ) write_feather( "data_year.feather"Try 1返回Error: 'x' must be a data frame，Try 2实际上

浏览 2提问于2022-01-22得票数 2

回答已采纳

1回答

如何用pyarrow更改列数据类型

parquet、pyarrow、apache-arrow

我正在读取一组箭头文件，并将它们写入一个拼花文件：from pyarrow import parquet as pq for file_path in base_path.glob('*.arrow'): table = feat

浏览 4提问于2021-02-16得票数 2

回答已采纳

1回答

如何在没有任何其他依赖项(如火花、python等)的情况下，将parquet文件读取为R data.frame？

r、parquet

我需要阅读R中的一些“paraquet”文件。现在的问题是，除了R之外，我不允许安装任何工具。在R中是否有任何软件包可以在不使用任何其他工具的情况下读取“paraquet”？

浏览 1提问于2019-03-14得票数 4

2回答

如何获得带有lz4支持的R箭头包？

r、apache-arrow

与R一起安装的arrow包lz4不支持lz4：# [1] FALSEpackageVersion('arrow') # [1] ‘0.17.1如何获得具有R支持的arrow包？

浏览 18提问于2020-07-26得票数 5

回答已采纳

3回答

C++后端服务的Web界面

c++、webserver、embeddedwebserver

我目前正在开发一个后端服务，它有一个非常原始的接口，用于获取关于该服务的统计数据和信息。我想为它部署一个轻量级的web服务器，允许用户导航到它的IP地址，并收集有关该服务的统计数据和其他信息。我的后端服务做了很多视频编码之类的工作，所以我更喜欢不会占用太多CPU周期的东西。

浏览 1提问于2012-12-03得票数 2

2回答

从C++到Java传递内存数据结构(表格式)的最有效方法是什么？

java、c++、apache-arrow

这是否仍然是记忆中没有应对数据的最佳答案？() 我是不是遗漏了什么？

浏览 8提问于2021-09-02得票数 0

点击加载更多