腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(5769)
视频
沙龙
1
回答
python
中
的
PyArrow
与
C++
中
的
Arrow
进行
接口
时
如何将
Arrow
表
转
换为
Arrow
表
python
、
c++
、
pybind11
、
pyarrow
、
apache-arrow
我有一个针对Apache
Arrow
C++
库构建
的
python
库,它使用Pybind绑定到
python
。我希望能够用
C++
编写一个函数来获取用
PyArrow
构造
的
表
,例如: void test(
arrow
::Table test); 传入
PyArrow
表
,如下所示: tab = pa.Table.from_pandas(df) mybinding.test(tab) 如果我像上面
浏览 211
提问于2019-09-10
得票数 2
1
回答
通过pybind11到PyObject*
的
py箭头
表
c++
、
pybind11
、
pyarrow
、
apache-arrow
#include <pybind11/pybind11.h>#include <iostream>#include <
arrow
/table.h> // Convert
pyarrow
table to native
C++
object
浏览 21
提问于2022-01-07
得票数 2
1
回答
无法将“`
pyarrow
`”
表
传递给“箭头::
表
”
c++
、
pybind11
、
pyarrow
、
apache-arrow
我正试图通过
pyarrow
向
c++
传递一个pybind11
表
。在本例
中
,我只是试图打印从
pyarrow
传递来
的
一个
python
表
的
行数。#include <pybind11/pybind11.h>#include <iostream> #include <
arrow
/
python
浏览 5
提问于2022-01-07
得票数 0
回答已采纳
1
回答
从单个
Arrow
文件读取多个
表
pyarrow
、
apache-arrow
我已经创建了一个包含多个
表
的
Arrow
IPC文件。如何使用
pyarrow
逐个读取
表
?有例子吗?// table is a std::shared_ptr<
arrow
::Table> containing each // time a table
浏览 0
提问于2021-10-13
得票数 0
回答已采纳
1
回答
使用
pyarrow
读取大型压缩json文件,类似于pandas阅读器功能。
pyarrow
、
apache-arrow
我有一个很大
的
压缩json文件,未压缩
的
单个文件大约有128GBs。使用.gz压缩
时
,文件大小约为21 is。我想利用
pyarrow
以块
的
形式读取文件,并将其转
换为
拼图数据集。我有以下代码,其中压缩
的
json文件通过pandas read_json读入块
中
,然后将这些块转
换为
apache箭头
表
,然后写出到parquet数据集: reader = pd.read_json("file.json.gz首先,我希
浏览 59
提问于2020-11-06
得票数 0
4
回答
在
c++
中
读取拼图文件比在
python
中
慢。
python
、
c++
、
parquet
、
pyarrow
、
apache-arrow
我编写了代码来使用
c++
和
python
读取相同
的
拼图文件。对于
python
来说,读取文件所花费
的
时间要比在
c++
中
少得多,但我们通常知道,在
c++
中
执行比在
python
中
快得多。中使用
的
代码是-import pandas as pd import
pyarrow
as
浏览 4
提问于2021-06-06
得票数 1
回答已采纳
3
回答
是否有可能从cython
中
的
极性访问底层数据?
python
、
cython
、
python-polars
对于polars,是否存在访问cython/
c++
中
的
底层结构
的
问题? 我有许多获取np.ndarrays和迭代
的
脚本。极地有类似的东西吗?
浏览 16
提问于2022-07-24
得票数 2
1
回答
使用带
Pyarrow
的
datetimes溢出错误
datetime
、
parquet
、
pyarrow
、
apache-arrow
在尝试使用to_pydict()转
换为
Python
类型
时
,我收到以下错误: 82
pyarrow
/table.pxi in
pyarrow
.lib.Table.to_pydict (/
arrow
/
python
/
浏览 6
提问于2017-12-22
得票数 1
回答已采纳
1
回答
将熊猫数据文件写入羽毛或拼花文件,将列表值转
换为
numpy数组。
pandas
、
pyarrow
我用pd.to_feather()把熊猫
的
数据格式写到磁盘上,我注意到在把它们读回来之后,一些以前起作用
的
代码现在失败了。我刚刚检查了一下,原因是我
的
原始数据same有一些带有list值
的
列,当将这些值写入羽毛(或地板)
时
,这些值被转
换为
numpy.ndarray类型,因此从羽毛读取它们不会产生相同
的
原始类型。我读了皮亚罗
的
文档,搜索了熊猫
的
问题,但我什么也没找到。我
的
解决方案是把数据文件写成泡菜文件,但是它们比泡菜
浏览 9
提问于2022-10-29
得票数 0
回答已采纳
1
回答
如何在
c++
中
读取羽毛文件
时
启用内存映射
python
、
c++
、
pyarrow
、
apache-arrow
、
feather
在
python
和
c++
中
读取相同
的
羽毛文件
时
,函数
c++
比我为
c++
使用
的
API执行得更好。当我进一步研究
时
,我发现主要
的
区别在于在
python
中
,read_table() API使用了一个名为memory_map
的
标志(默认设置为true )。当我禁用此标志
时
,
c++
API
的
性能比read_table()在
浏览 1
提问于2021-06-11
得票数 1
1
回答
使用
Pyarrow
的
C++
API
的
一致示例
pyarrow
我正在尝试使用
Pyarrow
的
C++
API。目前在正式文档
中
还没有这方面的例子,这是我所能想出
的
最简单
的
方法:#include <
arrow
/
python
/platform.h> #include "
arrow
/
pyth
浏览 1
提问于2022-03-28
得票数 1
回答已采纳
1
回答
apache箭头如何促进“无跨系统通信开销”?
python
、
pyspark
、
rust
、
pyarrow
、
apache-arrow
我对这个项目的理解(通过
pyarrow
的
角度)是,它描述了数据
的
内存和格式,这样多个任务就可以像读取一个宝藏地图一样读取它,并且所有的任务都可以找到自己
的
方法来处理相同
的
数据(而不需要复制)。我想我可以看到
Python
/Pandas在单个进程
中
是如何工作
的
;很容易创建一个
Arrow
数组,将它传递给不同
的
对象,并观察整个“零拷贝”操作。然而,当我们谈论无开销
的
跨系统通信
时
,
浏览 1
提问于2019-09-17
得票数 5
1
回答
从数据帧转换而来
的
apache箭头文件在使用
arrow
.js读取
时
提供空。
python
、
node.js
、
pyarrow
、
apache-arrow
我使用.
arrow
将一个示例数据转
换为
pyarrow
文件import pandas as pd a 3 non-null int64 memory usage: 104.0 bytesconst
a
浏览 4
提问于2019-10-09
得票数 5
回答已采纳
1
回答
是否可以将行附加到现有的
Arrow
(
PyArrow
)
表
中
?
pyarrow
、
apache-arrow
我知道“许多
Arrow
对象是不可变
的
:一旦构建,它们
的
逻辑属性就不能再改变了”()。在里有人说
Arrow
C++
中
的
表列可以分块,因此附加到
表
中
是零拷贝操作,不需要简单
的
计算或内存分配。但是,我无法在文档中找到
如何将
行附加到
表
中
。
pyarrow
.concat_tables(tables, promote=False)也做了类似的事情,但据我所
浏览 9
提问于2022-03-10
得票数 4
回答已采纳
2
回答
如何从熊猫或碧萝中加载modin数据
pyarrow
、
modin
由于Modin不支持从s3上
的
多个py箭头文件中加载数据,所以我使用py箭头加载数据。import s3fs from
pyarrow
import parquet s3 = s3fs.S3FileSystemendDate"]如果我知道想要将数据放在Modin df中
进行
并行计算是否有一种方法可以直
浏览 4
提问于2020-09-02
得票数 5
2
回答
pandas.to_gbq()返回"ArrowTypeError:预期字节,得到一个'datetime.date‘对象’错误
python
、
pandas
、
google-bigquery
pandas.to_gbq()最近开始返回一个错误,尽管df模式/数据类型
与
BigQuery
表
的
数据类型完全相同,但当我试图将数据添加到BigQuery
表
时
,返回了一个错误。\cloud\bigquery\_pandas_helpers.py:617 in dataframe_to_
arrow
bq_to_
arrow
_array(get_column_or_indexreturn
pyarrow
.Array.from_pandas(s
浏览 49
提问于2022-07-08
得票数 3
1
回答
使用load_table_from_dataframe
时
出错
python
、
pandas
、
google-bigquery
在使用相同
的
方法
时
,获取以下错误:Traceback (most recent= dataframe_to_
arrow
(dataframe, bq_schema) File "/home/aarpan_roy/.local/lib/
python
2.7/site-packages(series, type=
浏览 5
提问于2020-08-23
得票数 0
2
回答
向HuggingFace数据集添加新列
python
、
numpy
、
word-embedding
、
pyarrow
、
huggingface-datasets
在我有5000000行
的
数据集中,我想在我
的
数据集中添加一个名为“嵌入”
的
列。args,**kwargs) 489数据集: List"Dataset”= list(out.values())如果isinstance( out,dict) out 490 #re-对输出应用格式 包装器
中
的
= InMemoryTable.from_pydict({name: column}) 3349 #串联
表
水平3350
表
= ConcatenationTable.from_ta
浏览 3
提问于2021-11-22
得票数 2
3
回答
熊猫to_gbq() TypeError“预期字节,得到一个'int‘对象
python
、
pandas
、
google-bigquery
我正在使用pandas_gbq模块尝试将数据添加到Google BigQuery
中
的
一个
表
中
。 ArrowTypeError:预期字节,有一个'int‘对象。我可以确认数据格式
的
数据类型
与
BQ
表
的
模式相匹配。我发现这篇文章是关于Parquet文件不能具有混合数据类型
的
: 在我收到
的
错误消息
中
,我看到了对Parquet文件
的
引用,所以我假设df.to
浏览 6
提问于2022-03-21
得票数 4
1
回答
将星星之火转
换为
熊猫
的
dataframe有例外:在使用基于文件
的
收集
时
不支持箭头。
python
、
pandas
、
azure
、
pyspark
、
azure-databricks
我正在尝试将星火数据转
换为
Azure数据库
中
的
熊猫数据。但我得到了以下错误:#read file接下来,我尝试使用下面的代码将其转
换为
熊猫数据格式我得到了以下错误:异常:在使用基于文件
的
收集
时
不支持箭头。以下是
浏览 0
提问于2019-08-26
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Pandas 2.0 简单介绍和速度评测
Apache Arrow和Java:大数据传输快如闪电
6个Python 的日期时间库
Python:如何用一行代码获取上个月是几月
最流行的开源数据分析,处理和可视化工具pandas的未来
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券