腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
在
不加
载到
内存
中
的
情况下
,
如何将
.
csv
转
换为
.
arrow
文件
?
python
、
pandas
、
csv
、
pyarrow
、
apache-arrow
我在这里发现了一个类似的问题:Read
CSV
with PyArrow 在这个答案
中
,它引用了sys.stdin.buffer和sys.stdout.buffer,但我不太确定如何使用它们来编写.
arrow
文件
或命名它。我似乎
在
pyarrow
的
文档
中
找不到我正在寻找的确切信息。我
的
文件
不会有任何nans,但它会有一个带时间戳
的
索引。该
文件
大约为100 gb,因此不能简单地将其加
载到</em
浏览 91
提问于2021-10-18
得票数 2
回答已采纳
1
回答
UTF-16到C
中
的
UTF-8
c
、
csv
、
utf-8
、
utf-16
在
C语言中,我需要编写一个程序来解析以UTF-16编码
CSV
文件
,对其进行信息处理,并使用处理后
的
信息生成一个新
的
UTF-16
csv
文件
。到目前为止,我
的
程序所做
的
只是将
CSV
文件
( UTF-16 )
的
内容加
载到
一个
内存
块
中
,我现在需要以某种方式处理这个UTF-16
内存
块,我不确定如何在不转换它
的</
浏览 3
提问于2012-08-23
得票数 1
回答已采纳
1
回答
巨大核心
转
储
的
gdb
内存
使用情况
linux
、
gdb
、
coredump
当使用gdb打开核心
转
储时,gdb会尝试将完整
的
核心
转
储加
载到
内存
中
吗?我们
在
R
浏览 2
提问于2012-01-04
得票数 4
回答已采纳
3
回答
LINQ如何从大型XML
文件
中
搜索数据?
c#
、
.net
、
linq
我有一个大约500mb
的
xml
文件
,我正在使用LINQ和c#来查询这个
文件
,但它非常慢,因为它将所有内容都加
载到
内存
中
。有没有什么办法可以让我
在
不加
载到
内存
中
的
情况下
查询那个
文件
? 谢谢
浏览 0
提问于2010-06-22
得票数 1
2
回答
在
不将
文件
写入磁盘
的
情况下
将
csv
数据转
换为
dict
python
、
csv
、
unzip
这里是我
的
场景:我有一个压缩
文件
,我用requests下
载到
内存
中
,而不是编写一个
文件
。我正在将数据解压缩到一个名为myzipfile
的
对象
中
。zip
文件
中有一个
csv
文件
。我想将
csv
数据
的
每一行转
换为
字典。这是我到目前为止所拥有的。import
csv
import reques
浏览 10
提问于2020-09-11
得票数 1
回答已采纳
1
回答
我如何使用
Arrow
在
CSV
中
穿行?
python
、
pyarrow
、
apache-arrow
我想做什么,chunks = pandas.read_
csv
(data, chunksize
浏览 1
提问于2021-07-28
得票数 5
回答已采纳
4
回答
c#
中
的
大型xml到
csv
c#
、
.net
、
xml
、
csv
我需要将大约2gb
的
大型xml
文件
转
换为
csv
。因此,我将遇到
内存
不足
的
异常,因为xmldocument()无法将整个
文件
加
载到
内存
中
。我尝试过使用xml读取器,但我不确定如何在没有xml
的
dtd
的
情况下
完成它。 我
的
代码
在
c#
中
浏览 1
提问于2013-09-06
得票数 2
回答已采纳
3
回答
如何找到word
在
文件
中
的
位置?
python
例如,我有
文件
和单词"test“。
文件
是部分二进制
的
,但包含字符串"test“。如何在
不加
载到
内存
的
情况下
找到
文件
中
单词(索引)
的
位置?
浏览 2
提问于2011-08-08
得票数 6
1
回答
如何将
PyArrow表转
换为
内存
中
的
csv
pyarrow
、
apache-arrow
我正在寻找一种方法将PyArrow表转
换为
内存
中
的
csv
,这样我就可以将
csv
对象直接
转
储到数据库
中
。使用,可以
在
磁盘上创建
csv
文件
,但在
内存
中
是否可以创建
csv
对象?我很难理解这些
文件
。提前感谢您
的
帮助!
浏览 10
提问于2022-06-01
得票数 0
回答已采纳
1
回答
Scala & Finatra:将
文件
服务器响应直接从磁盘发送到网络w/o,加
载到
内存
中
java
、
scala
、
memory
、
jvm
、
finatra
我在工作
中
的
任务是通过finatra直接从磁盘向客户发送一个
文件
,而不需要加
载到
内存
中
(这些是非常大
的
文件
)。以下是我
的
问题:2)我认为,所有东西都
浏览 3
提问于2015-03-27
得票数 0
回答已采纳
1
回答
如何将
Google工作表
文件
写入系统上
的
Google
文件
结构
python
、
google-sheets
、
google-drive-api
但是,无论我尝试什么,我
的
Google都不允许用户将.gsheet写入或移动到G:驱动器
中
,而且它也不允许使用.gsheet扩展名重命名谷歌驱动器
中
的
文件
。我不能将任何.gsheet
文件
移动到G:驱动器(‘
文件
不再位于.’错误)。我也不能。 用.gsheet扩展名重命名G:驱动器
中
的
文件
(“
文件
太大错误”)。最疯狂
的
是:如果我将一个.
csv
文件</em
浏览 8
提问于2022-02-20
得票数 0
2
回答
GeoTiff光栅数据到德尔塔湖/ Parquet格式?
gis
、
databricks
、
raster
、
gdal
、
terra
因此,我一直
在
探索
在
Databricks平台上高效处理栅格数据
的
其他方法,该平台利用Spark / Delta表/ Parquet
文件
。第一步,我认为应该是将我
的
光栅作为一个
CSV
的
点,然后我可以加
载到
一个Delta表。但是
在
我
的
Databricks集群(128 3GB
内存
,16核)上运行了12个小时之后,一个3GB
的
光栅还没有完成(我正在使用下面的gdal2x
浏览 11
提问于2022-09-27
得票数 0
回答已采纳
1
回答
如何删除C#
中
的
CSV
记录?
c#
、
csv
我试图从
CSV
格式
的
文本
文件
中
删除记录。下面是我读取和插入记录
的
代码: con.ConnectionString = constr;from shop.txt where id like <something>OleDbException:此ISAM不支持删除受欢迎列表
中
的
数据
浏览 2
提问于2011-04-30
得票数 0
3
回答
arrow
_table = pa.Table.from_pandas(df) ...将Python对象转
换为
字符串时出错/UTF8
python
、
pandas
、
pyarrow
我写了一个简单
的
代码来读取带有熊猫read_
csv
的
.
csv
(完全依赖于熊猫
的
类型推断)。我收到错误消息:
arrow
_table = pa.Table.from_pandas(df)"): Error converting to Python objects to String/UTF8我
在
互联网上找不到任何有用
的
东西来解决这个问题。ERROR:root:2017-12-13 02:22:48 EXCEPTION IN (pqw
浏览 1
提问于2017-12-13
得票数 1
5
回答
如何使用python *
转
置/透视
csv
文件
,而不将整个
文件
加
载到
内存
中
?
python
、
csv
对于我
的
一条数据分析管道,我最终生成了许多单独
的
CSV
文件
。我想
转
置它们,连接它们,然后再
转
置它们。但是,数据量很大,因此将其全部加
载到
内存
中
是不切实际
的
。
浏览 0
提问于2011-08-23
得票数 0
回答已采纳
1
回答
如何将
MySQL
转
储
文件
转
换为
数据帧
我目前正在处理MySQL
转
储到Python dataframe。
转
储位于一个存储帐户上,可以通过Databricks
中
的
挂载点进行访问。没有可用于MySQL实例
的
数据库连接。互联网上
的
所有示例都集中
在
与MySQL数据库
的
连接上。 我
的
环境是Azure Databricks with Python。因此,像here这样
的
在线脚本不起作用,因为该脚本专注于本地环境,而不是存储在数据帧(笔记本电脑、PC)
中</em
浏览 7
提问于2021-11-12
得票数 0
4
回答
从python
中
的
文件
中
读取某些行而不将其加
载到
内存
中
python
、
python-3.x
、
csv
、
file
我有一个大
的
csv
文件
(90000行,20000列)。我希望使用索引列表从Python
中
读取某些行。但是我不想使用像"read_
csv
"这样
的
东西来加载整个
文件
,因为这样会填满我
的
内存
,程序就会崩溃。
在
不加
载整个
文件
的
情况下
,有什么方法可以做到吗? 如果对我
的
情况有帮助,我愿意更改输入
文件
(
浏览 4
提问于2022-08-19
得票数 0
回答已采纳
1
回答
示例
CSV
文件
太大,无法加
载到
R
中
?
r
我有一个3 3GB
的
csv
文件
。它太大了,无法加
载到
我电脑上
的
R
中
。相反,我希望
在
不加
载完整数据集
的
情况下
加载行
的
样本(比如1000行)。 这个是可能
的
吗?我似乎在任何地方都找不到答案。
浏览 2
提问于2013-11-24
得票数 5
1
回答
有没有一种
内存
高效
的
方法来转换输入流编码?
java
、
character-encoding
、
inputstream
我正在使用http客户端从Google Cloud Storage读取一个可能很大
的
CSV
文件
。获得
CSV
文件
后,我需要将其上传到另一个存储桶,并将数据加
载到
BigQuery表
中
。不幸
的
是,我正在下载
的
文件
是用UTF-16编码
的
,而BigQuery只支持UTF-8。我需要一种方法将数据从UTF-16
转
换为
UTF-8。= new ByteArrayInputStre
浏览 25
提问于2019-09-12
得票数 2
回答已采纳
1
回答
将xlsx
文件
加
载到
pig关系
中
csv
、
apache-pig
我正在尝试将xlsx
文件
加
载到
pig关系
中
。
文件
可以包含带有",“
的
数据作为数据
的
一部分。所以我不能将其转
换为
CSV
并加载它。因此,我尝试将xlsx
文件
加
载到
pig关系
中
,并将其用于进一步处理。但我不确定
如何将
xlsx
文件
加
载到
pig关系
中
。我尝试了几个选项,如下所示,但没有成功。当我
转
储数据时,它没
浏览 0
提问于2017-06-16
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Pandas 2.0 简单介绍和速度评测
Apache Arrow和Java:大数据传输快如闪电
Pandas 2.0正式版发布:Pandas 1.5,Polars,Pandas 2.0 速度对比测试
如何在Weka中加载CSV机器学习数据
你写的ML代码占多少内存?这件事很重要,但很多人还不懂
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券