腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
在
Python
中
逐行
读取
大文件
,
同时
写入
不同
的
大文件
python
、
file
我正在尝试
逐行
读取
一个
大文件
,
同时
也
在
写入
一个
大文件
,我想知道这样做
的
“最佳”方法。我
在
reading a large file line by line上发现了这篇堆栈溢出
的
帖子,我想知道正确
的
方法来将写操作也合并到一个文件
中
。还有什么比嵌套第二个with open更好
的
吗?
浏览 21
提问于2019-06-01
得票数 0
回答已采纳
1
回答
Python
中文件操作
的
性能
python
、
performance
、
file-io
是
在
执行操作之前
读取
整个文件更好,还是在
读取
文件时执行操作更好? 如果我首先
读取
整个文件,我会将信息
逐行
存储
在
列表
中
,如果我
同时
读取
文件和操作数据,我将
逐行
读取
,并在
读取
一行后执行操作。如果能听到关于小文件和
大文件
的
想法,以及行动是否会有所
不同
,那就太好了。另外,我认为这些操作也起到了一定
的
作用;我正在
浏览 0
提问于2014-07-12
得票数 1
2
回答
两个大数据集相交
c#
、
python
、
database
、
bigdata
我有一个巨大
的
(100 4Gb) csv文件,有几列,还有一个较小
的
(4 4Gb) csv文件,也有几列。两个数据集中
的
第一列具有相同
的
类别。我想用
大文件
的
记录创建第三个csv,这个
大文件
碰巧
在
小csv中有匹配
的
第一列。在数据库术语
中
,它将是第一列上
的
一个简单连接。 我正在努力寻找最好
的
方法来提高效率。当较小
的
数据集适合内存时,我
在
考虑以一种集合
浏览 0
提问于2013-12-05
得票数 0
4
回答
高磁盘使用率是否意味着更快
的
文件读写操作?
python
、
file-handling
我正在编写一个
python
脚本,在这个脚本
中
,我
逐行
读取
一个5 GB
的
大文件
,对每一行进行一些修改,然后将其
写入
另一个文件。当我使用函数file.readlines()
读取
输入文件时,我
的
磁盘使用率达到了90%,磁盘速度达到+100 my (我知道这种方法不应该用于
大文件
)。当我使用像下面这样
的
迭代器时(这是我
在
代码
中
实际使用
的
) with op
浏览 5
提问于2017-06-19
得票数 2
回答已采纳
1
回答
如何在Golang
中
删除
大文件
的
第一个N字节?
go
我有一个大约10G
的
大文件
,我想删除这个文件
的
前10个字节。另一个想法是,我
逐行
读取
这个文件。
在
删除数据之后,我应该
逐行
写入
剩余数据。这样,可以节省内存,但是如果存在更好
的
方式呢?比如split reader还是split文件?
浏览 1
提问于2018-10-18
得票数 1
回答已采纳
1
回答
如何设计多线程和
读取
相同
的
输入
python
、
multithreading
我想设计我
的
平台来计算一些东西,结构是,我目前
的
结构是20个线程自己打开
大文件
,然后
逐行
读取
,由每个线程执行。然而,我想设计一个新
的
结构,只打开
大文件
一次,每个线程
读取
相同
的
内存块,有人能帮我吗?谢谢。
浏览 0
提问于2014-05-06
得票数 0
1
回答
告诉Linux
在
将文件
写入
磁盘时不要将其保存在缓存
中
。
linux
、
caching
我正在从用户模式应用程序将一个
大文件
写入
磁盘。与此并行,我正在编写一个或多个较小
的
文件。
大文件
不会在短期内被
读取
,但是小文件可能会被
读取
。我有足够
的
RAM用于应用程序+较小
的
文件,但对
大文件
不够。我能否告诉操作系统,
在
将部分
大文件
写入
磁盘后,不要将它们保存在缓存
中
,这样就可以为较小
的
文件提供更多
的
缓存?我仍然希望
写入</
浏览 5
提问于2020-09-21
得票数 0
回答已采纳
2
回答
如何在.net/C#
中
以最佳方式
逐行
读取
文本文件,
同时
保持最后n行
读取
?
c#
在
.net/C#
中
,我需要解析一个
大文件
,所以不应该一次完全加载到内存
中
。有没有一种优化
的
技术来
逐行
读取
并处理它们,
同时
将最后
读取
的
n行保留在内存
中
,以便来回遍历它们?什么样
的
集合最适合这样
的
操作?
浏览 39
提问于2019-11-22
得票数 0
回答已采纳
4
回答
在
c++
中
编辑大型文件
的
第一行
c++
在
C++
中
是否有任何“快速”方法来编辑
大文件
(~100 in )
的
第一行? 我知道我们可以
逐行
读取
文件,进行更改,将其
写入
临时文件,并将临时文件重命名。但是,我想知道是否有一种更快
的
方法来做到这一点(比如就地修改)?
浏览 1
提问于2015-06-25
得票数 2
回答已采纳
1
回答
在
dart
中
,如何在浏览器
中
逐行
读取
文件?
dart
在
服务器端,有文件操作
的
readline,非常方便处理
大文件
。但是,这在浏览器端是不可用
的
,我如何在浏览器端
逐行
读取
一个
大文件
?或者,我如何上传一个无法放入RAM
的
超
大文件
?
浏览 2
提问于2014-05-27
得票数 1
2
回答
PHP
逐行
读取
大型文件,字符串替换
php
、
string
、
replace
、
large-files
我想
逐行
读取
一个
大文件
,执行字符串替换,并将更改保存到文件
中
,IOW一次重写1行。PHP/ Unix中有什么简单
的
解决方案吗?我想到
的
最简单
的
方法是将这些行
写入
一个新文件
中
,然后替换旧
的
文件,但这并不优雅。
浏览 2
提问于2015-04-26
得票数 0
回答已采纳
3
回答
如何在
Python
中
逐行
读取
文件(或stdin)而不等待
读取
整个文件
python
、
filter
我们
在
磁盘中有几个
大文件
(大于RAM
的
大小)。我想在
python
中
逐行
读取
它们,并在终端
中
输出结果。我已经经历了1和2,但我正在寻找不需要等到整个文件被读入内存
的
方法。我将使用这两个命令:
python
myScript2.py fileName
浏览 0
提问于2011-10-17
得票数 7
回答已采纳
1
回答
我
的
python
代码
在
第一个实例之后停止,如何更改它?
python
我是
python
新手,我希望我
的
代码
逐行
读取
csv (
大文件
),然后如果实验ID是一个特定
的
数字,那么将该行
写入
csv。唯一
的
问题是它只写第一个实例,然后停止。有什么建议吗?谢谢。
浏览 3
提问于2017-03-15
得票数 0
回答已采纳
2
回答
Python
巨型文件
读取
python
、
file
我需要使用
Python
脚本
逐行
读取
一个大型数据文件(大约200 to )。a)通过显式地提到文件可以在任何时候加载到内存
中
的
最大行数?或者b)通过大小为1024字节
的
块来加载它,假设所述块
的
最后一行完全加载而不被截断?
浏览 1
提问于2014-08-21
得票数 0
3
回答
正在
读取
文件,内存不足
java
、
file
、
csv
、
io
我最近刚被问到一个面试问题,这个问题是关于从CSV文件
中
读取
并总结某些单元格
中
的
条目。当被要求对其进行优化时,如果给我们一个大小为100‘t
的
CSV,我无法回答如何处理内存耗尽
的
情况。
在
Java
中
,从文件
中
读取
究竟是如何工作
的
?我们怎么知道什么时候东西太大了?我们该如何处理呢?有人告诉我,你可以传入中间
的
读取
器对象,而不是试图
读取
整个对象?
浏览 0
提问于2015-10-06
得票数 0
2
回答
Java只从
大文件
逐行
读取
\n
java
7GB,这将完全破坏我
的
笔记本电脑内存。我想知道Java 6/7
中
是否有一种
逐行
读取
大文件
的
解决方案,其定义是只以\n结尾
的
行。 谢谢!我有一个,并想知道是否有人可以运行
浏览 7
提问于2014-04-20
得票数 0
回答已采纳
2
回答
重命名大型CSV数据文件
的
列
python
、
pandas
我有一个相当大
的
数据文件,即200%
的
可用内存,我想重命名这些列,并将其保存到一个新
的
文件
中
,并使用
不同
的
名称。print_columns(df) print_columns
浏览 5
提问于2020-04-24
得票数 3
回答已采纳
1
回答
python
sklearn
读取
非常大
的
svmlight文件
python
、
scikit-learn
、
sparse-matrix
、
libsvm
、
svmlight
我使用
python
2.7与svmlight一起存储和
读取
一个非常大
的
svmlight格式文件。sklearn该文件太大,无法存储在内存
中
。我正在寻找一种方法来迭代文件
的
批次,而不需要预先分割文件。 现在,我发现最好
的
方法是使用终端命令拆分svmlight文件。然后
读取
我创建
的
部分文件。我认为<
浏览 2
提问于2017-07-17
得票数 2
5
回答
在
c++中使用多核处理大型顺序文件
c++
、
multithreading
、
multicore
、
tbb
我有一个
大文件
(比RAM大,不能
同时
读取
整个文件),我需要
逐行
处理(
在
c++
中
)。我想利用多核,最好与英特尔TBB或微软PPL。我宁愿避免对这个文件进行预处理(比如将它分割成4部分等等)。我
在
考虑使用4个迭代器,初始化为(0,n/4,2*n/4,3*n/4)文件
中
的
位置等等。或者你可能知道一些支持高效并发
读
浏览 5
提问于2011-05-20
得票数 10
回答已采纳
1
回答
用tcl处理
大文件
scripting
、
tcl
、
stack-overflow
谁能告诉我如何更新以下程序以处理
大文件
(大小为<= 10G):set fp [open ${file} r]close $fp } 我
的
目标是
在
更好
的
运行时中
逐行
读取
一个
大文件
浏览 6
提问于2021-05-07
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
读取超级大的单个文件,用这个方法一招搞定,你一定用的着
超简单超详细python小文件、大文件、批量下载教程
轻量级Excel读取器ExcelReader
时间换空间-PHP大数组处理
当今对大数据技术人才有哪些要求?
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券