1回答
到目前为止，由于我正在处理的大文件，我的代码抛出了一个内存错误。import osprint 'runtime : ', end_time-start_time
浏览 12提问于2017-02-24得票数 0
回答已采纳
2回答
现在，我正在编写一些Python代码来处理大量的twitter文件。这些文件太大了，无法放入内存中。为了和他们合作，我基本上有两个选择。我可以把文件分割成更小的文件，这些文件可以放进内存中。
我可以逐行处理这个大文件，这样我就不需要立即将整个文件放入内存中。为了便于执行，我更倾向于后者。但是，我想知道是否更快地将整个文件读入内存，然后从那里操作它。似乎不断地从磁盘逐行读取文件可能会很慢。但是，我仍然不完全理解这些
浏览 4提问于2012-05-05得票数 8
回答已采纳
输入:12 to左右的大文件，带有序列文件，带~分隔符，我想在每10次出现时换行。y), 10)]] outfile.write("~\n".join(s))
当line.split('~')出现内存错误时我尝试使用y = [line.split('~') for line in f]，但没有使用相同的错误</
浏览 0提问于2017-07-10得票数 1
3回答
在php中处理非常大的文件的最佳方法是什么。这是我目前的情景：
I从网络管理系统(NMS)中提取关于所有网络元素的所有参数的原始文件(NMS运行在UNIX框中)。I使用PHP.I逐行处理原始文件。I使用PHP()行逐行处理原始文件，我使用字符串匹配和regexp匹配来提取必要的数据，直到我能够组成1行用逗号分隔的必要数据为止("，).--我重复步骤4，直到EOF，并拥有完整的CSV文件。我现在的问题是，我有一个达到多/少200 My的原始文件，并且有更多/更少180个列的数据
浏览 1提问于2012-05-16得票数 0
我必须读取一个大的文本文件，并使用C#逐行解析它。对于小文件，这可以用StreamReader轻松完成，但在处理大文件时，它捕获了内存不足的异常。如何适配大文件？
浏览 2提问于2013-01-08得票数 3
2回答
我需要使用Python脚本逐行读取一个大型数据文件(大约200 to )。a)通过显式地提到文件可以在任何时候加载到内存中的最大行数？或者b)通过大小为1024字节的块来加载它，假设所述块的最后一行完全加载而不被截断？
浏览 1提问于2014-08-21得票数 0
4回答
已经有人问过关于Python中内存错误的问题，但我想针对我的情况再问一个问题。我是编程和Python的新手。在解析大型文本文件(~8 8GB)时，行结果是"MemoryError“。我在Windows XP 64位和12 XP内存上运行Python MSC v.1500 64位(AMD64)的64位。除了安装更多的
浏览 2提问于2012-11-21得票数 0
回答已采纳
我们在磁盘中有几个大文件(大于RAM的大小)。我想在python中逐行读取它们，并在终端中输出结果。我已经经历了1和2，但我正在寻找不需要等到整个文件被读入内存的方法。我将使用这两个命令：python myScript2.py fileName
浏览 0提问于2011-10-17得票数 7
回答已采纳
我正在编写一个python脚本，在这个脚本中，我逐行读取一个5 GB的大文件，对每一行进行一些修改，然后将其写入另一个文件。当我使用函数file.readlines()读取输入文件时，我的磁盘使用率达到了90%，磁盘速度达到+100 my (我知道这种方法不应该用于大文件)。我还没有为上述情况测量程序执行时间，因为我的系统变得没有响应(内存变得满了)。当我使用像下面这样的迭代器时(这是我在代码中实际使用的)
with open('file.csv',
浏览 5提问于2017-06-19得票数 2
回答已采纳
1回答
我希望获得一个可能的大文件与喷雾，并处理它的增量，而不是将整个响应实体一次加载到内存。(具体地说，逐行处理CSV文件。)请求将发送给任意服务器，因此我不能期望得到块的响应。这个是可能的吗？
浏览 0提问于2015-05-21得票数 0
回答已采纳
2回答
我正在用Python语言创建一个多层字典，格式为: dict1 = {'':int}，dict2 ={‘’：Dic1}。
浏览 0提问于2013-01-27得票数 2
我正在使用下面的代码在Lua中加载一个非常大的文件(大约16 of )，并出现内存不足的问题。我想知道下面的代码是在内存中加载整个文件，然后逐行迭代，还是一次只加载一行？for line in f:lines() do ... end
在Lua中有没有更好的加载大文件的方法？
浏览 1提问于2016-07-01得票数 2
在.net/C#中，我需要解析一个大文件，所以不应该一次完全加载到内存中。有没有一种优化的技术来逐行读取并处理它们，同时将最后读取的n行保留在内存中，以便来回遍历它们？什么样的集合最适合这样的操作？
浏览 39提问于2019-11-22得票数 0
回答已采纳
1回答
我在使用mpdf时遇到了一些问题。我使用Codeigniter作为后端框架，数据库是ServerFatal error: Out of memory (allocated 823394304) (tried to allocate 230352 bytes
浏览 3提问于2015-10-28得票数 0
0回答
我想在Nim中逐行加载一个大文件。我尝试了以下代码片段： echo line
但是，这会将整个文件largefile.txt加载到内存中，当文件非常大且大于30is时，这是不可行的。如何在内存中只有一行的情况下迭代一个大文件？
浏览 0提问于2016-12-30得票数 7
回答已采纳
我将一些大文件作为字节数组读入，并将它们添加到数组列表中。坏的..。我最终在内存中存储了100mb的文件。我需要它们被处理并逐行输出(或每x行)。我该怎么做呢？
浏览 0提问于2011-11-04得票数 0
2回答
我知道它可以在sed中完成，但是sed给了我一个错误，我不知道如何修复它(dos2unix:在第625060行找到了二进制符号0x0008 )。因此，我正在尝试在NodeJS中修复此问题。问题是文件太大了，我得到这个错误，抛出新的错误(‘“toString()”buffer.js:513’)；
浏览 0提问于2017-05-31得票数 3
使用open()函数处理文件以创建“文件对象”f的标准Python方法允许您使用f.read()将整个文件一次性加载到内存中，或者使用for循环逐行读取： for line in f:我正在搜索几个大文件要做到这一点，最直观的方法是逐行读取模式的开头，然后在接下来的
浏览 10提问于2022-04-28得票数 1
我使用python2.7与svmlight一起存储和读取一个非常大的svmlight格式文件。sklearn该文件太大，无法存储在内存中我认为读取大文件的一个好方法是逐行逐行读取，以避免内存溢出。谢谢!
浏览 2提问于2017-07-17得票数 2
我有一个程序，它将一个大文件加载到内存中，逐行加载到一个数组中。一行=数组中的一个索引。
这是可行的，但现在我开始使用更大的文件，我正在摆脱内存错误，等等。我如何才能做到这一点，使我不会退出内存。
浏览 0提问于2014-05-13得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
