在不超过内存限制的情况下逐字节读取文件

文章/答案/技术大牛

发布

1回答

如何在Ada中读取大文件？

ada、filesize

我已经写了一个Ada程序来加密文件。它逐块读取它们，以节省目标机器上的内存。不幸的是，Ada的目录库读取Long_Integer中的文件大小，将读取限制为近2 2GB的文件。当尝试读取超过2 2GB的文件时，程序在运行时失败，并获得堆栈溢出错误。关于它的文

浏览 1提问于2012-10-29得票数 4

回答已采纳

1回答

python、file、byte

我想用Python读取一个非常大的文件(100 to )。我想出了逐字节读取该文件的想法。我试过了 with open("test.txt", 'rb') as f: data = f.read(1) 一切都很完美；只有一个字节被读取。问题来自于读取下一个字节。如果我用2替换参数1，它的输出将是2字节，而不是秒<em

浏览 25提问于2020-10-18得票数 0

1回答

(gdb) gcore gcore警告:内存读取文件

gdb、coredump

我在安道尔使用gdb，在Android shell中：./gdb --pid 29083 .gcore警告: corefile部分内存读取失败，在0x730c5000处为8192字节。保存的核心文件核心.29083 (gdb) 我还设置了ulimit -c 50000，但是内核转储仍然超过了这个限制。当我做ls -l检查文件大小时，它超过300 MB。在这种情况下

浏览 2提问于2014-07-20得票数 2

5回答

如何在不将整个文件加载到内存的情况下读取/流式传输文件？

c#、file、hash、md5、md5-file

如何在不将整个文件加载到内存中的情况下，读取任意文件并“逐段”处理它(意思是逐个字节或其他能提供最佳读取性能的块大小)？处理的一个示例是生成文件的MD5散列，尽管答案可以应用于任何操作。 (c#)

浏览 1提问于2011-07-29得票数 19

回答已采纳

1回答

读取输入流两次而不将其存储在内存中

java、stream、inputstream、pushbackinputstream

关于，据说InputStream可以用InputStream提供的mark()和reset()或使用PushbackInputStream多次读取。在所有这些情况下，流的内容都存储在字节数组中(即，文件的原始内容存储在主内存中)并多次重复使用。当文件的大小超过内存大小时会发生什么情况？是否有更好的方法可以在<

浏览 5提问于2016-07-13得票数 6

回答已采纳

2回答

在Python中限制socket上的读行长度

python、sockets、readline

我在服务器上工作，所有的数据都是基于行的。当一行超过给定的长度时，我希望能够在不读取任何数据的情况下引发异常。例如，即使行长度限制为1024字节，客户端X仍然发送一条长度为16 is的行。读取超过1024字节后，我希望停止读取其他数据，关闭套接字并引发异常。我查看了文档和一些源代码，在不重写_readline方

浏览 8提问于2012-07-01得票数 1

2回答

Python如何将内存空间分配给包含数据的数组？

python、arrays、memory

我需要以以下格式发送包含大小不超过250个字节的十六进制值的字节数组：现在，我已经阅读了关于将内存分配到数组的堆栈溢出的多个帖子，但我没有找到任何可行的解决方案。我需要将数据限制在250个字节，因为我将把这些数据发送到一个只读取250个字节</

浏览 4提问于2016-06-08得票数 1

2回答

用于满足我的需求的java excel api？

java、excel、apache-poi

详细信息：不能直接使用自定义颜色。我的要求是逐像素读取图像(例如，1024x764)，并在excel工作表的行和列中写入像素值，每个不同的像素值都有不同<

浏览 2提问于2013-12-12得票数 0

3回答

XmlMtomReader阅读策略

c#、xml、xml-serialization、xmlreader、mtom

mtomReader.Close(); 问题是二进制附件的大小有时会超过100Mb。有没有办法逐块读取元素的二进制附件，然后将其写入临时文件流，这样我就可以避免为漏洞内容分配内存？第二个--甚至更具体的问题--在我读取元素的内容之前，mtomReader是否会为mime二进制附件创建任何内部缓存，即为二进制数据分配内存？或者直接从输入流中读取字节

浏览 6提问于2009-09-30得票数 3

回答已采纳

2回答

带有XML的Android OutOfMemoryError

android、networking、io、out-of-memory

我正在构建一个从服务器获取XML，然后对其进行解析的应用程序(它是DIDL格式的，在某些地方)。我们的目标是将尽可能多的内存加载到内存中，让用户更容易浏览(以便快速浏览结果)，但我一直在使用OutOfMemoryErrors。我对Android还是个新手，看起来虚拟机对事情真的很挑剔。我加载的XML不超过一兆字节，并且几乎立即丢弃它。我应该做些什么来防止这些错误的

浏览 0提问于2011-02-28得票数 1

回答已采纳

4回答

如何在php中读取大文件而不受内存限制

php、file、memory-limit

我正试着逐行读取文件。问题是文件太大(超过500000行)，我达到了内存限制。我想知道如何在不受内存限制的情况下读取文件。我正在考虑多线程的解决方案(比如将文件分成更小的组(每组100000行)，然后在多线程中读取它)，但我不知道如何详细执行。请帮帮我(很抱歉我的英语不好)。

浏览 6提问于2019-04-01得票数 4

1回答

拆分字节数组以映射java类对象中的字段的有效方法

java、bytearray、readfile

在Java中，有没有一种更有效的方法来分解字节数组中的数据？我已经写了下面的函数来读取固定长度数据字段的二进制文件。但是性能非常慢，我需要读取一个包含30,000条记录的二进制文件，每条记录的长度为300字节，并且每条记录包含240个字段。有什么建议吗？

浏览 0提问于2011-11-16得票数 1

回答已采纳

3回答

处理一个大(GB)文件，快速和多次(Java)

java、machine-learning、bigdata、large-files

有哪些选项可以快速、多次地处理大型文件？我有一个文件(至少1.5GB，但可以超过10-15GB)，需要多次读取--大约是几百到数千次。服务器拥有大量内存(64+ GB)和大量处理器(24+)。该文件将是顺序的，只读的。文件在磁盘上加密(敏感数据)。在读取过程中，我还使用MessagePack将它们反序列化为对象。我不能将从文件中创建的对象存储到内存</e

浏览 5提问于2014-05-02得票数 4

回答已采纳

2回答

Java中的自动编译、自动运行、自动比较结果

java、programming-languages、runtime、memory-management、performance

亲爱的，我是Java领域的新手，现在我正试图在Java下开发一个应用程序来完成这些工作:假设: Java中有一个包含源代码的文件。让我们假设该文件包含一个main类(以及它的main方法和几个附加方法)和一些内部类，这些类将在主类运行时使用。程序：编译阶段完成后。我希望ASIN将分配一些内存空间32 Mb (例如)，并给最大运行时间2秒

浏览 2提问于2011-03-14得票数 2

4回答

在缓冲输入流中使用标记读取限制是什么？

java、stream、bufferedinputstream

我对Java流很陌生，我想阅读一个特定的文件内容，然后从一开始就需要读取它。参数读取限制是在标记无效之前设置标记后可以从流中读取的字节数。例如，如果调用mark()的读取限制为10，那么在调用reset()方法之前从流中读取11字节的数据时，标记无效，流对象实例不需要记住标记。请注意，此方法可以记住的<

浏览 9提问于2017-02-22得票数 4

3回答

fpasstrhu中允许的内存大小已耗尽

php、memory

在PHP中，有没有一种方法可以在不超过内存的情况下向浏览器发送一个大文件(大约700MB)？我尝试使用fpassthru和readfile，但它超出了内存限制。

浏览 2提问于2011-03-08得票数 2

回答已采纳

1回答

在C中使用malloc确保用户输入特定的数字

c、string、integer、malloc、atoi

说要求是4位数，如果用户输入5，那么程序一直要求用户租用准确的4位数。char *str;在代码中运行此操作会导致seg错误。有人能帮我吗？这是问题的完整代码。

浏览 1提问于2020-01-26得票数 1

回答已采纳

1回答

如何在go单元测试中限制/门内存的使用

unit-testing、testing、memory、go

是否有办法限制单元测试中的内存使用/增长量？例如，在java中，我们可以：long after= Runtime.getRuntime().freeMemory() (粗略地)断言我们使用的字节不<e

浏览 2提问于2017-02-20得票数 4

5回答

在Mac上，中等大小的内存分配如何在64位进程中失败？

macos、64-bit、memory-management、nsdata

该应用程序经常将JPEG图像解压缩到内存中的位图缓冲区中.这些图像的大小被限制在1亿像素(通常不超过1500万像素)。有时，这些缓冲区的内存分配失败：[[NSMutableData alloc] initWithLength:]返回nil。这似乎发生在系统的自由物理内存接近于零的情况下。我对的理解是，64位进程中的分配几乎(原文

浏览 1提问于2011-03-02得票数 12

回答已采纳

3回答

超过类文件格式限制

java、sql、derby

我有一个很长的sql，它的大小超过150000字节。我试过在德比编辑上运行。当我想要运行时，编辑将抛出此错误。Java类文件格式限制超过:方法1:生成类中的E1代码长度(158045 > 65535) ps:我不想把代码分成几个部分。我也不想用临时桌子。

浏览 3提问于2013-11-28得票数 0

回答已采纳

点击加载更多

如何在Ada中读取大文件？