使用xlsx模块处理大文件时出现内存不足异常

当使用xlsx模块处理大文件时出现内存不足异常，这是因为xlsx模块在读取和写入大文件时会占用大量的内存。为了解决这个问题，可以采取以下几种方法：

分块读取：将大文件分成多个较小的块进行读取和处理，这样可以减少内存的占用。可以使用pandas库的read_excel函数，并通过设置chunksize参数来指定每个块的大小。
内存映射：使用内存映射技术可以将文件映射到虚拟内存中，从而避免一次性将整个文件加载到内存中。可以使用numpy库的memmap函数来实现内存映射。
使用其他库：除了xlsx模块，还有其他一些处理Excel文件的库可以尝试，例如openpyxl、xlrd等。这些库在处理大文件时可能具有更好的性能和内存管理。
增加系统内存：如果以上方法无法满足需求，可以考虑增加系统的物理内存，以提供更多的内存空间供程序使用。

总结起来，处理大文件时出现内存不足异常可以通过分块读取、内存映射、使用其他库或增加系统内存等方法来解决。以下是腾讯云提供的相关产品和链接：

腾讯云对象存储（COS）：适用于存储和管理大文件的云存储服务。链接：https://cloud.tencent.com/product/cos
腾讯云云服务器（CVM）：提供高性能、可扩展的云服务器实例，可用于处理大文件的计算任务。链接：https://cloud.tencent.com/product/cvm

请注意，以上仅为示例，实际选择产品时应根据具体需求进行评估和选择。

使用xlsx模块处理大文件时出现内存不足异常

node.js、memory-leaks、xlsx

const xlsx = require('xlsx') let workbook = xlsx.readFile(path) var range = xlsx.utils.decode_range(ref); }dothis('/storage/1million rec

浏览 5提问于2018-08-28得票数 0

回答已采纳

4回答

如何在C#中使用线程读取和解析非常大的平面文件？

我必须读取一个大的文本文件，并使用C#逐行解析它。对于小文件，这可以用StreamReader轻松完成，但在处理大文件时，它捕获了内存不足的异常。如何适配大文件？

浏览 2提问于2013-01-08得票数 3

2回答

处理要保存的非常大的文本数据的文件格式应该是什么？

android、file、size、limit

当您将文本存储在文件中并继续添加到文件中时，该文件是否有任何大小限制？一些崩溃或错误会导致损失吗。这个应用程序需要保存一个月的日志数据。

浏览 0提问于2017-07-27得票数 0

回答已采纳

1回答

Unirest获取大文件因内存不足异常而失败

java、rest、unirest

我使用unirest从服务器执行get操作。我的问题是，当下载一个大文件时，操作会失败，并出现内存不足异常。//localhost:8080/BigDataTEst") .asBinary(); 有没有办法使用

浏览 1提问于2014-11-23得票数 2

1回答

在spark上处理一个大文件的方法

hadoop、apache-spark、hadoop2

当我在星火集群上处理一个大文件时，会出现内存不足的情况。我知道我可以扩展堆的大小。但在更一般的情况下，我认为这不是一个好方法。我很好奇把大文件分成成批的小文件是个不错的选择。因此，我们可以批量处理小文件，而不是大文件。

浏览 5提问于2017-03-24得票数 0

回答已采纳

1回答

如何使用PhpExcel Codeplex仅读取指定的列

php

我使用的php库来自而且我还必须处理大文件。它会出现内存不足的问题。我已经提高了php.ini中的内存限制。所以我的问题是，我如何使用这个库来只读指定的列。谢谢

浏览 0提问于2013-04-23得票数 0

3回答

将大文件(300MB)写入内存流时出现内存不足异常

c#、.net、out-of-memory、httpwebrequest

当使用一个大文件的Http.Post时，我得到了一个内存不足的异常。当我试图将文件流数据写入内存流时，我得到了这个异常。

浏览 2提问于2011-08-26得票数 1

1回答

我正在尝试使用xlsx模块从excel表格中读取前五行数据。最初，我尝试使用sheet_to_json方法将整个工作表数据转换为数组数组。let sheetData = xlsx.utils.sheet_to_json(workbook.Sheets[sheetsList[i]], { defval: '',blankrows: true但是，当文件大小很大(一个工作表中存在10K以上的记录)时，就会出现问题(

浏览 1提问于2018-08-21得票数 5

回答已采纳

1回答

在WP8中下载文件时使用OutOfMemoryException

windows-phone-8

当我试图从windows mobile应用程序下载大文件(大小大于170 MB )时，我得到了这个异常。System.Windows.ni.dll中出现'System.OutOfMemoryException‘类型的未经处理的异常附加信息:内存不足，无法继续执行程序。奇怪的是，我只得到了几个文件的异常。我没有得到任何关于异常的其他细节，甚至我试图在Try客户端下载代码中放置Try- catch块，但这也没有触发。可能的原因

浏览 6提问于2014-02-06得票数 0

1回答

C#使用数据库上传和读取大文件

c#、sql-server、asp.net-mvc

我需要上传和读取大文件(大小超过500MB)。我在SQL Server中有一个数据类型为varbinary(MAX)的列文件要存储。我可以上传大小为250MB的文件。但是我尝试上传超过500MB的文件，在初始化字节数组时抛出“内存不足”异常。请让我知道，如果有人帮助我上传大文件或修复“内存不足的异常”的方法。谢谢。

浏览 2提问于2017-08-30得票数 0

3回答

向webservice c#发送大量数据时出现'System.OutOfMemoryException‘

c#、asp.net、web-services

当我使用web服务发送大量数据时，我得到了“内存不足异常”。它可以很好地处理少量数据。场景是这样的:这里我有一个名为clsMovie的实体类。这里用户上传大文件，超过250个MB.this文件被转换成数组的字节，并分配给clsMovie类的MovieData成员。当这个类的对象被传递给web服务时有大量的数据(数组的大字节)，我得到了“内存不足异常”。MovieType { get; set; }

浏览 2提问于2012-05-25得票数 2

2回答

如何使用Perl的Archive::Tar来压缩大于物理内存的文件？

perl、archive、tar

我使用的是Perl的模块。它的问题是，它将所有内容都拉到内存中，然后进行归档，然后写入文件系统，因此可以归档的最大文件大小是有限制的。大多数时候，它会显示“内存不足”。在GNU tar的情况下，它获取文件块，将其存档并将其写入内存，以便可以处理任何大小的文件。如何使用Perl的Archive::Tar模块做到这一点。

浏览 2提问于2009-03-17得票数 6

回答已采纳

2回答

正确配置以增加Umbraco处理内存

c#、.net、iis、umbraco、umbraco7

当我处理像1.6 in这样的大文件时，我总是得到一个SystemOutOfMemoryException。我只是想知道我在web.config中的配置是否正确。下面是我修改的代码行，以支持大小超过1 1GB的大文件 <httpRuntime requestValidationMode="2.0" enableVersionHeader="false" maxRequestLength我不确定我错过了什么，但我一直让系统内存不足异常，尽管我已经

浏览 36提问于2020-08-15得票数 0

回答已采纳

1回答

使用HttpWebRequest流式传输大文件时出现内存不足异常

c#、streaming、out-of-memory

当使用一个大文件的Http.Put时，我得到一个内存不足的异常。我使用的是一个异步模型，如代码所示。我正在尝试将8K数据块发送到Windows2008 R2服务器。当我尝试写入超过536,868,864字节的数据块时，总是会发生异常。下面的代码片段中的requestStream.Write方法出现异常。注意:较小的文件放入OK。

浏览 3提问于2011-06-06得票数 8

回答已采纳

1回答

使用Weka上传大(8 8GB)文件问题

dataset、weka

我正在尝试上传一个8 8GB的文件到weka，以便使用Apriori算法。服务器配置如下:-它的8处理器服务器，每个物理地址空间中有4个核心=40位，虚拟地址空间=48位。它是一个64位的处理器。我们已经使用XmX选项为JVM堆分配了32 We。我们担心的是，加载这么大的文件需要很长的时间(大约8小时)，java占用了107%的CPU和91%的内存，并且没有显示内存不足异常，weka显示正在读取文件。请告诉我如何处理大文件，这里到底发

浏览 0提问于2012-03-31得票数 0

回答已采纳

1回答

处理大文件时C# NAudio内存不足异常

c#、arrays、naudio、zedgraph

mainBuffer = new byte[wave.Length]; 我想做一些计算，并使用但是，当文件太大(大于100兆字节)时，wave.Read(mainBuffer, 0, mainBuffer.Length);会抛出内存不足异常。我该如何解决这个问题？

浏览 0提问于2013-10-03得票数 1

2回答

使用PHP脚本流式传输大文件

php、stream

使用在的注释中找到的类似脚本，我设计了这个函数： function readfile_chunked_remote($filename, $seek = 0, $retbytes = true, $timeout

浏览 2提问于2011-08-28得票数 0

3回答

处理位图时出现内存不足异常

java、android

在我滚动大约10-15张幻灯片后，我开始在跟踪和应用程序崩溃时收到内存警告和以下异常。我找不到解决方法来避免此异常。可能的原因是什么？我也尝试过在活动被销毁时将图像视图设置为空，但它对我没有任何作用？任何帮助都是非常感谢的。提前谢谢。

浏览 1提问于2011-12-23得票数 4

回答已采纳

1回答

附加到php中的大文件

php、io

我不能直接导出，因为我必须处理每一行，但这不是什么大问题。问题是当我在文件上调用fwrite()时，我得到了一个内存不足的异常：只有当文件大小达到700MB左右时，才会发生这种情况。我查看了，但仍然收到内存不足异常。在PHP中写入大文件而不必将文件加载到内存中有什么诀窍吗？

浏览 5提问于2015-01-15得票数 2

1回答

solr索引大文件的内容(甚至大于1 GB)

java、search、solr、lucene、full-text-search

对于大于此大小的文件，尽管将内存大小增加到4096MB，但仍会出现内存不足异常(一些博客建议使用Apache Tika对大文件进行索引，以避免内存问题。我还没有尝试过)。我想知道是否有更好的方法来索引大文件。我读过关于Data Import Handler(DIH)的文章，但不确定如何将其与现有的Solr设置集成。有人知道怎么处理DIH吗。从安装DIH到处理一些示例文件，一步一步的过程会有很大帮助。如果有任何其他的方法来索引大文件，请

浏览 0提问于2015-09-08得票数 0

点击加载更多