我试图从一个非常大的mysql查询中获取结果，并用Python将它们写到一个文件中，但我总是遇到内存过载错误。我已经轻松地攀升到60+ GB内存使用率，直到我耗尽内存，它崩溃。下面是我的代码片段： cursor.execute(my_query) f.wri
浏览 7提问于2020-05-20得票数 1
1回答
我不知道如何在UWP中计算大文件的散列。哈希算法接受IBuffer接口作为数据参数，无法从流中获取数据。只有两种方式看起来都是死胡同：
这里是来自MSDN的浓缩示例，它展示了如何在字符串中使用数据时的算法。= objAlgProv.HashData(buffUtf8Msg
浏览 1提问于2016-12-22得票数 1
回答已采纳
如何在不导致ast.literal_eval的情况下使用MemoryError解析大文件？例如，我想解析的文件是41 is。为什么ast.literal_eval需要这么多内存，而它只需要解析来获得数据结构？有没有办法减少内存的<
浏览 10提问于2014-01-04得票数 1
7回答
Python随机访问文件
、、、、
有没有一种Python文件类型可以在不遍历整个文件的情况下访问任意行？我需要在一个大文件中搜索，将整个文件读取到内存中是不可能的。
任何类型或方法都会受到欢迎。
浏览 0提问于2011-02-15得票数 20
回答已采纳
1回答
在理解Python Debugger中奇怪的文件锁定行为时，我遇到了一个问题。
我有一个2TB的图像文件，我的脚本读取它。所有的工作都很完美，直到我想用不同的十六进制编辑器读取相同的文件。在我停止脚本，甚至大量删除所有Python实例后，同样的问题也会出现。以下是更多细节：-我的系统是Mac Os X 10.9。Python是3.4。我使用Eclipse和Pydev来开发脚本。-我使用open('image
浏览 0提问于2014-06-02得票数 0
如何在不设置集群计算基础设施(如Hadoop或Spark )的情况下，将适度大小的Parquet数据集读入内存中的Pandas DataFrame？这只是我想在内存中阅读的少量数据--在笔记本电脑上使用一个简单的Python脚本。数据不驻留在HDFS上。它要么在本地文件系统上，要么在S3中。我不想分拆和配置其他服务，如Hadoop、Hive或Sp
浏览 22提问于2015-11-19得票数 146
回答已采纳
我用python写了一个爬虫，抓取的url有不同的类型:它可以是带有html的url，也可以是带有图像或大档案或其他文件的url。所以我需要快速确定这种情况，以防止读取大文件，如大档案，并继续爬行。如何在页面加载开始时确定url类型的最佳方式？我知道我可以做什么，网址名称(结尾是.rar，.jpg等)，但我认为这不是完整的解决方案。我需要检查标题或类似的东西来做这个？此外，我需要一些页面大小
浏览 0提问于2010-09-12得票数 3
回答已采纳
我有一个大小为Nx3的大二维数组。这个数组包含(X，Y，Z)格式的点云数据。我在虚拟环境中使用Ubuntu中的Python读取.ply文件中的数据。当我试图找到这个数组的协方差时，将rowvar设置为True (意味着每一行都被认为是一个变量)，我将得到MemoryError。据我所知，这正在创建一个非常大的数组，显然太大了，我分配的8GB内存无法处理。在不增加内存分配的情
浏览 1提问于2017-03-03得票数 0
回答已采纳
1回答
我有一个自我托管的网站，允许用户登录和查看存储在不同网络文件中的数据。web服务器正在运行一个访问数据并将其发送给用户的服务。web服务通过简单的SMB文件共享访问数据。它对网络一无所知，只是使用像\\dataserver1\foo\bar.jpg这样的简单文件。每个数据服务器都在存储价值为of的数据。我注意到数据访问速度比我预期的要慢一些。这是向用户提供数据的最佳方式吗？是否有比SMB文件共享更好、更有效的解决方案？这个系统完全是基
浏览 0提问于2010-08-27得票数 1
回答已采纳
2回答
我必须下载大文件(1XXMB)使用PHP。file_put_contents($something,'myfile.zip');
我需要有这么多的内存才能达到那个文件的大小
浏览 0提问于2010-10-23得票数 9
回答已采纳
我将编写一个用于管理和标记照片的web应用程序，我想征求关于选择合适的平台/框架的建议。从用户的角度来看，这个应用程序将非常简单，但是，我需要后端的一些更复杂的东西：
访问PostgreSQL并使用复杂<
浏览 2提问于2012-10-16得票数 5
我总是使用这个命令行来排序和获取uniq行，即使对于大文件(超过500,000行)，它也很有吸引力。sort filename.txt | uniq | sponge filename.txtf = open("filename.txt", "r")lines = lines.sort()但这当然是不可伸缩的，因为内存限制和用<
浏览 1提问于2013-11-04得票数 7
2回答
我将一个大文件(约2GB)上传到一个API中，该API使用Python的requests模块接受POST方法，这将导致首先将文件加载到内存中，并显著增加内存使用量。我相信还有其他一些方法可以在不增加内存负担的情况下将文件流到API中。有什么建议吗？这条老路对我来说很管用，但却消耗了太多的记忆。file = {'file': open(path, 'rb')}
requ
浏览 9提问于2022-07-08得票数 0
回答已采纳
2回答
现在，我正在编写一些Python代码来处理大量的twitter文件。这些文件太大了，无法放入内存中。为了和他们合作，我基本上有两个选择。我可以把文件分割成更小的文件，这些文件可以放进内存中。
我可以逐行处理这个大文件，这样我就不需要立即将整个文件放入内存中。为了便于执行，我更倾向于后者。但是，我想知道是否更快地将整个文件读入内存，然后从那里操作它。似乎不断地从磁盘逐行读取文件可能会很慢。但是，我仍然不完全理解这些过程是如何
浏览 4提问于2012-05-05得票数 8
回答已采纳
1回答
我正在使用boost::asio编写一个Http服务器。对于大型文件，为了避免将整个文件读入内存并发送到网络中，我使用boost::asio::async_write逐个读取在网络上发送的文件。问题是，我的生产者(从文件中读取的函数)比使用者(boost::asio::async_write)快得多，这导致了大文件的巨大内存消耗。
我想通过限制缓冲区列表来避免这个问题。我使用boost::io_service，线程池由n个线程组成，这是可配置的
浏览 5提问于2017-04-12得票数 0
回答已采纳
1回答
我编写了一个程序，它必须用operator>>读取一个大文件，计数一些东西，并将数据(string和int)插入到一个multimap。问题是程序崩溃了，它似乎是一个内存问题(它可以很好地处理小文件)。我认为它达到了Windows的内存分配限制。
我试过的是:我做了32位和64位的版本。如您所知，Windows的内存分配限制对于32位和64位构建是不一样的。两者都会崩溃。我查看了任务管理
浏览 4提问于2015-03-24得票数 1
回答已采纳
1回答
我们有一个用.NET 2.0编写的客户机(不能更改)。这个客户端与用.NET 4.0编写的web服务(没有WCF，只是普通的asmx)进行通信。现在，我们需要从web服务中加载相当大的文件(200 MB)。可能会有大约。1000个客户端同时连接并下载。当前ws方法的实现是，非常简单的。整个文件(顺便说一句是si XML )作为字符串在内存中读取，字符串返回。
稍微好一点的方法是将其
浏览 2提问于2013-04-21得票数 0
回答已采纳
我对熊猫使用jupyter笔记本，我想在一个大文件中找到我选择的一个重复单词，然后选择行并将其粘贴或附加到另一个文本文件中，例如用“test”这个词。linethis is a test fourth sample line并获得一个新的文本文件，只显示单词"test“所在的行：this is a test fourth sample li
浏览 4提问于2021-10-12得票数 0
回答已采纳
3回答
使用off_t作为一个函数(seek)的参数的库。库和应用程序的编译方式不同，一个关闭了大文件支持，另一个关闭了大文件支持。这种情况会导致奇怪的运行时错误，因为两者对off_t的解释不同。库如何在运行时检查应用程序的off_t大小？或者还有其他解决方案，这样至少用户会得到一个有意义的错误？
编辑:这个库(用c编写，用autoconf编写)已经存在
浏览 8提问于2008-10-29得票数 0
1回答
在大图像上保存形状
、、、、
我正在用Android创建一个2D图像编辑器，我有一个很大的问题，就是大文件放不进内存。我的问题是：图像需要良好的细节质量，因为它是建筑图像。
浏览 0提问于2012-10-08得票数 2
回答已采纳
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
