2回答
使用WWW:Mechanize将文件下载到磁盘，而无需先将其全部加载到内存中
ruby、mechanize
我正在使用Mechanize来帮助下载一些文件。目前，我的脚本使用以下代码行实际下载文件...但是，这会先将完整文件下载到内存中，然后再将其转储到磁盘如何绕过这种行为，直接下载到磁盘</e
浏览 2提问于2010-12-06得票数 18
1回答
Perl -将对象大小机械化得太大
perl、www-mechanize、chunks
我正在尝试使用WWW::Mechanize从数据库中获取一个xml文件。我知道这个文件相当大(比我的内存还要大)，它经常崩溃，要么我试图在浏览器中查看它，要么尝试使用get()存储在一个文件中。我计划在将来使用XML::Twig，但我永远无法将结果存储在文件中。
有没有人知道如何将机械化的对象分割成小块，一个接
浏览 1提问于2015-05-14得票数 1
回答已采纳
1回答
使用BACPAC文件将数据库从SQL Server迁移到Azure
sql-server、azure、ssms、azure-sql-database
我有一个从SSMS导出的BACPAC文件，其中包含我的模式和数据，当前位于我的本地磁盘中。如果不是，谁能解释一下这个中间步骤的必要性？
浏览 1提问于2016-11-16得票数 1
2回答
使用FileUtils将WWW：：机械化：：文件保存到磁盘
ruby、mechanize
我使用agent.get('http://example.com/foo.torrent')、FileUtils或其他方式获得某个文件，如何将该文件保存到我的硬盘上(例如，在运行脚本的目录中)？P.S. class => WWW::Mechanize::File
浏览 0提问于2009-12-14得票数 3
回答已采纳
1回答
如何将期货：：流写入磁盘，而不首先将其完全存储在内存中？
stream、rust、future
这里有一个用Rusoto S3下载文件的示例：
问题在于，它似乎正在将整个文件下载到内存中，然后将其写入磁盘，因为它使用的是方法，它需要一个字节数组，而不是流。如何使用，它实现了将文件流到磁盘上的？
浏览 1提问于2018-11-11得票数 1
回答已采纳
1回答
Scala & Finatra:将文件服务器响应直接从磁盘发送到网络w/o，加载到内存中
java、scala、memory、jvm、finatra
我在工作中的任务是通过finatra直接从磁盘向客户发送一个文件，而不需要加载到内存中(这些是非常大的文件)。以下是我的问题：2)
浏览 3提问于2015-03-27得票数 0
回答已采纳
1回答
Pandas数据帧到内存中的parquet缓冲区
python、pandas、performance、memory-management、parquet
使用案例如下：我一直在尝试在内存中执行第二步(不需要将文件存储到磁盘以获得parquet格式)，但到目前为止，我看到的所有库都是写入磁盘的。因此，我有以下问题：
如果在内存中完成转换，性能不是更好吗?因为您不必处理I/O磁盘</em
浏览 65提问于2018-10-23得票数 7
3回答
在iOS中播放加密的mp3
ios、audio、encryption、mp3、avaudioplayer
我有一个需要在iOS中播放的aes加密的mp3文件；出于安全原因，我不能将该文件解密到磁盘，也可能因为内存限制而无法将其解密到内存。有没有一种方法可以直接播放加密文件，或者将其流式传输到播放器，而无需将其全部加载到内存中？我真的很困惑，我甚至不知道从哪里开始…我正在使用AVAudioPlayer播放文件，但我猜
浏览 0提问于2012-06-15得票数 0
回答已采纳
1回答
S3阅读器在read_csv()中是先将文件下载到磁盘，还是使用流？
python、pandas、apache-spark、pyspark
我在Pandas中使用read_csv读取来自S3的数据。我想知道它是先将文件下载到本地磁盘，然后加载到内存中，还是直接将传入的数据流到内存中，而不需要加载到磁盘的中间步骤。
浏览 5提问于2016-04-05得票数 3
回答已采纳
1回答
更多的内存和速度有效的方式读取和保存图像？
python、pandas、pickle
for image in imagenames_list:在对数据进行预处理之后，我创建了一个熊猫数据文件，并将其保存为一个泡菜文件：
由于大量的图像，我有一个比较大的泡菜文件(3GB正因为如此，它会在这个文件中持续一段时间来阅读，而且它还需要大量的内存
浏览 1提问于2020-05-19得票数 0
回答已采纳
2回答
如何用PHP优化接收POST文件并将其放入S3
php、amazon-s3
我有以下场景:许多图像文件被发布(http POST)到一个php脚本。然后，脚本在数据库中进行一些设置(这很快)，然后将图像文件保存到S3存储桶中。为了放大这一点，我认为内存中的所有图像加载都限制了我的脚本可以同时接收的图像数量。
问:是这样吗？如果是这样，我如何才能限制损坏，也许可以避免将该图像加载到内存中？(我不需要对它做任何操作，只需将其发布到S3并在数据库中做笔记)。
浏览 0提问于2011-02-10得票数 0
2回答
使用rest客户端将文件下载到磁盘，而不首先将其全部加载到内存中。
ruby、memory、memory-management、download、out-of-memory
我使用rest客户端下载大页面(大约1.5GB的大小)。检索到的值存储在内存中，而不是保存到文件中。但是没有必要将这些数据保存在内存中，甚至可以直接保存到磁盘中。我发现“您可以：(.)手动处理响应(例如，将其作为流操作，而不是将其全部读取到内存中)--有关更多信息，请参见RestClient：：Request的
浏览 6提问于2015-03-12得票数 11
回答已采纳
1回答
ruby open流是否控制下载或保存到临时文件？
ruby、open-uri
我在服务器上有一个很大的CSV文件，我想要下载并处理成块，而不需要将整个文件读入内存中。do |fifty_thousand_lines| end我的理解是，open-uri的#open将包装#each_slice(n)将一次传递一个n行数组，然后加入并处理这些行。
这个导入很好，看着我的OS菜单，看起来红宝石进程的内存使用并没有失
浏览 1提问于2013-10-09得票数 6
1回答
在UNIX中查找磁盘块传输方面最昂贵的操作
c、unix、operating-system
我想知道从下面我将介绍的两个操作(假设缓冲区缓存中没有相关数据)的磁盘块传输来看，哪个操作会更昂贵。使用open() syscall打开文件比使用read() syscall读取一个块要昂贵吗？在我看来，open()操作会更昂贵，因为在这种情况下，来自磁盘的所有文件块都应该直接加载到物理内存中(假设物理内存对文件大小不太小)，而
浏览 7提问于2022-06-02得票数 -1
3回答
从Asp.Net MVC中的操作中提供文件。使用byte[]和Stream哪个更好？
.net、asp.net-mvc、file、stream
当我们想从一个操作中提供一个文件(非HTML)时，我们可以使用file action结果。构造器可以接受byte[]或流。哪一个更好？为什么？
谢谢!
浏览 0提问于2011-08-30得票数 2
回答已采纳
1回答
Python“块”迭代器(没有将整个文件加载到内存中)
python、ftp
有关检索FTP文件并将其写入流(例如字符串缓冲区或文件)的堆栈溢出有几个答案，然后可以对其进行迭代。但是，这些解决方案包括在开始处理内容之前将整个文件加载到内存中或将其下载到磁盘。我没有足够的内存来缓冲整个文件，也没有访问磁盘的权限。这可以通过处理回调函数中的数据来实现，但是我想知道是否有可能将ftp代码包装成某种神奇
浏览 3提问于2016-04-29得票数 4
回答已采纳
2回答
iOS : NSFileManager copyItemAtPath占用大量内存
ios、file-io、copy、nsfilemanager
我有一个应用程序，它必须将一堆文件从磁盘复制到磁盘。这些文件是高清原始图像，所以它们很大。我并不怀疑NSFileManager的copyItemAtPath:方法真的会将内容加载到内存中以将其复制到目标路径。我不得不将这个复制任务排在一个队列中，最多有4个并发操作，以避免打破我的临时内存配额和避免崩溃，但结果是，我必须等待1分钟才能完成所有文件的复制……
将文件从
浏览 1提问于2013-06-19得票数 1
2回答
Redis快照重载内存
redis
我使用redis作为客户端缓存机制。使用C#使用stackexchange.redis实现。我将快照配置为“保存51”，而rdb压缩就打开了。RDB机制每次需要追加数据时都会将rdb文件加载到内存中。问题是，当您有一个相当大的RDB文件，并且它被一次性加载到内存中时。它占用了平均端点的内存、磁盘和cpu。
有没有一种方法可以更新
浏览 3提问于2016-01-24得票数 0
回答已采纳
1回答
sqlite3_step流能产生结果吗？
sql、sqlite
在某些情况下，sqlite3_step可以将来自磁盘的查询结果流到内存中，而不必同时将它们加载到内存中吗？例如这会在第一次sqlite3_step调用返回之前将所有结果加载到内存中吗？即使不是，在其他情况下，所有结果都会同时加载到内存中</em
浏览 7提问于2021-12-19得票数 -1
回答已采纳
1回答
更新用cPickle存储的字典，而不将其加载到内存中
python、dictionary、pickle
由于数据会在一段时间后填满RAM，我认为将其存储在磁盘上是个好主意。我想到的第一件事是为此使用cPickle将数据保存为二进制文件。问题是我不知道如何更新磁盘上的文件。我知道的唯一解决方案是再次加载字典，追加新数据并将其写回。但是最终，这种方法没有任何意义，因为字典每次都要
浏览 1提问于2017-07-03得票数 1
回答已采纳
云服务器
对象存储
ICP备案
云点播
腾讯会议
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号