在修改writer.js以写入文件而不是内存时，可能会遇到什么问题？

文章/答案/技术大牛

发布

1回答

protobuf.js

我们正在使用大型(10MB+)协议缓冲区，似乎编码产生了一大堆垃圾。最终，我希望将编码的protobuf放到磁盘上，并且我在想，如果我将_push调用替换为append to file调用，则可以避免所有这些列表节点分配。

浏览 15提问于2018-08-09得票数 0

回答已采纳

2回答

使用python，我应该将大数据缓存在数组中并一次写入文件吗？

python、io、gevent

现在我想把一些响应汇编成文件。问题是，当每一个请求结束时，我都不能打开和写东西，这样的代价很高，而且数据的顺序也不正确。我假设我可能应该编号所有请求，缓存响应顺序，打开一个绿色循环和组装文件，伪代码可能如下：data=[]更新：上面的代码只是演示了数据缓存和文件写入的方式。在实际情

浏览 3提问于2013-11-07得票数 1

回答已采纳

1回答

如何处理apache beam管道中的异常？

java、google-cloud-dataflow、apache-beam、apache-beam-io

我正在用java构建一个apache光束管道，它做了一系列的事情，比如读取文件，创建审计，并将其加载到bigquery。如果我的管道在任何步骤失败，我希望将文件移动到其他文件夹。

浏览 25提问于2021-03-17得票数 0

2回答

如何在具有UEFI安全启动的机器上支持休眠？

operating-systems、hardware、boot、uefi

休眠(也称为挂起到磁盘)涉及到将整个内存状态(包括所有内核内存)写入磁盘。将此状态写入磁盘后，您可以关闭电源。恢复电源后，从磁盘读取此状态并将其写入内存即可恢复。是什么阻止攻击者修改磁盘上内存的休眠状态，例如修改内核内存以向内核注入恶意软件？当用户恢复时，这似乎会加载到内存中，一个现在感染了的操作系统内核。类似地，邪恶恶意软件可能会创建巧尽心思构

浏览 0提问于2013-01-16得票数 12

3回答

将文件从s3复制到GCP对象存储，通过管道或流从s3获取以放入云存储

python、amazon-s3、google-cloud-platform、google-cloud-storage、bytesio

是否可以对S3进行API调用以获取文件，然后将结果导入到GCP云存储(对象存储)的API调用中以放置对象。这将有效地将文件从S3复制到Azure blob。我的目标是在内存中完全做到这一点，而不将任何东西写入磁盘，并且能够处理大于内存的文件。这有可能吗？我尝试过在python文档中查找任何这样的选项，但没有找到任何选项。我确实遇到了BytesIO，这可能会有所帮助。

浏览 44提问于2022-11-02得票数 0

1回答

Windows如何以一致的方式处理刷新修改过的页面？

windows、memory-mapped-files

假设有一个内存映射的文件，并且应用程序不断地向它写入。最终，Windows可能会将该页面刷新到磁盘上。Windows如何确保将该页的稳定快照刷新到磁盘？可能，磁盘硬件在写入内存之前正在将内存复制到内部内存中。那不是原子的。如果应用程序随机写入该页，磁盘硬件可能会复制在任何时间点从未存在的数据。这是否意味着内存映射文件可能会将页留

浏览 4提问于2016-02-23得票数 2

回答已采纳

3回答

写入文件和映射内存有什么区别？

c、linux、file、mmap

关于处理文件和映射文件(mmap)，我有以下问题：我们知道，如果我们创建一个文件，并写入该文件，那么我们将以任何一种方式写入内存。那么为什么使用mmap将该文件映射到内存，然后编写呢？那么，为什么mmapIs在将文件映射到内存上有什么特殊的优势，然后使用它呢？而不仅仅是创建一个文件并写入它？，最后，假设我们将一个文件<

浏览 6提问于2011-09-02得票数 19

回答已采纳

3回答

我正在使用C#和XML4.0，我正在尝试调试我的应用程序中一个罕见的问题，有时程序会读取和写入配置设置的.xml文件，并写入一个空白的.NET文件。问题是，经过详尽的尝试后，我无法重新创建它，所以我想我可能会确保没有已知的情况下，内置的XmlDocument.Save()功能可能会导致空白文件。修改XML文件的唯一方法是使用内置的XmlNode.AppendChild()和XmlNode.ReplaceChild()在内存</

浏览 6提问于2013-01-08得票数 7

2回答

当我们使用事务时，是否有可能在MsSql数据库中插入错误的信息

sql-server

所以从理论上讲，当我们使用事务时，在数据库中插入部分信息是可能的。例如，插入发生时，我们突然断电。会不会出现这样一种情况:一条记录将写入tableA，而不是写入tableB？

浏览 0提问于2012-10-24得票数 2

回答已采纳

1回答

在Mac OS X上使用mmap()可以避免使用磁盘吗？

c++、macos、memory、mmap

我正在使用mmap映射的共享内存在3个进程之间传输相当大的块，这在Win上完全按照我想要的那样工作(显然使用不同的API )，但是我在Mac上遇到了严重的问题-在munmap()和shm_unlink()之后，尽管我试图避免操作系统在硬盘上写入大量的块，因此不会立即释放它们。因此，它的工作速度非常慢，而不是立即释放，而且当连续传输几个块时，可能会耗尽32位内存。是否可以简单地删除使用mmap分配的

浏览 1提问于2014-01-06得票数 0

2回答

根据输入数据的大小，在内存和文件中工作的特殊OutputStream

java、bytearray、inputstream

我必须在客户端从这些流中读取所有数据，并为实现者提供一个api，以便能够以他们想要的方式处理这些数据(只需将其删除，写入DB，处理它等)。首先，我试图将读取的整个数据保存在字节数组中，但由于数据量巨大(有时可能会发生)，这可能会导致严重的内存问题。但如果不是真的需要的话，我不想把每次调用的所有数据都写入文件中。有没有人知道这样一种解决方案，在将数据从内存写入文件并将输入流的所有剩余

浏览 1提问于2012-02-29得票数 1

回答已采纳

3回答

为什么我不能连接这个列表来切换字符？

python

我遇到了这个问题，我已经睡了几个小时，试图解决这个问题，有人知道可能会出什么问题吗？switch(xs): return [xs[1]] + xs[0] + [xs[2:-1]] 然后把它叫进来 switch(temp) 我得到错误'TypeError:只能将list (不是我正在尝试切换blackberry的前两个字母，其中输入没有修改到内存中，所以如果我调用 temp 之后，它仍然是‘黑莓’，而不是切换版本--有人知道如何

浏览 21提问于2021-10-26得票数 0

2回答

我可以限制对osx中某个目录的程序的写入访问吗？还可以设置分配的目录和内存的最大大小。

python、macos、memory、permissions

我正在用python编写代码，这些代码可能会疯狂运行，并会做一些意想不到的事情。这些可能包括尝试将非常大的数组保存到磁盘上，并试图为数组分配大量的内存(比系统上可用的内存要多)。我希望在MacOSX10.7.5中的受限环境中运行代码，并遵循以下规则：程序可以将文件写入一个特定目录，而不能将其他目录写入文件(也就是说，它不能修改该目录之外的文件，但可以从外部读取文件)。程序只能

浏览 0提问于2013-07-19得票数 0

1回答

如何计算从同一父进程派生的进程占用的物理内存总量？

linux、memory-management、nginx

我们对它进行了大量的定制，它使用了大量的内存。在启动时，nginx master使用1.5 of内存，并且master会派生大量的worker。因此，每个工作进程在开始时使用从主进程继承的1.5 in内存。在处理请求时，工作人员可能会修改这些继承的内存，并将触发写入时复制，以便使用更多的物理内存。另外，工作者也可以在自己的计算

浏览 1提问于2016-01-05得票数 1

1回答

可以在没有终端的Unix进程上写入stdout吗？

c++、unix、solaris、stdout

我希望确保以下内容不会影响我的流程：注意:我们不能将跟踪输出重定

浏览 1提问于2012-10-11得票数 0

回答已采纳

1回答

写组合缓冲区是否用于对Intel上WB内存区域的正常写入？

performance、x86、intel、cpu-architecture

例如，在部分"3.6.10写入组合“中，从以下描述开始(重点是添加的)： ·在第一级缓存写入失败时，它允许在缓存/内存层次结构中从更远的地方读取缓存行以获得所有权然后读取行的其余部分，未写入的字节与返回行中未修改的字节组合。 ·写入组合允许将多个写入作为一个单元在缓存层次结构中进一步组装和写入</

浏览 2提问于2018-11-22得票数 8

回答已采纳

2回答

当我们使用mmap功能时，OS做什么工作？

c、operating-system、systems-programming

下面是一个使用mmap函数将给定文件映射到内存的示例。在本例中，我没有使用fwrite或write函数将某些内容写入磁盘文件(只将内容打印到stdout)，但修改后的内存内容实际上反映在磁盘文件中。我猜操作系统跟踪映射内存，并在修改映射内存时写入磁盘。我想知道操作系统做什么的细节。/a.out mytext.txt 程序不退出，因为最后一行，我可以通过c

浏览 3提问于2021-01-24得票数 0

回答已采纳

1回答

向量为成员的结构的C++大小

c++、vector、struct、sizeof、std

：{// more members here和my_struct的一个实例：在程序执行过程中，结构中的向量可能会发生明显的变化，例如或A.x.push_back(...)；我的问题是，有没有办法知道A在程序中某一时刻的内存大小？

浏览 1提问于2012-05-12得票数 1

回答已采纳

1回答

我如何分配内存缓冲区，这些缓冲区可能是操作系统为在Mac内核扩展中缓存而回收的？

macos、kernel、iokit、darwin、xnu

基于我所阅读的文档和xnu源代码，我理解Mac使用统一缓冲区缓存(UBC)缓存文件I/O。基于可用RAM，UBC越来越大，但是当内存变得更紧时，UBC页面是第一个被牺牲的页面。在我的驱动程序中，我处理各种磁盘元数据。我希望能够使用UBC或类似的机制来保持这些数据的MRU缓存，以加快速度，同时让内核能够在需要的时候取回内存。目前，我正在研究HFS+源代码，试图找出它是否以及如何缓存文件系统元数据，尽管没有成功。当然，主要的选择是为缓存保留一个

浏览 7提问于2011-01-21得票数 5

回答已采纳

2回答

如何找到Linux下Java应用程序死机的根本原因

java、linux、kill

我在linux上运行的java应用总是每隔两个小时就会消失一次，我怎么才能找到根本原因呢？首先，我认为它是被oom杀死的，所以我更改了/proc//oom_adj t0 -17，它不起作用。

浏览 3提问于2018-09-19得票数 0

点击加载更多