腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用numpy
内存
映射
的64位
系统
中文件的最大大小是多少?
、
、
、
、
我正在尝试使用一个
大文件
--大约50 GB。我试图使用numpy
内存
映射
来访问文件。我看到用于
内存
映射
的文件的大小是有限制的,对于32位
系统
来说是2GB。下面是链接: 我想知道是否有一个硬限制的文件大小使用numpy
内存
映射
,以获得良好的性能。
浏览 1
提问于2018-04-10
得票数 2
1
回答
虚拟
内存
:操作
系统
是否总是将整个文件加载到物理
内存
中?
、
、
、
我正在研究虚拟
内存
是如何工作的,我不确定如果我用fread()或类似的方法加载一个
大文件
(虽然比物理
内存
小)会发生什么。 据我所知,操作
系统
可能不会分配整个相应的物理
内存
。相反,它可以等到我的程序读取文件的特定部分(尚未
映射
到物理
内存
的部分)时触发页面错误。 这基本上是
内存
映射
文件的行为。那么,如果我的假设是正确的,那么使用像mmap()这样的
系统
调用有什么好处呢?
浏览 18
提问于2020-04-12
得票数 0
1
回答
Python C模块中的
映射
--有什么需要注意的地方吗?
、
、
、
、
我正在用C语言编写一个Python模块,并且打算
映射
更大的
内存
块(可能是500MB)。在与Python解释器相同的进程空间中工作有什么需要注意的地方吗?
浏览 2
提问于2010-12-21
得票数 1
回答已采纳
1
回答
尽可能快地访问数百个文件
、
问题开始时,它开始和
内存
使用量飞向最大值,并在几秒钟内冻结了我的电脑,因此。 我猜开场过程会用掉几个meg或者别的什么.有什么想法可以在不占用大量
内存
的情况下实现我需要的功能吗?
浏览 0
提问于2013-09-02
得票数 1
2
回答
我有足够的
内存
,但是mmap总是失败,说我不能分配
内存
、
、
我正在尝试
映射
一些
大文件
,但失败了:我无法
映射
任何大于2.7 GB的文件。我假设我可以
映射
一个高达5 5GB的文件。我使用的是64位cpu和32位linux
系统
。如果您需要更多信息,请告诉我。如果有任何建议或建议,我将不胜感激。
浏览 0
提问于2012-05-12
得票数 2
回答已采纳
1
回答
释放
内存
映射
内存
、
、
、
我正在
内存
中将一个
大文件
(~200 to )
映射
到一个区域/视图中,然后按顺序写入该文件。一段时间后,该进程耗尽了整个
系统
内存
。据我所知,这是正常的,因为它将在其他进程请求
内存
时释放
内存
。有没有办法迫使Windows 7将部分
内存
刷新到磁盘(在写入数据之后,只需要几秒钟时间,并记住我正在按顺序写入整个文件),以避免耗尽整个可用的
系统
内存
?
浏览 2
提问于2014-06-16
得票数 4
1
回答
c++ fstream的文件读写是否有2G限制?
、
、
我正在编写一个c++程序来读/写一个
大文件
(可能大于60 am )。通过谷歌搜索这个问题,32位
系统
中的文件io似乎有2 2GB的限制(我使用的是Windows7 64位,但我的程序是用mingw32编译的)。
浏览 3
提问于2012-04-09
得票数 7
回答已采纳
1
回答
C++:创建大
内存
映射
文件冻结pc
、
、
、
我正在尝试用我想要在项目中使用的数据创建一个大
内存
映射
文件。我正在为
映射
的文件使用Boost库,在尝试创建一个
大文件
(>2GB)之前,一切似乎都运行良好。
浏览 2
提问于2016-01-15
得票数 1
1
回答
从磁盘到
内存
的紧急加载,而不是页面多次出错
、
假设我在磁盘上有一个需要操作的
大文件
(或者只是原始存储,如果在任何流行的操作
系统
中都是可能的话)。有没有办法让操作
系统
知道,我希望整个数据块都被急切地加载到
内存
中,而不是每次我试图访问尚未加载到
内存
中的段时,只将其中的一小部分加载到
内存
中,并导致页面出错?我认为这对于
内存
映射
文件来说可能更多,因为如果你正在进行顺序读取,操作
系统
可能已经很好地完成了预加载工作。我确信,从技术上讲,编写一个提供我想要的功能的操作
系统
是可
浏览 1
提问于2015-08-25
得票数 0
1
回答
内存
映射
文件到WPF网格
、
、
、
、
我正在通过
内存
映射
文件(C# MemoryMappedFile)处理一个
大文件
(8GB)。我希望能够将内容放入WPF网格(例如,数据网格),但我遇到了问题,因为每一种看起来可行的方法都必须将文件加载到
内存
中,这会使
内存
映射
文件的点失效。我知道wpf数据网格只能访问所需的数据,但如何将其链接到
内存
映射
文件,以便只请求正在查看的字节,而不必将整个数据放入
内存
中。我的最终目标是加载这个
大文件
并显示文件的字节,就像十六进制编
浏览 2
提问于2016-03-31
得票数 1
回答已采纳
1
回答
在
内存
中存储文本文件(c而不是c++)的方法允许我打开任何格式(UTF-8,二进制等)和任何大小的文件?
、
、
、
typedef struct TextData { int index, line;我不确定这是否是一个好主意,因为这可能导致分配到许多动态
内存
,并容易发生
内存
泄漏。
浏览 0
提问于2016-03-03
得票数 3
回答已采纳
1
回答
在
内存
映射
大文件
时,我应该注意哪些陷阱?
、
、
、
我有一堆
大文件
,每个文件可以超过100 be,总数据量可以是1TB,它们都是只读文件(只是随机读取)。 我的程序在一台
内存
约为8 8GB的计算机上读取这些文件。为了提高性能(无seek()和无缓冲区复制),我考虑使用
内存
映射
,基本上对整个1TB的数据进行
内存
映射
。从磁盘读取的响应于我的read ()的所有页面都将被认为是来自操作
系统
的“干净”页面,因为这些页面永远不会被覆盖。这意味着所有这些页面都可以直接转到操作
系统
可以使用的页面列表,而无需写回磁盘或
浏览 0
提问于2011-05-24
得票数 4
回答已采纳
1
回答
获取特定驱动器的最
大文件
大小
、
有什么WinAPI方法可以获得特定驱动器的最
大文件
大小吗?我使用GetVolumeInformation确定文件
系统
类型,然后使用
映射
表将文件
系统
类型
映射
到其已知的最
大文件
大小。我想要的: 我想知道Microsoft是否提供了一种直接获取
浏览 6
提问于2022-11-04
得票数 -1
回答已采纳
3
回答
大于2 2GB的PE文件
、
、
我只是想知道一个
大文件
是否可以
映射
到
内存
。在32位Windows中,可以将一个
大文件
(大于2 2GB)加载到用户分区?
浏览 2
提问于2010-03-22
得票数 2
回答已采纳
1
回答
内存
映射
文件和最
大文件
大小
、
、
我正在使用boost::iostreams::mapped_file_source创建
内存
映射
文件。超过1024。令我惊讶的是,当我创建了大约1024个
内存
映射
文件时,我的程序抛出一个异常,说明打开的文件太多了。经过一些研究,我发现Ubuntu每个进程使用的最
大文件
大小为1024 (来自ulimit -n)。我也不想通过更改值来修改操作
系统
。正确方向上的任何点都是非常感谢的!
浏览 3
提问于2015-11-04
得票数 0
回答已采纳
3
回答
如何并行处理
内存
映射
文件中的数据
、
正如
内存
映射
文件的名称所指示的那样,我理解
大文件
的一部分可以使用C#中的类C#
映射
到
内存
,以实现快速数据处理。我想对
内存
映射
文件做的是并行处理
内存
映射
。否则, 是否有任何方法直接访问与数组
映射
的
内存
?我知道MemoryMappedFileViewAccessor有ReadArray方法,但是使用这个方法是
内存
的复制。
浏览 3
提问于2013-05-03
得票数 13
回答已采纳
1
回答
逐字节读取和处理大型易失性
内存
文件
、
、
、
、
目前,我正在使用python处理由诸如belkasoft、ftk映像器等应用程序创建的
内存
转储,它们通常是扩展.mem或.dmp,以及表单:我想要可视化这些数据您将如何读取和处理这类
大文件
>= 2GBwith open("File.mem",'rb') as file: while
浏览 2
提问于2016-11-18
得票数 1
回答已采纳
1
回答
为一个文件调用mmap两次
、
我想随机访问一个
大文件
的各个部分。打开需要的部分后,如果我需要文件的另一部分,请使用mmap。我应该关闭第一个
内存
映射
区和mmap,还是可以同时打开两个
内存
映射
区?我不想
映射
所有的文件,因为它可能比RAM大,而且我将在我的程序中使用同时打开的多个文件。
浏览 1
提问于2012-02-12
得票数 3
回答已采纳
3
回答
Emacs读取大约14 To的
大文件
、
、
最近,我在我的
系统
上下载了emacs来编辑它声称的
大文件
。当尝试打开
大文件
时,emacs给我一个超出缓冲区大小的问题。 有没有办法增加它?!我有一个
内存
为24 GB的
系统
!
浏览 3
提问于2011-12-02
得票数 11
回答已采纳
1
回答
映射
巨大的文件
我有一个非常大的磁盘驱动器(2TB),但
内存
不是很大(8GB)。我希望能够在我的磁盘文件
系统
上的一个
大文件
(~200 on )上运行一些大数据实验。我知道mmap支持文件支持和匿名
映射
,但我不完全确定使用哪种
映射
。那么在使用私有
映射
还是共享
映射
之间呢?
浏览 0
提问于2019-11-28
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Linux内存映射mmap原理分析
设计一个大文件存储系统
3GB开关并不能映射一个3GB大小的内存
Java线程映射到操作系统线程原理浅析
科视投影映射系统,打造赛场视觉新体验!
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券