腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在Ubuntu (
linux
OS)中将一个大
文件
读入C++矢量
c++
、
linux
、
file
、
ubuntu
、
caching
在
linux
(Ubuntu14.4)上运行的C++程序中,我需要
读取
一个完全缓存在C++矢量中的90 GB
文件
,而我只有125 GB的
内存
。当我一块一块地
读取
文件
块时,它不断地导致
linux
中缓存
内存
使用率的增加,结果是超过了128 GB
内存
的50%,然后空闲
内存
很容易变成50 GB以下。60 0 0 65 65 Swap:
浏览 0
提问于2017-07-07
得票数 9
5
回答
Linux
文件
系统是否有效地缓存
文件
?
linux
、
filesystems
、
memcached
我正在创建一个在
Linux
服务器上运行的web应用程序。应用程序不断地访问一个250K的
文件
-它将它加载到
内存
中,
读取
它,并将一些信息发送给用户。因为这个
文件
总是被
读取
,所以我的客户建议使用诸如memcache之类的东西将其缓存到
内存
中,大概是因为它将使
读取
操作更快。 但是,我认为
Linux
文件
系统可能已经将
文件
缓存在
内存
中,因为它经常被访问。或者它会做
Linux
浏览 3
提问于2011-08-19
得票数 23
回答已采纳
1
回答
使用java实现大型日志
文件
的‘'Tail 10’
java
、
linux
我知道
linux
可以安装在物理
内存
较少的机器上。有没有办法使用1 4GB的RAM
读取
4 4GB的日志
文件
?基本上,我想从大型日志
文件
中
读取
几行。该行可以在大型日志
文件
中的任何位置。-If有人可以帮助我理解
linux
tail的实现,我可以在java中尝试同样的实现。-At至少我应该使用哪个java I/O包来按需
读取
行,而不是在物理
内存
中加载完整的
文件
,然后逐行
读取
。
浏览 0
提问于2013-11-27
得票数 1
2
回答
从
内存
读取
就像从磁盘
读取
一样?
java
、
python
、
performance
、
memory
、
io
有没有一种方法可以像从磁盘
读取
一样,从
内存
中
读取
?问题是,与磁盘上的I/O相比,如果我直接从
内存
读取
和处理
文件
的相同内容,我想测试性能提高了多少。但是,我的代码是以从磁盘I/O
读取
的方式编写的(例如打开
文件
、从
文件
读取
和关闭
文件
)。如果有办法将
文件
推入本地
内存
,并将
内存
块作为要处理的
文件
处理,那将是很棒的。任
浏览 6
提问于2015-05-08
得票数 1
回答已采纳
1
回答
Linux
在磁盘上拆分单独的
文件
,但将其视为一个
文件
。
command-line
、
files
Linux
中是否有允许将多个
文件
作为一个引用的功能?
linux
.txt.0、
linux
.txt.1、
linux
.txt.2、
linux
.txt.3可视为单独的
文件
或
linux
.txt。一个有用的例子:应该按特定顺序打印
linux
.txt.0、
linux
.txt.1、
linux
.txt.2、
linux
.txt.3的内容。我不
浏览 0
提问于2014-10-13
得票数 2
回答已采纳
1
回答
页面缓存存储在哪里?
memory
当我了解read
文件
如何工作时,我知道内核首先将磁盘数据复制到页面缓存,然后从页面缓存复制到用户空间。 我不明白页面缓存商店在哪里?它是一个映射物理
内存
地址到磁盘地址的页表吗?
浏览 0
提问于2018-10-14
得票数 3
1
回答
在C++中
读取
大型二进制
文件
(Windows)
c++
、
memory-management
、
iostream
我在窗口中
读取
大
文件
时遇到了问题。通常,在
linux
中,当我第一次
读取
二进制
文件
时,
读取
该
文件
需要3-4分钟,但在下一次运行时,它会在不到30秒的时间内
读取
该
文件
,因为该
文件
位于
内存
中,而且它不需要
读取
整个
文件
,而是在windows中,每次
读取
整个
文件
需要3-4分钟,因为它总是试图
读取
整个
文件
浏览 1
提问于2014-11-13
得票数 0
回答已采纳
6
回答
如何提高多线程
读取
文件
的性能?
c
、
linux
、
unix
在
Linux
下,我需要使用多个线程来
读取
单个
文件
。只有读操作,不需要写操作。
文件
读取
不需要每次都
读取
整个
文件
。它每次都需要
读取
文件
一个或多个部分。我预先存储了每个部分的偏移量。
文件
太大,无法放入主
内存
。 因此,例如,许多用户想要
读取
这样的
文件
。我使用线程或进程来
读取
文件
以响应用户请求。在
Linux
下会发生什么?
浏览 0
提问于2009-09-24
得票数 4
回答已采纳
2
回答
内存
映射的i/o是否值得顺序处理?
windows
、
memory-mapped-files
考虑一个程序,它将在一次过程中顺序处理整个输入
文件
。将
文件
映射到
内存
中与将其读入缓冲区进行处理相比有什么好处?我知道,如果您只访问
文件
的一部分,那么
内存
映射的i/o可以为
文件
中不需要的部分保存磁盘访问。但我对整个
文件
的顺序传递感兴趣。如果要多次
读取
文件
(或至少
读取
其中的一部分),那么让虚拟
内存
系统确定要保存在缓存中的哪些部分可能会更快。但是,同样地,对整个
文件
进行一次顺序
浏览 0
提问于2018-02-26
得票数 0
回答已采纳
2
回答
我如何
读取
一个
文件
,然后将它加载到
内存
中,就像D中的Delphi TFileStream类一样?
file
、
delphi
、
d
我在某个地方读到std.stdio的
文件
在
内存
中加载
文件
,然后
读取
它。我来自德尔福,那里有一个TFileStream类,可以用来
读取
/写入
文件
,而无需将它们加载到
内存
中。在写/读时,我不必担心行尾或任何特殊字符,我可以提供我想要读/写的字节数,而且它甚至可以
读取
/写入字节数组,我不确定std.stdio.File是否有。 在D里也有可能吗?我只想从
文件
中
读取
一些字节,从我提供的
浏览 2
提问于2016-04-14
得票数 1
回答已采纳
2
回答
具有共享只读
内存
的c++线程池
c++
、
multithreading
、
threadpool
我是C++并发编程的新手,我想编写一个基于线程池模式的服务器(在
linux
机器上),线程需要从共享
内存
读取
(并且只
读取
)才能响应传入的请求 我很困惑:(我想知道当线程访问只读
内存
时,是否需要做些什么来同步它们,以及如何做到这一点(可能使用
内存
映射
文件
?)
浏览 0
提问于2012-10-25
得票数 5
回答已采纳
1
回答
Linux
:从CIFS
读取
的
文件
是否会缓存在
内存
中?
linux
、
filesystems
、
kernel
、
buffer
、
cifs
我正在为
linux
编写一个流服务器,它从CIFS挂载
读取
文件
并通过套接字发送它们。理想情况下,
linux
将在
内存
中缓存
文件
,以便后续
读取
会更快。真的是这样吗?我可以告诉内核缓存网络
读取
吗?编辑:在这些
文件
上将有多次
读取
,但没有写入。 谢谢!更新:我已经在一个通用I
文件
系统卷上进行了测试,使用fadvise POSIX_FADV_WILLNEED在本地缓存
文件
(在命令行上使用
浏览 10
提问于2011-05-15
得票数 2
回答已采纳
1
回答
使用从Solaris 64位或
Linux
32位到
Linux
64位的
内存
映射
文件
c++
、
shared-memory
、
file-conversion
我们的应用程序使用多个
内存
映射
文件
在多个进程之间进行通信。产品运行在64位的solaris上,开发机器为32位的
linux
。在未来,我们希望在所有环境中使用64位
linux
。编译已经完成,现在我需要存储在
内存
映射
文件
中的数据。不幸的是,如果我使用来自32位
linux
的
文件
,我会得到一个“总线错误”。如果我使用的是64位solaris的
文件
,进程就会崩溃。据我所知,总线错误是由于32位
文件
中的地址错误(超出
文件
浏览 4
提问于2012-12-18
得票数 1
1
回答
内存
映射
文件
是如何为大于
内存
的
文件
工作的?
python
、
numpy
、
memory-management
、
memory-mapped-files
我正在尝试处理比
内存
更大的数据
文件
。但是如果我最终要处理数据
文件
中的所有内容,这不意味着所有的东西最终都需要被
读取
到真正的
内存
中吗?操作系统会自动决定哪些部分的数据已经在
内存
中被释放,以便为额外的数据腾出空间吗? 对于这个特定的项目,如
浏览 6
提问于2016-12-22
得票数 8
4
回答
从文本
文件
PHP或
LINUX
返回行的范围
php
、
linux
、
file
我这里有一个小问题,我需要能够
读取
一个未知大小的
文件
,它可能是几百行或更多,日志
文件
一直在变化,这取决于我何时检查。我想有一个方法,是在php或在
linux
中,我可以从一个
文件
中
读取
行的范围。我不想把整个
文件
读到php
内存
中,然后删除行,因为
文件
可能比php允许的
内存
大。对于基于
linux</
浏览 0
提问于2012-10-01
得票数 2
回答已采纳
3
回答
如何从二进制
文件
中找到静态分配的大小?
c++
、
c
、
linux
是否可以从二进制
文件
中确定专用于静态变量和全局变量的
内存
总量?我正在寻找一个
Linux
实用程序,它可以
读取
elf
文件
并计算出为变量预先分配了多少
内存
。
浏览 0
提问于2009-05-26
得票数 6
1
回答
Kubernetes中的Docker容器中的
内存
映射
文件
是否与
Linux
中的常规进程相同?
docker
、
kubernetes
、
pyarrow
、
apache-arrow
进程A打开一个
文件
,调用mmap并写入它,进程B做同样的操作,但是在进程A完成写入时
读取
相同的映射区域。 使用mmap,进程B可以从
内存
中
读取
文件
,而不是磁盘,前提是进程A没有调用munmap。如果我想在Kubernetes中将进程A和进程B部署到不同的容器中,那么
内存
映射IO是否应该像最初的示例那样工作呢?容器B(进程B)应该像在我的常规
Linux
桌面中一样从
内存
中
读取
文件
吗?让我们假设两个容器位于同一个容器中,并
浏览 2
提问于2020-09-18
得票数 5
回答已采纳
1
回答
进程间的
文件
缓存
linux
、
windows
、
caching
、
internals
我想知道在windows和
linux
下,
文件
缓存在进程之间工作吗?如果进程A
读取
整个
文件
,而新进程B希望
读取
其中的部分(或全部
文件
),那么假设
文件
已经在
内存
中是否有意义?或者缓存是否只发生在每个进程中的每个
文件
对象?
浏览 2
提问于2015-03-03
得票数 0
回答已采纳
3
回答
Linux
,进程在
读取
它的峰值
内存
使用之前就结束了。
linux
、
bash
我必须做一个像那些‘在线评判’这样的工具,编译和执行c/cpp代码并返回一些结果,但也测量它是否超过了时间限制或
内存
限制。我找到了多个使用进程pid的
linux
命令,在启动可执行
文件
之后,我能够获得进程的PID,但是进程在那些
读取
内存
使用情况的
linux
命令之前就完成了,因此它会抛出一个错误。是否有方法从给定的c/cpp
文件
启动可执行结果组,并使其在我告诉它之前不结束,以便有时间
读取
它的
内存
使用情况? bash
浏览 10
提问于2022-05-15
得票数 1
3
回答
C中大于
内存
的
文件
的快速
读取
c
、
file
、
file-io
我想从几个
文件
中
读取
行,而不是每行行。这些
文件
不适合
内存
,所以我必须从磁盘中
读取
。在C中,从几个具有最佳性能的
文件
中
读取
特定行的最佳方法是什么?示例:
文件
4的第5行.
浏览 4
提问于2012-09-01
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何在 Rust 中读取和写入文件|Linux 中国
【Python】文件的读取
利用python读取文件
pyhon读取yaml文件
Go语言文件读取
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券