腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Linux
:巨大的文件和大量的文件
linux
、
performance
、
amazon-web-services
、
file-io
我正在用C编写软件,在运行在AWS上的
Linux
上,它必须处理240TB的数据,包含7200万个文件。我的问题:2)如果有可能,它会消耗多少内存?4)如果不可能,我将需要将所有单独的文件合并成几十个
大文件
。
Linux
中有最
大文件
大小吗? 5)如果不可能,我应该使用什么技术每60秒追加一次数据,并
浏览 3
提问于2015-05-29
得票数 1
回答已采纳
1
回答
如何将多个numpy文件放入一个大的numpy文件中,一个文件一个文件?
python
、
numpy
我有166600个numpy文件,我想把它们放入一个numpy文件:一个文件一个文件,我的意思是我新的
大文件
的创建必须从一开始就开始:第一个文件必须在文件中
读写
,所以
大文件
只包含第一个文件,然后我需要
读写
第二个文件,所以
大文件
包含前两个文件。
浏览 2
提问于2017-02-22
得票数 3
回答已采纳
1
回答
高效
读写
大文件
python-2.7
、
youtube
、
web-scraping
、
out-of-memory
、
urllib
我有一个简单的程序,可以从网站读取数据,然后使用urllib将其写入文件。但是文件是,大小为几百兆字节的,并且Python不断地将从内存错误中提取出来。content = urllib.urlopen ( LINK )f.write ( content.read () )更新:更好的是,我是否可以从服务器读取数据块,编写数据,然后
浏览 1
提问于2016-05-04
得票数 0
回答已采纳
1
回答
保存DocX文件时初始化失败
c#-4.0
、
ms-word
、
iis-6
、
openxml
、
docx
我遇到了以下错误:Source: mscorlib at System.IO.IsolatedStorage.IsolatedStorageFile.Init(IsolatedStorageScope scope)
浏览 5
提问于2013-01-12
得票数 0
回答已采纳
1
回答
什么文件系统允许在
Linux
和OS之间传输文件?
filesystems
、
usb
、
large-files
我尝试用许多不同的方式格式化USB,比如NTFS、FAT32、OS日志,但是MacBook Air抱怨它不能复制这么大的文件,它只有只读访问权,或者当我从MacBook格式化它时,
Linux
计算机无法识别文件系统是否有两种系统都可以用来传输
大文件
的文件系统类型?
浏览 0
提问于2018-12-26
得票数 4
回答已采纳
1
回答
Java内存映射文件和交换
java
、
linux
、
memory-management
我正在查看Java中的一些内存映射文件。假设我将堆大小设置为2 2gb,并且内存映射了一个50 2gb的文件-远远超过机器上的物理内存。OS将在os文件高速缓存中高速缓存50 2gb文件部分,java进程将具有2 2gb的堆空间。我好奇的是,操作系统是如何决定缓存多少50 to的文件的?有没有办法告诉OS不要将堆空间交换为OS缓存?如果操作系统不换出主进程,它如何确定其文件缓存应该有多大?
浏览 1
提问于2010-04-06
得票数 1
3
回答
用C
读写
大文件
c
、
io
我正在运行的硬件是一个4 4gb内存,32位
linux
版本的英特尔i5芯片。
浏览 2
提问于2013-04-13
得票数 0
3
回答
用python
读写
大文件
python
、
file
、
text
、
io
、
python-3.5
如何用python
读写
真正大的文件?
浏览 9
提问于2017-06-15
得票数 1
回答已采纳
1
回答
使用BufferedOutputStream编写
大文件
java
、
bufferedoutputstream
我正在尝试使用BufferedInputStream & BufferedOutputStream
读写
大文件
(大于100MB)。我得到堆内存问题& OOM异常。使用BufferedOutputStream写入
大文件
的最佳方式是什么
浏览 2
提问于2012-02-24
得票数 5
2
回答
在Java中
读写
整数的有效方法
java
、
performance
、
io
我需要操作一个无法放入内存的
大文件
。我的代码涉及到大量的
读写
操作,而我的文件只包含整数。如何提高
读写
整数的性能?
浏览 2
提问于2019-04-14
得票数 0
1
回答
如何估算文件系统的寻道速度
linux
、
operating-system
假设1TB固态硬盘上有一个
大文件
(
读写
速度为500MB/秒),文件系统为ext4。此文件的大小接近1TB。如何估计到文件中间位置的fseek()的速度。这需要几秒钟还是几毫秒?谢谢。
浏览 56
提问于2016-06-25
得票数 6
回答已采纳
1
回答
获取闪存驱动器的
读写
速度
c++
、
file-transfer
、
usb-drive
、
rate
、
measure
如何了解usb闪存驱动器的
读写
传输速率?我想知道是否有一种方法可以在不复制
大文件
和测量时间的情况下获得它。即使我不得不这样做,多大的文件大小和内容会给我一个可表示的结果?
浏览 0
提问于2012-12-17
得票数 0
回答已采纳
1
回答
更改文件中的特定字节
java
、
android
、
file-io
、
byte
我正在尝试写一个java函数,它将改变一个
大文件
中的1个字节。如何在android上使用java
读写
文件中的特定地址?
浏览 2
提问于2011-01-02
得票数 5
1
回答
在文件流上写入MVVMCross
file
、
stream
、
mvvmcross
MvxFileStore只支持字节数组的
读写
,我真的可以在这里使用一些流处理来管理
大文件
或流加密。 我目前正在使用MVVMCross 3.0.14。
浏览 6
提问于2014-03-12
得票数 0
回答已采纳
3
回答
在java中
读写
大文件
java
、
file
、
hex
// Print the result in out (that may be the console or a file)我确信,在打开
大文件
的同时
浏览 3
提问于2014-02-20
得票数 0
1
回答
从
Linux
VM到Mac的管道
linux
、
macos
、
pipe
我尝试使用mkfifo在Mac主机上创建管道,并从
Linux
读取数据。这是管道的正确使用吗?管道驻留在
Linux
VM可访问的位置。
浏览 2
提问于2015-08-15
得票数 0
1
回答
Linux
文件描述符日志
linux
、
file-descriptor
最近,我在
Linux
机器上的一个java构建过程运行得很慢。我怀疑导致运行缓慢的原因之一是进程达到了最
大文件
描述符限制。我没有权限知道我的构建过程使用了多少文件描述符。那么,如果进程达到最
大文件
描述符限制,
Linux
会记录到文件中吗?我可以检查是否因为最
大文件
描述符限制而使构建过程变慢。
浏览 3
提问于2011-07-27
得票数 0
6
回答
Java中逐行
读写
大文件
的最快方法
java
、
performance
、
file-io
、
bufferedreader
我一直在寻找在内存有限(大约64MB)的java中再次读取和写入
大文件
(0.5 -1 GB)的最快方法。文件中的每一行代表一条记录,所以我需要逐行获取它们。该文件是普通文本文件。
读写
一个大小为0.5 GB的文件大约需要35秒,只
读写
,不做处理。我认为这里的瓶颈是写作,因为仅阅读就需要大约10秒。有什么建议吗?
浏览 0
提问于2012-10-31
得票数 21
回答已采纳
1
回答
查找文件
linux
的修改时间和修改后的用户名
linux
、
unix
、
stat
我正在使用
Linux
环境,并为一个文件提供了
读写
权限。在
linux
命令中有什么命令可以找到修改时间和修改文件的用户吗?将
读写
权限提供给将显示文件的访问和修改时间,而不是修改文件的人。
浏览 5
提问于2015-08-26
得票数 0
1
回答
python代码中出现无效参数错误
python
、
data-analysis
我是python的初学者,我有这个代码来解压缩日志文件,但我有错误的无效参数。我不知道为什么我得到这个错误,在我看来,我认为这是因为日志文件太大,因为我正在扫描一个2 2gb的日志文件。但是我不知道如何修复这个错误。请帮帮忙,谢谢。下面是我的错误代码:import gzipimport pymysql # path to gz directory# Database Infomation DB_HOST='l
浏览 0
提问于2018-05-01
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Linux系统编程 读写锁rwlock
通过重定向在 Linux 终端任意读写数据
如何快速传输大文件,介绍大文件快速方法
MongodbGFS存储大文件
php大文件上传
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券