linux 大文件读写 - 腾讯云开发者社区

文章/答案/技术大牛

发布

1回答

Linux:巨大的文件和大量的文件

linux、performance、amazon-web-services、file-io

我正在用C编写软件，在运行在AWS上的Linux上，它必须处理240TB的数据，包含7200万个文件。我的问题：2)如果有可能，它会消耗多少内存？4)如果不可能，我将需要将所有单独的文件合并成几十个大文件。Linux中有最大文件大小吗？ 5)如果不可能，我应该使用什么技术每60秒追加一次数据，并

浏览 3提问于2015-05-29得票数 1

回答已采纳

1回答

如何将多个numpy文件放入一个大的numpy文件中，一个文件一个文件？

python、numpy

我有166600个numpy文件，我想把它们放入一个numpy文件:一个文件一个文件，我的意思是我新的大文件的创建必须从一开始就开始:第一个文件必须在文件中读写，所以大文件只包含第一个文件，然后我需要读写第二个文件，所以大文件包含前两个文件。

浏览 2提问于2017-02-22得票数 3

回答已采纳

1回答

高效读写大文件

python-2.7、youtube、web-scraping、out-of-memory、urllib

我有一个简单的程序，可以从网站读取数据，然后使用urllib将其写入文件。但是文件是，大小为几百兆字节的，并且Python不断地将从内存错误中提取出来。content = urllib.urlopen ( LINK )f.write ( content.read () )更新:更好的是，我是否可以从服务器读取数据块，编写数据，然后

浏览 1提问于2016-05-04得票数 0

回答已采纳

1回答

保存DocX文件时初始化失败

c#-4.0、ms-word、iis-6、openxml、docx

我遇到了以下错误：Source: mscorlib at System.IO.IsolatedStorage.IsolatedStorageFile.Init(IsolatedStorageScope scope)

浏览 5提问于2013-01-12得票数 0

回答已采纳

1回答

什么文件系统允许在Linux和OS之间传输文件？

filesystems、usb、large-files

我尝试用许多不同的方式格式化USB，比如NTFS、FAT32、OS日志，但是MacBook Air抱怨它不能复制这么大的文件，它只有只读访问权，或者当我从MacBook格式化它时，Linux计算机无法识别文件系统是否有两种系统都可以用来传输大文件的文件系统类型？

浏览 0提问于2018-12-26得票数 4

回答已采纳

1回答

Java内存映射文件和交换

java、linux、memory-management

我正在查看Java中的一些内存映射文件。假设我将堆大小设置为2 2gb，并且内存映射了一个50 2gb的文件-远远超过机器上的物理内存。OS将在os文件高速缓存中高速缓存50 2gb文件部分，java进程将具有2 2gb的堆空间。我好奇的是，操作系统是如何决定缓存多少50 to的文件的？有没有办法告诉OS不要将堆空间交换为OS缓存？如果操作系统不换出主进程，它如何确定其文件缓存应该有多大？

浏览 1提问于2010-04-06得票数 1

3回答

用C读写大文件

c、io

我正在运行的硬件是一个4 4gb内存，32位linux版本的英特尔i5芯片。

浏览 2提问于2013-04-13得票数 0

3回答

用python读写大文件

python、file、text、io、python-3.5

如何用python读写真正大的文件？

浏览 9提问于2017-06-15得票数 1

回答已采纳

1回答

使用BufferedOutputStream编写大文件

java、bufferedoutputstream

我正在尝试使用BufferedInputStream & BufferedOutputStream读写大文件(大于100MB)。我得到堆内存问题& OOM异常。使用BufferedOutputStream写入大文件的最佳方式是什么

浏览 2提问于2012-02-24得票数 5

2回答

在Java中读写整数的有效方法

java、performance、io

我需要操作一个无法放入内存的大文件。我的代码涉及到大量的读写操作，而我的文件只包含整数。如何提高读写整数的性能？

浏览 2提问于2019-04-14得票数 0

1回答

如何估算文件系统的寻道速度

linux、operating-system

假设1TB固态硬盘上有一个大文件(读写速度为500MB/秒)，文件系统为ext4。此文件的大小接近1TB。如何估计到文件中间位置的fseek()的速度。这需要几秒钟还是几毫秒？谢谢。

浏览 56提问于2016-06-25得票数 6

回答已采纳

1回答

获取闪存驱动器的读写速度

c++、file-transfer、usb-drive、rate、measure

如何了解usb闪存驱动器的读写传输速率？我想知道是否有一种方法可以在不复制大文件和测量时间的情况下获得它。即使我不得不这样做，多大的文件大小和内容会给我一个可表示的结果？

浏览 0提问于2012-12-17得票数 0

回答已采纳

1回答

更改文件中的特定字节

java、android、file-io、byte

我正在尝试写一个java函数，它将改变一个大文件中的1个字节。如何在android上使用java读写文件中的特定地址？

浏览 2提问于2011-01-02得票数 5

1回答

在文件流上写入MVVMCross

file、stream、mvvmcross

MvxFileStore只支持字节数组的读写，我真的可以在这里使用一些流处理来管理大文件或流加密。我目前正在使用MVVMCross 3.0.14。

浏览 6提问于2014-03-12得票数 0

回答已采纳

1回答

从Linux VM到Mac的管道

linux、macos、pipe

我尝试使用mkfifo在Mac主机上创建管道，并从Linux读取数据。这是管道的正确使用吗？管道驻留在Linux VM可访问的位置。

浏览 2提问于2015-08-15得票数 0

3回答

在java中读写大文件

java、file、hex

// Print the result in out (that may be the console or a file)我确信，在打开大文件的同时

浏览 3提问于2014-02-20得票数 0

1回答

Linux文件描述符日志

linux、file-descriptor

最近，我在Linux机器上的一个java构建过程运行得很慢。我怀疑导致运行缓慢的原因之一是进程达到了最大文件描述符限制。我没有权限知道我的构建过程使用了多少文件描述符。那么，如果进程达到最大文件描述符限制，Linux会记录到文件中吗?我可以检查是否因为最大文件描述符限制而使构建过程变慢。

浏览 3提问于2011-07-27得票数 0

6回答

Java中逐行读写大文件的最快方法

java、performance、file-io、bufferedreader

我一直在寻找在内存有限(大约64MB)的java中再次读取和写入大文件(0.5 -1 GB)的最快方法。文件中的每一行代表一条记录，所以我需要逐行获取它们。该文件是普通文本文件。读写一个大小为0.5 GB的文件大约需要35秒，只读写，不做处理。我认为这里的瓶颈是写作，因为仅阅读就需要大约10秒。有什么建议吗？

浏览 0提问于2012-10-31得票数 21

回答已采纳

1回答

查找文件linux的修改时间和修改后的用户名

linux、unix、stat

我正在使用Linux环境，并为一个文件提供了读写权限。在linux命令中有什么命令可以找到修改时间和修改文件的用户吗？将读写权限提供给将显示文件的访问和修改时间，而不是修改文件的人。

浏览 5提问于2015-08-26得票数 0

1回答

我是python的初学者，我有这个代码来解压缩日志文件，但我有错误的无效参数。我不知道为什么我得到这个错误，在我看来，我认为这是因为日志文件太大，因为我正在扫描一个2 2gb的日志文件。但是我不知道如何修复这个错误。请帮帮忙，谢谢。下面是我的错误代码：import gzipimport pymysql # path to gz directory# Database Infomation DB_HOST='l

浏览 0提问于2018-05-01得票数 0

点击加载更多