FileStream读写大文件的速度更快

文章/答案/技术大牛

发布

1回答

vb.net、file、filestream

我有一个速度和内存效率的问题，我正在从.bin文件中读取大块的字节，然后将其写入另一个文件，问题是为了读取文件，我需要为它创建一个巨大的字节数组： Dim data3(endOFfile) As Byte' end of file is here around 270mb size

浏览 14提问于2021-08-31得票数 2

回答已采纳

1回答

Robocopy背后的算法是什么？

.net、file-io、.net-4.0、robocopy

我很想知道是什么让Robocopy (健壮的文件复制)如此快速和健壮。有人知道用于Robocopy的API/Algo是什么吗？有人研究过机器人吗？

浏览 0提问于2010-10-22得票数 7

回答已采纳

1回答

WCF中的大文件流或缓冲区

c#、.net、wcf、filestream

我想通过WCF协议传输大文件，但我不知道应该使用哪种技术：缓冲还是流媒体。流看起来更好，因为我不知道如何用递归方法组织4KB中的缓冲区和读写异步。private void test() Stream _stream = new FileStream("D:\\123.avi", FileMode.Open); using (FileStreamfileStream = new <e

浏览 4提问于2015-02-11得票数 0

回答已采纳

1回答

如何估算文件系统的寻道速度

linux、operating-system

假设1TB固态硬盘上有一个大文件(读写速度为500MB/秒)，文件系统为ext4。此文件的大小接近1TB。如何估计到文件中间位置的fseek()的速度。这需要几秒钟还是几毫秒？谢谢。

浏览 56提问于2016-06-25得票数 6

回答已采纳

2回答

StringBuilder到FileStream与直接FileStream性能的比较

c#、.net、io、filestream、stringbuilder

我正在以增量的方式将大量文本数据写入FileStream，而且速度相当慢。如果我将文本写到内存中的StringBuilder中，然后将StringBuilder批发地转储到FileStream中，会更快吗？我认为这样做可能可以利用FileStream中的某种缓冲，但我对FileStream的工作原理不太了解，无法判断。

浏览 4提问于2014-04-26得票数 1

回答已采纳

3回答

使用TCP通过网络传输文件(加快传输速度)

java、performance、sockets、networking

我一直在尝试通过Socket连接发送一个大文件，但运行速度很慢，我想知道是否可以以某种方式优化此代码以提高传输速度。这是我发送文件的代码：int number; } fileInputStream.close(); 这是我

浏览 2提问于2012-04-14得票数 2

回答已采纳

1回答

CryptoStream ReportProgress ProgressBar C#

c#、filestream、cryptostream

因此，我试图加密一些文件，它运行良好，但当我试图包括一个进度条，以显示大文件，如一个100 is 1GB文件，性能被大幅削减和非常缓慢。我认为这是因为ReportProgress被快速调用，所以我添加了秒表，每2秒更新一次，但这使得它工作得更快(在不调用reportProgress的情况下仍然不够快)，但有时也根本不更新进度条。using (FileStream fsCrypt = new FileStream(cryptFile, FileMode.Create)) {fsIn

浏览 10提问于2016-04-23得票数 1

回答已采纳

2回答

如果较低的一致性级别是好的，那么为什么我们需要在Cassandra中具有较高的一致性(QUORUM，ALL)级别？

cassandra

在阅读Datastax教程时，我了解到1)低一致性级别的读写速度更快，而如果我们使用更高的一致性级别，读写速度会更长。2)低一致性级别也可以确保数据的高可用性。我的问题是，如果较低的CL是好的，那么我们总是可以将CL设置为一个，为什么我们需要定额和所有一致性级别？

浏览 2提问于2018-03-14得票数 1

2回答

创建了一个返回Asp.net文件的PDF Core Web，并且在PDF Viewer或浏览器上加载非常慢

c#-4.0、asp.net-core-webapi

我试图使用react js作为前端和后端asp.net核心web来创建一个PDF查看器，这里是我返回EPaper文件的api代码。fileStream = new FileStream(inputPath, FileMode.Open)) await fileStream.CopyToAsync(stream); } stream.Positio

浏览 12提问于2017-02-28得票数 0

1回答

安装我的硬盘以增加存储空间会降低性能吗？

partitioning、mount、hard-drive、dell、ssd

刚买了一台戴尔Inspiron 5480，它有125 HD的SSD和1TB的高清。Ubuntu安装在SSD中。我需要一台高性能的电脑，所以使用SSD是很好的。然而，我处理大量的数据，所以125 me对我来说是不够的。房屋署是可用的，但没有安装。如果我安装它，我会在SSD上失去性能吗？考虑到我想要一个快速的性能(SSD)和足够的内存(HD)，什么是安装它的最佳方式？任何帮助都会很好！谢谢!

浏览 0提问于2020-06-15得票数 4

回答已采纳

1回答

c++从标准输入快速读写

c++、c、performance

如何在c/c++代码中提高读写标准输入(终端)数据的速度？ios::sync_with_stdio_false(); 有没有什么方法可以更快地做到这一点？

浏览 0提问于2013-07-10得票数 0

回答已采纳

2回答

如何测试RAID1设备的读取速度？

raid、raid1、performance

尝试一些RAID1配置，我想知道在单个文件和多个文件上读取速度是否更快。有很多测试硬盘读写速度的工具。如何测试RAID速度，包括软件RAID？有什么Windows工具可以做到吗？

浏览 0提问于2010-07-17得票数 0

回答已采纳

2回答

系统缓存与无缓存

c++、multithreading、readfile

如果我读入一个大文件，同时运行多个线程，在没有缓冲区的情况下运行是否会有更快的传输速度，或者使用操作系统缓冲区运行会足够好吗？

浏览 3提问于2011-04-14得票数 1

回答已采纳

1回答

用于小文件的minio慢读速度

performance、file、bigdata、minio

我的印象是，minio非常适合小文件存储和读取()，我最终迁移了我的200万个小文本文件，但是读取速度比直接从磁盘读取速度慢得惊人。有办法压缩/合并这些小文件吗？或者我是不是做错了什么..。我通常的用例是:直接从磁盘读取10000个随机读取的文件-平均大约120秒-然后转移到本地网络解决方案:现在用minio读取大约需要500到600秒，大约600秒RQ：(磁盘能够输出更快的速度，但对于minio来说，大文件</em

浏览 13提问于2022-10-13得票数 0

1回答

如何按块读取文件

c#、.net、stream

我有点困惑，我应该如何读取大文件(>8 8GB)的块，以防每个块有自己的大小。如果我知道块大小，它看起来像下面的代码： originalBytes = mStream.ToArray(); }} 但想象一下，我逐

浏览 2提问于2016-02-15得票数 2

回答已采纳

6回答

更快的MD5替代？

c#、md5、hash

我正在编写一个程序，在整个驱动器中搜索给定的文件。目前，我计算已知文件的MD5哈希，然后递归地扫描所有文件，寻找匹配的文件。所有代码都在C#中。更新我已经读到，即使是MD5也可以非常快，磁盘I/O应该是限制因素。这使我相信我的代码可能不是最优的</e

浏览 12提问于2008-11-13得票数 14

回答已采纳

2回答

如何检查/测试内部读卡器的速度

block-device、sd-card、benchmark

我得到了新的SD卡声称是10级的速度，但内部磁盘实用程序在linux测试后只显示了6级的速度。我如何检查我的读卡器速度，以确保这不是设备的限制，而是卡的限制？0000:07:00.0 FireWire (IEEE 1394): Ricoh Co Ltd R5C832 IEEE 1394 Controller (rev 05

浏览 0提问于2012-06-22得票数 5

2回答

Raspberry Pi 2的MicroSD卡与U盘

raspberry-pi、raspberry-pi2

2012年关于早期RPi硬件的关于这个主题的文章歌颂了使用外部U盘的优点，现在已经过时了。在2015年，使用Raspberry Pi 2硬件，移动根文件系统并从外部U盘启动，而不是只使用默认的microSD卡，还有什么优势吗？

浏览 4提问于2015-04-04得票数 2

回答已采纳

1回答

C#中一种微小的文本文件读写类实现

c#、performance、strings、file、stream

我正在尝试实现一个微小的文本文件读写类FileIO，以便轻松地读取/写入纯文本文件的操作。Console.WriteLine(FileIO.Instance.ReadTxTFile("TextFile2.txt", System.Text.Encoding.Default));FileIO类的实验实现如下file_stream = new FileStream(filename, fileMode); byte[] Input_data = enc

浏览 0提问于2021-01-09得票数 1

回答已采纳

1回答

FileHelpers如何从流中读取

.net、stream、loading、filehelpers

我需要读取很多固定宽度和分隔的文件，大文件，800MB，1 1GB…并将这些文件中的记录转换为对象。在我的情况下，这会降低效率。谢谢

浏览 5提问于2018-08-22得票数 1

点击加载更多