腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
视频
沙龙
2
回答
在c++中编写大文件
c++
、
io
我正在写大文件,大小在70 -700 70之间。有没有人有经验,如果内存映射文件将比常规的块编写更有效?代码将在c++中运行,并在Linux2.6上运行
浏览 2
提问于2012-05-08
得票数 1
3
回答
如何将每100个文件合并到一个目录中?
linux
、
bash
、
shell
我在一个目录中有大量的小文本文件。我想把每100个文件合并成一个大文件。有没有人能帮我写一个Linux Shell脚本来做这件事?
浏览 4
提问于2012-06-10
得票数 0
2
回答
在C中通过套接字发送大文件
c
、
linux
、
sockets
、
ftp
我正在为一个学校项目写一个简单的FTP服务器。项目差不多完成了,我唯一的问题就是通过套接字将文件发送到客户端。我不能向套接字写入超过200kb的数据,小文件下载成功。谁能告诉我通过Linux套接字发送大文件的正确方式是什么? 提前谢谢。 PS我使用C和32位linux,服务器工作在端口模式,一直使用低级打开,写入,读取和其他功能,如sendfile,send,sendto。
浏览 1
提问于2011-12-30
得票数 5
1
回答
Qt/C++ (Pre-)分配大文件
c++
、
qt
、
file-io
有没有办法用Qt分配一个确定大小的文件? 原因是为了避免或最小化碎片。我不想零写一个大文件(不需要的开销),而只是从文件系统中分配它。 我想要一个在Win/OSX/Linux上工作的解决方案。我知道所有这些平台的解决方案都依赖于所讨论的文件系统,但在每个平台上挖掘解决方案和测试都需要一些时间。
浏览 2
提问于2012-07-20
得票数 4
回答已采纳
4
回答
流线程安全吗?
c++
、
multithreading
我正在编写一个程序,它使用多个std::ifstream来读取二进制文件,每个线程使用一个std::ifstream。现在我需要知道,在std::ofstream和Linux上写同一个文件是否是线程安全的。我只使用一个std::ofstream,并使用多个线程。 我使用每个线程读取不同的块,并使用seekp()和write()在输出文件中写入这些块。目前,它是为我工作,但它是否是问题的大文件。 std::ofstream线程安全吗?
浏览 0
提问于2013-11-26
得票数 8
回答已采纳
1
回答
Linux文件描述符日志
linux
、
file-descriptor
最近,我在Linux机器上的一个java构建过程运行得很慢。我怀疑导致运行缓慢的原因之一是进程达到了最大文件描述符限制。我没有权限知道我的构建过程使用了多少文件描述符。那么,如果进程达到最大文件描述符限制,Linux会记录到文件中吗?我可以检查是否因为最大文件描述符限制而使构建过程变慢。
浏览 3
提问于2011-07-27
得票数 0
4
回答
当我使用ofstream时,我如何知道我已经达到了文件的最大大小?
c++
、
linux
在使用ofstream写入文件时,我如何知道文件大小何时达到操作系统的最大文件大小--更确切地说,是linux的最大文件大小??
浏览 5
提问于2008-09-25
得票数 3
回答已采纳
2
回答
我能否优先处理Linux中的Bash脚本,以及这些脚本的子脚本是否继承了优先级?
bash
、
inheritance
、
task
我有一个脚本,用一个视频播放器在一台小计算机上播放各种电影剪辑。它很光滑。然而,每当一个cron作业运行到要下载大文件的位置时,视频提要就会开始闪烁。我相信这是因为在下载和播放的同时需要进行读/写。 我的问题是: 我可以在Linux中优先处理一项任务吗? 优先级任务可以是一个Bash脚本吗? 如果是,从该优先级脚本运行的脚本和程序会继承优先级吗?
浏览 5
提问于2014-03-30
得票数 1
回答已采纳
2
回答
双引导:访问在Linux和Window系统上创建的分区。
permissions
、
partition
、
dual-boot
我有一个Windows和Linux,如果需要的话,我创建了一个200 to的分区来存储大文件。问题是,在我的Debian操作系统中,我无法添加文件夹或在其中放置新文件。分区位于/media/username/分区中。每当我想在文件夹程序中打开分区时,我必须输入我的根密码,即使这样,我也不能向其中添加文件。我已经重新安装了它,但是每次获得读/写许可都会遇到麻烦。另外,如果我想创建一个新的文件夹,我会得到这个目录不存在的错误,尽管它确实存在。在Windows操作系统上,我可以访问它,并使用它没有问题。对于如何使Linux上的使用和访问变得容易,有什么帮助吗?
浏览 0
提问于2020-12-07
得票数 0
回答已采纳
3
回答
用于顺序文件写入的posix_fadvise() args是什么?
c
、
optimization
、
posix
我正在开发一个应用程序,它可以顺序地写入一个大文件(而根本不读取),我想使用posix_fadvise()来优化文件系统的行为。 手册中的函数描述表明,最合适的策略是POSIX_FADV_SEQUENTIAL。但是,Linux实现描述怀疑: 在Linux下,POSIX_FADV_NORMAL将readahead窗口设置为支持设备的默认大小;POSIX_FADV_SEQUENTIAL将此大小加倍,POSIX_FADV_RANDOM完全禁用文件readahead。 因为我只是在写数据(可能也会覆盖文件),所以我不期望任何readahead。然后,我应该坚持使用我的POSIX_FADV_SE
浏览 3
提问于2010-09-20
得票数 21
回答已采纳
1
回答
suse linux ftp文件的最大数量
linux
、
ftp
如何更改允许列出/传输的最大文件数...在suse linux上?客户端和服务器都是suse linux机器。
浏览 5
提问于2011-04-20
得票数 0
回答已采纳
1
回答
从Dropbox递归下载大文件夹
linux
、
dropbox
我需要下载一个包含未知层数的大文件夹到我的Linux (Redhat)服务器。 我去了网页版,它告诉我这个文件“太大了,无法下载”。人们说,你可以简单地检索下载URL,wget就可以完成这项工作。但是,查看该文件夹,除了“共享链接”之外,我没有看到任何检索URL的方法。 谁能和我分享一下递归下载一个大文件夹到linux服务器的最佳实践是什么?
浏览 4
提问于2016-01-06
得票数 2
3
回答
访问一个内存块(/ C/C++数组),就像访问一个文件流一样
c++
、
c
、
fstream
、
cfstream
有没有办法在C(或C++)中做到这一点? 背景信息:我将逐行读取内存块或大文件,并一次一行地处理这些行,我懒得写两次相同的东西,一次用于内存块,一次用于文件流。如果需要使用文件流版本,那么文件将无法装入内存。可以理解的是,我可以将内存块保存到一个文件中,然后使用文件流访问相同的数据,但这看起来像是在浪费计算机时间。 我知道linux系统上的/dev/shm。有没有更便于移植的语言(C或C++)层的抽象?
浏览 5
提问于2013-03-19
得票数 4
2
回答
如何删除“文件名太长”。在窗户里。[命令提示符]
windows
、
command-prompt
、
delete-file
、
robocopy
如何在Windows中删除大文件路径/文件名文件。这对Linux -rf来说更糟。?
浏览 3
提问于2017-05-20
得票数 10
回答已采纳
3
回答
写入大文件
c++
、
file-io
、
win64
我尝试写入一个大文件,但它似乎不适用于大于2 2GB的文件。我尝试过使用boost::iostreams::file_sink。这只是boost流的一个限制吗?有没有其他方法可以在Win64和win32上写一个大文件?
浏览 0
提问于2008-11-19
得票数 11
回答已采纳
2
回答
是否有比dd更快的占用磁盘空间的方法?
disk-usage
、
dd
为了测试我们的系统是否正确地检测到它们正在耗尽空间,我们只需要磁盘上的大文件,而我们根本不关心它们的内容。目前,我们使用dd if=/dev/zero [...]来创建它们,这花费了非常长的时间,特别是当将数百to的数据写入到消费级的SATA磁盘时。 有办法加快速度吗?我只想把文件存在的信息写到文件系统表中,而不写文件的内容,最终得到一个包含以前在磁盘上写的东西的大文件。
浏览 0
提问于2015-03-05
得票数 2
1
回答
如何通过科学linux的"Windows共享“协议共享文件?
files
、
filesystems
、
samba
、
file-sharing
、
scientific-linux
我的linux上有一个文件。我想通过"Windows共享“来共享它(IPMI只能理解一种远程大文件挂载的方式)。如何在科学linux的"Windows共享“上共享我的文件?
浏览 0
提问于2015-08-07
得票数 1
3
回答
gfortran更改/查找写入缓冲区大小
file-io
、
fortran
、
fortran90
、
gfortran
、
fortran95
我有一个分子动力学程序,它把原子的位置和速度写到一个文件中,每n步模拟一次。实际的写作占用了大约90%的运行时间!(通过模拟写入来检查),所以我迫切需要优化它。 我看到一些gfortran有一个扩展来改变OPEN语句中的写缓冲区大小(称为i/o块大小)和“块的数量”,但是gfortran似乎没有,而且我在某处读到gfortran使用8192字节的写缓冲区。 我甚至试着做一个FSTAT (就在打开之后,对吗?)来查看它正在使用的块的大小和数量,但它在这两个上都返回-1。(针对windows 64位编译) 在gfortran中没有扩大文件写缓冲区的方法吗?linux下的编译和windows下的编译
浏览 2
提问于2013-12-31
得票数 1
4
回答
以编程方式确定最大文件名长度
php
、
linux
、
path
、
filenames
、
name-length
如何确定linux机器上的最大文件名长度? 熟悉PHP编程语言者优先。
浏览 4
提问于2009-07-24
得票数 5
回答已采纳
2
回答
nfs文件访问统计
linux
、
nfs
、
analysis
对于Linux NFSv3服务器,是否有任何方法查看有关实际文件访问的统计信息?换句话说,我希望看到每一个文件读或写的时间戳日志。 动机:我有几个NFS服务器,它们将被某种“大铁”存储系统所取代。在我的特殊情况下,NFS客户端负载实际上是大文件的所有读取(平均约700 MB)。一个供应商的解决方案使用一个大型RAM磁盘作为缓存,以提供我所需要的大规模随机读取吞吐量。 我想要的是一种研究NFS文件访问模式的方法,这样我就可以“调整”缓存的大小。
浏览 0
提问于2011-04-07
得票数 4
2
回答
快速的'C‘库可以透明地管理非常大的文件
c
、
large-files
、
stdio
我需要保存大量数据(>500 PC ),这些数据是从连接到我的PC的另一台设备流式传输的(800Mb/s)。速度排除了数据库的使用,例如MySQl/ISAM,我正在寻找一个快速,轻量级的库,它位于'C‘stdio文件库(即fopen/fclose/fwrite)之上,它将允许我读/写一个非常大的文件(最多可用磁盘空间)。 在幕后,大文件可以被分解成更小的文件,例如1 1GB,我希望API来处理这些细节。 数据以压缩的二进制格式到达PC,在将其写入硬盘之前不需要进一步处理。 这个库应该可以在Windows和Linux上运行。
浏览 3
提问于2010-01-19
得票数 0
2
回答
多cpu核心gzip一个大文件
linux
、
compression
、
gzip
、
cpu-cores
如何通过OpenVZ使用服务器中的所有cpu核心(有4个核心) linux Debian到gziping更快的一个大文件 我正在尝试使用这些命令,但我不能把这些部分放在一起。 获取CORES=$(grep -c '^processor' /proc/cpuinfo)核数 这用于在更多的split -b100 file.big中拆分大文件 这是用于多核心find /source -type f -print0 | xargs -0 -n 1 -P $CORES gzip --best的gzip命令。 我不知道这是否是优化大文件gzip处理的最佳方法。
浏览 6
提问于2014-06-24
得票数 1
回答已采纳
2
回答
在Linux中查找/重命名大文件
linux
、
file
、
size
我正在学习如何在终端中使用Linux命令并查找/重命名大文件。第一次尝试 find . -type f +size 1G 给出这条信息 查找:路径必须在表达式之前:+大小用法:查找-H -P -D帮助 什么是最好的方法 查找/重命名大文件 将它们移动到特定的文件夹 谢谢你,卡洛
浏览 7
提问于2015-09-11
得票数 0
3
回答
在Java中处理大文件有哪些技巧
java
、
nio
、
large-files
我需要在Java中对大文件执行简单的grep和其他操作。我对Java NIO实用程序不是很熟悉,但我想这就是我需要使用的。对于读/写大文件,你有什么资源或有用的提示。另外,我正在开发一个SWT应用程序,需要在GUI上的文本区域中显示部分数据。
浏览 1
提问于2009-02-25
得票数 0
回答已采纳
3
回答
如何使用一些Linux命令复制一个大文件的前几行,并在其末尾添加一行文本?
linux
如何使用一些Linux命令复制一个巨大文件的前几行,并在其末尾添加一行文本?
浏览 3
提问于2009-08-25
得票数 105
回答已采纳
1
回答
在Linux系统上快速创建不可压缩的大文件
linux
、
file
、
filesystems
在Linux系统上,我需要创建一个大文件(大约10 On ),不可压缩文件。 该文件应该驻留在Docker映像中,这是测试在本地注册表中传输和存储大型坞映像时的性能所必需的。因此,我需要图像“本质上”大(即:不可压缩),以绕过优化机制。 fallocate (在中描述)可以非常快地创建大文件,但是结果是一个0熵的大文件,高度可压缩。当将大图像推送到注册表时,只需要很少的MB。 那么,如何创建一个大型的uncompressible文件呢?
浏览 6
提问于2021-03-05
得票数 0
回答已采纳
1
回答
如何将Linux CeNTOS中的最大文件大小设置为server.log
linux
、
file
、
logging
、
size
、
centos
CeNTOS Linux 要做什么:将最大文件大小设置为500 MB以文件"server.log“(示例) 怎么做?谷歌没有找到有效的解决方案。
浏览 2
提问于2013-08-12
得票数 1
回答已采纳
2
回答
将shell输出中断为文件
java
、
linux
、
shell
、
logging
、
output
我知道我可以使用以下方法将脚本输出输出到文件中: /path/to/script.sh >& path/to/output.log 问题是,我在Java中做了一个无限循环,我的shell将运行,因此输出文件将变得非常大。 是否有使用linux命令按最大文件大小来拆分日志的输出,或者我必须将输出Java改为控制台,以便按照最大文件大小分隔文件?
浏览 0
提问于2013-08-14
得票数 1
回答已采纳
3
回答
如何构建一个包含其他文件的文件,通过掩码选择?
linux
、
shell
我需要将某个指定文件夹中所有*.as文件的内容放入一个大文件中。 我如何在Linux shell中做到这一点?
浏览 4
提问于2009-11-16
得票数 0
回答已采纳
1
回答
如何重命名名为".“的文件名。
linux
、
file-rename
我已经从远程服务器下载了一个大约2G的大文件,但是我错误地给它起了名字。(点)。 如何使用linux命令重命名它?
浏览 1
提问于2014-05-07
得票数 0
2
回答
从包含多个30位数字的文件中计数前三个整数,每一行数前三个整数并输出和
shell-script
、
text-processing
如何从具有多个30位长整数的大文件中提取前三个整数,并输出前三个数字的和。在Linux终端上?
浏览 0
提问于2022-07-27
得票数 1
1
回答
如何用另一个CSV文件中的数据写入现有的csv文件?
python
、
python-3.x
、
file
、
csv
、
read.csv
简单介绍一下:我有两个CSV文件: 第一个我将称之为语句 第二个是大文件 大文件包含许多数据,包括语句中的Order ID编号。 我想做的是: 如果来自"Yes".语句的Order ID与大文件中的Order ID匹配,那么在包含Order ID的行Paid中的大文件中写入 所以我写的是: import pandas as pd data1 = pd.read_csv('Big_File.csv') data2 = pd.read_csv('Statement.csv') df = pd.DataFrame(data1) for i in
浏览 0
提问于2019-08-02
得票数 2
5
回答
上传非常大的文件(>5 5GB)
php
、
jquery
、
upload
、
blob
、
filereader
我需要你的帮助。我想创建一个上传脚本与超文本标记语言,JQuery和PHP。有没有可能写一个脚本,可以上传非常大的文件(>5 GB)? 我已经在FileReader,FormData和Blobs上试过了,但即使有了这些,我也不能上传大文件(我的浏览器在选择大文件后崩溃了)。 附言:我想自己写。不要张贴任何完成的脚本。 问候
浏览 0
提问于2012-10-29
得票数 4
2
回答
linux机器上最快的MFCC提取方法
signal-processing
、
speech-recognition
、
raspberry-pi
、
mfcc
在linux中从音频文件中提取mfcc的最快方法是什么(我的例子是Raspberry Pi )。我试过sphinx3,但它对大文件来说很慢(在树莓派上)。SFS (语音文件系统)在windows上运行速度很快,但我无法在linux上安装它。请给我一些建议。
浏览 0
提问于2013-12-19
得票数 3
2
回答
写入相同数据量的多个文件与写入相同数据量的单个大文件
java
、
hadoop
、
mapreduce
我想在本地磁盘上写一个大文件。我将大文件分割成许多小文件,并尝试将其写入磁盘。但我观察到,当我拆分文件并尝试写入时,磁盘写入时间会大大增加。 此外,我从磁盘复制文件,并将其写入另一台计算机的磁盘(Reducer)。我观察到读取时间也有很大的增加。有人能给我解释一下原因吗?我正在使用hadoop。 谢谢!
浏览 0
提问于2012-10-31
得票数 2
回答已采纳
3
回答
在python中压缩文件夹的更快方法
python
、
compression
我正在寻找在python中压缩大文件夹(大约30 Go )的更快的方法。压缩级别不是优先级。我尝试过一些库,如tarfile或zipfile。你知道其他图书馆吗?我的脚本运行在Linux上,像gzip、bzip2或xz这样的Linux命令更快吗?欢迎任何建议。 谢谢
浏览 1
提问于2016-02-02
得票数 2
回答已采纳
2
回答
使用Python urllib2,我如何在GET和POST之间进行流式传输?
python
、
streaming
、
urllib2
我想写代码将文件从一个站点传输到另一个站点。这可能是一个大文件,我希望在不创建本地临时文件的情况下这样做。 我看到了在Python中使用mmap上传大文件的诀窍:"HTTP POST a large file with streaming",但我真正需要的是一种将GET响应链接到创建Post的方法。 以前有人这么做过吗?
浏览 2
提问于2014-07-23
得票数 3
1
回答
如何为samba共享设置最大文件大小?
samba
是否有任何方法限制用户可以上传到samba (linux)共享的文件的最大文件大小?我在文档中找不到任何东西,但似乎应该存在这类东西。
浏览 0
提问于2012-08-21
得票数 3
回答已采纳
1
回答
Azure Node.js Linux应用服务Microsoft.AspNetCore.Server.Kestrel.Core.BadHttpRequestException:请求正文太大
node.js
、
azure-web-app-service
、
kestrel-http-server
、
azure-app-service-plans
、
azure-linux
我们正在使用Azure Node.js Linux应用程序服务,当我们尝试上载大约30MB的大文件时遇到以下错误 我们是否有更改请求正文大小的设置?
浏览 44
提问于2020-03-06
得票数 0
2
回答
从直接链接远程上传
php
、
file-upload
、
remote-server
我有一个从我的服务器1直接链接的大文件。 http://xx.com/linux1.iso (3 gb) 我需要上传到我的第二个服务器与php (我没有一个很好的adsl,我有更多的大文件,只有一个星期移动所有网站) 有没有可能在服务器2上创建一个php脚本,将带有直接链接的文件从服务器1复制到服务器2?
浏览 0
提问于2013-09-22
得票数 0
1
回答
我可以在windows上将DVD作为单个文件读取吗?
c
我知道这在linux上是可能的。我尝试使用open("E:", 0);和open("E:\\", 0);,但它返回-1。我希望将DVD作为一个大文件读取,而不是将其用作文件系统。
浏览 2
提问于2016-04-29
得票数 0
1
回答
在linux文件中替换单引号和双引号
linux
、
bash
、
sed
、
grep
我从postgres那里得到了一个转储,它创建了一堆CSV,它们在几个大文件中具有单(')和双(")字符。 如何在linux中将它们替换为\“和”? 谢谢!
浏览 3
提问于2016-07-15
得票数 0
回答已采纳
2
回答
使用原生PHP函数下载/恢复PHP中的大文件
php
、
curl
、
fopen
我必须在PHP中实现一个简单的文件下载客户端,能够下载大文件以及恢复它们。 有没有办法可以用PHP下载大文件(>700MB),而我的PHP内存限制仍然是128M?我猜这和写文件指针有关。有关于使用哪个文件处理函数的线索吗?有太多了。我猜是fopen,flock,(fwrite,fgets,fread),fclose。或者我应该使用cURL? 如何恢复已损坏的下载?脚本执行超时、用户停止脚本、远程服务器超时等?
浏览 0
提问于2010-12-13
得票数 0
回答已采纳
1
回答
为什么给定的文件大小在Windows和Linux之间略有不同?
linux
、
files
我刚刚(通过scp)将一堆.gz文件从Windows机器传输到我的Linux机器上。它们是大文件,所以我通过比较文件大小来检查它们是否已经完全传输了。我复制到我的Linux上的文件比Windows机器上的原件大0.097%。我很好奇是什么导致了这种差异?我在Linux上使用了ls -l,并查看了Windows上的属性以获得文件大小信息。
浏览 0
提问于2016-05-23
得票数 2
6
回答
如何检查一个文件是否只包含Linux shell中的零?
linux
、
file
、
shell
如何使用shell命令检查一个大文件在Linux中是否只包含零字节('\0')?我可以为此编写一个小程序,但这似乎有点过火了。
浏览 9
提问于2013-11-26
得票数 17
回答已采纳
2
回答
git,上传连接不稳定的大文件?
linux
、
git
我试图在linux中使用git将一些文件上传到github。 我有一个大文件和一个不稳定的连接。上传被多次中断。 有没有办法上传这些文件可以恢复?
浏览 6
提问于2016-01-10
得票数 2
回答已采纳
3
回答
Bash命令(netstat等)显示数据包传输的概述?
linux
、
shell
、
networking
、
traffic
假设我有一台Linux机器,它正被一些网络流量所困扰。可能是有人FTPing一个大文件,一群人下载一个大文件,等等。 我可以使用哪些选项来确定这一点?网民说,我已经看过了,但我不确定这是否就是我需要的。它至少可以告诉我端口,这样我就可以知道它是否是FTP,但是如果一个文件是DLed的,它就不会有帮助了。
浏览 2
提问于2009-07-07
得票数 1
2
回答
ext4上的编辑文件是否会创建其他副本?
linux
、
filesystems
假设我有带有字符串ABCD的文件X。然后我使用open编辑文件,寻求0,截断,写1234。ABCD会留在硬盘上的任何地方吗?假设它是大文件,超过了部门/节点的数量。
浏览 0
提问于2018-01-23
得票数 1
1
回答
随机读/写一个大文件- mmap上的每一个读/写?
linux
、
kernel
、
mmap
假设我有一份大文件,1 1Go。我想读10ko在偏移量10,然后写645ko在偏移量235689,然后读150 so在偏移量648975,等等。 这两者之间的最佳方法是什么: 打开文件并映射它(多大?)然后进行读/写。在最后解开并关闭它。 或者打开文件。在读/写时,mmap-文件(多大?)然后把它们拆开。最后,关闭文件。
浏览 0
提问于2019-06-28
得票数 1
2
回答
将文件分割成块,包括第一部分中的更多行。
text-processing
、
split
我试图用4100行分隔一个大文件。将6行数字分隔为文件,而其他行则需要跟随4行数字,file.Please认为如下所示。 我怎么写bash脚本?
浏览 0
提问于2017-03-13
得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何快速传输大文件,介绍大文件快速方法
写代码怎能不会这些Linux命令?
每天用 Jupyter写5 分钟的日记|Linux 中国
MongodbGFS存储大文件
php大文件上传
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券