我的hadoop作业在HDFS上生成大量文件，我想编写一个单独的线程，将这些文件从HDFS复制到S3。谢谢
浏览 1提问于2010-09-15得票数 8
回答已采纳
2回答
Hadoop文档说-PUT-拷贝单个src，或者从本地文件系统复制多个srcs到目标文件系统。
copyFromLocal -类似于put命令，但源仅限于本地文件引用。
浏览 5提问于2015-03-31得票数 0
回答已采纳
2回答
我有一个带有VZFS文件系统的VPS主机。如何确定VZFS分区的最大文件大小？
UPD:自由空间(或全部空间)不是我所需要的。我需要使用一个大型数据库文件(例如，64 it )，所以我需要知道VPS托管的文件系统是否能够处理它。ext3文件系统使用tune2fs很容易计算，但是VPS通过Virtuozzo使用VSFS，而且它被记录为糟糕。对于linux中的某些文件系统，是否有计算最大文件大小的通用方法？
浏览 0提问于2010-01-29得票数 0
在同一组本地文件系统中。显而易见的解决方案是使用。然而，在某些情况下，我读到过，例如。跨文件系统，移动将倒退到复制和删除.当我移动大文件时，我希望能够向用户报告进度，如果拷贝出现(因为会有明显的延迟)。
但是，我无法找到一种简单的方法来使用Java来完成这个任务。
浏览 3提问于2017-08-30得票数 14
回答已采纳
1回答
试图为我妻子的电脑设置一个简单的备份解决方案。在我的服务器上使用OSX自动挂载本地挂载一个卷，所以它应该只是一个简单的但是，当我查看它同步的文件时，jpg文件上的所有元数据都丢失了。创建日期保留在文件中，修改日期最终成为rsync运行时的时间戳，但我无法想象为什么EXIF数据(设备、曝光等)会消失，而它应该只是一个直接的文件副本。希望有人以前遇到过这种情况，并能给出一些启发。
浏览 1提问于2014-03-03得票数 1
“错误5获取目标的文件系统类型，访问被拒绝”。它正在使用机器人拷贝来实现这一目标。
我可以远程连接到服务器，并且我有管理权限。我在这里错过了什么？请帮帮忙。
浏览 2提问于2020-04-13得票数 1
回答已采纳
1回答
用于虚拟备份环境的快速文件系统
、、、、
我知道文件系统支持者的战争已经走到了尽头，每个文件系统都有大量的微调指南，所以请遵守规范:我想问你建议如何快速处理大文件(R/W)，而可靠性不是优先考虑的。真实场景:将大型VM映像(2++ TB)从备份目标存储复制到本地(sata)存储。已经尝试过了: ZFS(onlinux)在备份目标上，但是经过几个月的工作，池变得支离破碎，I/O (都是R/W)速度大大减慢。接下来的测试: XFS对LVM的目标存储，似乎是显而易见的选择.还是不想？对此有什么好建议吗？谢
浏览 0提问于2016-04-11得票数 1
回答已采纳
1回答
假设有一个进程这样做:将一个大文件mv到目标目录
另一个进程是监视目标目录中的文件，因为它希望尽快读取其内容。文件系统是否确保第二个进程只在文件完全可用时“看到”该文件？
浏览 0提问于2016-02-24得票数 2
回答已采纳
1回答
远程复制大文件夹
、、
(最大传输速度为~1.25M字节/S)本地速度HDD到-HDD拷贝速度：~110 to/S(萨塔速度)复制comand是远程的，但是源和目标是彼此本地的。
浏览 0提问于2017-11-08得票数 0
我试图在局域网上复制这些图像，拷贝速度大约是1MB/S。我的局域网有千兆字节的速度。看起来这种情况只发生在大量的小文件中。当我复制一个大文件时，速度超过100 MB/s。对于一堆小文件来说，是否有可能使samba更快？
浏览 0提问于2017-03-09得票数 0
1回答
385295296 3264915224 11% /NAS/data我拿大文件夹几百千兆字节的拷贝后我有了...395182772 3255027748 11% /NAS/data
/dev/sdc1 3845577736 3650210512 8 100% /NAS&#x
浏览 0提问于2017-05-06得票数 0
我复制一些文件从一个硬盘驱动器到另一个通过拖放。关于文件名太长我犯了一些错误。诚然，那些不会复制的文件可能没有任何人关心的，但我还是想知道如何在将来避免这样的问题。
📷
浏览 0提问于2020-03-28得票数 3
1回答
对于ext4，它将是mkfs.ext4 -m 0 -b 4096 -E条带宽度=384，stride=64表示创建，nosuid，nodev，nodiratime，nobarrier，noatime，nofail
浏览 0提问于2015-02-14得票数 0
文件系统很少允许任意数量的字节长，而更愿意将它们放置在一定数量的块中。Python的os.path.getsize()被记录为以字节为单位返回一个大小，但我不确定它是否被操作系统(在我的例子中是linux)或文件系统舍入为块大小。对于我的应用程序，有必要知道我能够从一个大文件(~1GB)中读取的确切字节数。这方面有什么保证？
浏览 0提问于2018-06-13得票数 0
回答已采纳
2回答
(bash)对于特定的目录，我需要发现该文件系统支持的最大文件大小。所讨论的文件系统可能是从外部USB媒体挂载的，可能是FAT32、NTFS、exfat或ext2。我知道我可以部分地猜测来自mount的信息，但是我想要一个更干净的解决方案--另外，在exfat的情况下，mount将文件系统类型显示为"fuseblk“。(我正在运行Linux3.2.04-686-pae #1 SMPDebian3.2.51-1 i686 GNU/ Linux )
getconf FILESIZEBIT
浏览 4提问于2014-02-21得票数 6
1回答
我有一个有很多大文件的目录，它经常使用rsync备份到不同的驱动器上。
现在，假设我想重命名主文件系统上的目录。rsync似乎要做的是重新上传重命名目录中的所有文件。是否有一个简单易用的工具作为rsync (即命令行，不需要守护进程等)它只会重命名目标位置的目录？
浏览 0提问于2017-07-03得票数 0
2021-12-29T20:31:45.299+0530 I存储，听wiredtiger_open配置:创建，cache_size=27670M，session_max=20000，eviction=(threads_min=4，threads_max=4)，config_base=false，statistics=(fast)，log=(enabled=true，archive=true，path=journal，compressor=snappy)，file_manager=(close_idle_time=100000)，checkpoint=(wait=60，close_idle_ti
浏览 2提问于2021-12-29得票数 0
每次我通过sftp下载一个大文件时，源计算机上的md5sum都与我在目标机器上所做的md5sum不匹配。
我在Ubuntu12.04机器上有一个13gig文件，运行着openssh服务器。如果没有一个方便的外部硬盘驱动器，我最确定的传输这个文件的方式是什么，并确定我得到的拷贝是准确的？
浏览 0提问于2012-08-06得票数 0
回答已采纳
云服务器
ICP备案
腾讯会议
实时音视频
云直播
腾讯云开发者
