从远程服务器复制到s3的文件在s3存储桶上不显示状态
从远程服务器复制到s3的文件在s3存储桶上不显示状态
提问于 2020-11-07 04:58:36
我正在从我的远程服务器向s3存储桶上传近7TB的文件和文件夹，但是我在s3存储桶上看不到任何文件。我在s3上只看到几个成功复制的文件。
我有一台ec2服务器，我已经使用此link在其上装载了一个s3存储桶
在远程服务器上，我使用以下脚本。我还测试了这个脚本，它对于小文件来说工作得很好
rsync -uvPz --recursive -e "ssh -i /tmp/key.pem" /eb_bkup/OMCS_USB/* appadmin@10.118.33.124:/tmp/tmp/s3fs-demo/source/backups/eb/ >> /tmp/log.txt &我正在生成的日志文件显示文件正在被复制，以及所有相关信息，如传输速度、文件名等。但是在s3存储桶上，在复制第一个文件后，我看不到任何文件。
每个文件大小从500MB到25 to。
为什么我在S3上看不到这些文件？
回答 2
Stack Overflow用户
回答已采纳
发布于 2020-11-17 07:47:43
所以我面临的问题是，rsync复制目标ec2上的文件，首先创建一个临时文件，然后在S3存储桶上写入它。因此，多个rsync作业正在运行，并且EC2服务器上的本地ebs卷存储已满。这就是为什么rsync不能创建临时文件，而是一直在套接字上复制/写入的原因。
Stack Overflow用户
发布于 2020-11-07 05:11:04
亚马逊S3是一个对象存储服务，而不是一个文件系统。我建议您使用AWS Command-Line Interface (CLI)复制文件，而不是将S3挂载为磁盘。
AWS CLI包含一个非常适合您的aws s3 sync命令--它将在两个位置之间同步文件。因此，如果某些操作失败，您可以重新运行它，它不会复制已经复制的文件。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/64721507
复制相关文章
相似问题
腾讯云开发者
