学习
实践
活动
工具
TVP
写文章
专栏首页FinalBoy使用rsync进行大文件传输

使用rsync进行大文件传输

前由

吐槽下,刚使用scp

利用scp进行linux之间的文件传输

前由其实是个很有意思的问题,网站数据75G,压缩过后65G,原想着tar打包利用ftp发到另外一个服务器上,再解压...

进行文件传输,实在太慢了。大文件的话还是rsync好用。

基本格式

1.rsync [option]... src dst   拷贝本地文件
2.rsync [option]... src user@host:dst    使用远程shell程序(rsh、ssh)将本地拷贝到远程服务器。
3.rsync [option]... src user@host::dst    从本地机器拷贝文件到远程rsync服务器中。当DST路径信息包含"::"分隔符时启动该模式。
4.rsync [option]... user@host:src dst    远程->本地
5.rsync [option]... user@host::src dst    远程->本地
6.rsync [option]... rsync://user@host:port/src 列出远程主机文件列表

简单使用

rsync -vrtopg --progress -e 'ssh  -p 23333' root@168.198.87.1:/www/wwwroot/ /data

上面命令会使用非22端口将远程服务器上的文件拷贝至本地。 传输ing.... 可以看到速度很快。

rsync参数详解

我觉得我还是copy一份比较好。

-v:显示rsync过程中详细信息。可以使用"-vvvv"获取更详细信息。
-P:显示文件传输的进度信息。(实际上"-P"="--partial --progress",其中的"--progress"才是显示进度信息的)。
-n --dry-run  :仅测试传输,而不实际传输。常和"-vvvv"配合使用来查看rsync是如何工作的。
-a --archive  :归档模式,表示递归传输并保持文件属性。等同于"-rtopgDl"。
-r --recursive:递归到目录中去。
-t --times:保持mtime属性。强烈建议任何时候都加上"-t",否则目标文件mtime会设置为系统时间,导致下次更新
          :检查出mtime不同从而导致增量传输无效。
-o --owner:保持owner属性(属主)。
-g --group:保持group属性(属组)。
-p --perms:保持perms属性(权限,不包括特殊权限)。
-D        :是"--device --specials"选项的组合,即也拷贝设备文件和特殊文件。
-l --links:如果文件是软链接文件,则拷贝软链接本身而非软链接所指向的对象。
-z        :传输时进行压缩提高效率。
-R --relative:使用相对路径。意味着将命令行中指定的全路径而非路径最尾部的文件名发送给服务端,包括它们的属性。用法见下文示例。
--size-only :默认算法是检查文件大小和mtime不同的文件,使用此选项将只检查文件大小。
-u --update :仅在源mtime比目标已存在文件的mtime新时才拷贝。注意,该选项是接收端判断的,不会影响删除行为。
-d --dirs   :以不递归的方式拷贝目录本身。默认递归时,如果源为"dir1/file1",则不会拷贝dir1目录,使用该选项将拷贝dir1但不拷贝file1。
--max-size  :限制rsync传输的最大文件大小。可以使用单位后缀,还可以是一个小数值(例如:"--max-size=1.5m")
--min-size  :限制rsync传输的最小文件大小。这可以用于禁止传输小文件或那些垃圾文件。
--exclude   :指定排除规则来排除不需要传输的文件。
--delete    :以SRC为主,对DEST进行同步。多则删之,少则补之。注意"--delete"是在接收端执行的,所以它是在
            :exclude/include规则生效之后才执行的。
-b --backup :对目标上已存在的文件做一个备份,备份的文件名后默认使用"~"做后缀。
--backup-dir:指定备份文件的保存路径。不指定时默认和待备份文件保存在同一目录下。
-e          :指定所要使用的远程shell程序,默认为ssh。
--port      :连接daemon时使用的端口号,默认为873端口。
--password-file:daemon模式时的密码文件,可以从中读取密码实现非交互式。注意,这不是远程shell认证的密码,而是rsync模块认证的密码。
-W --whole-file:rsync将不再使用增量传输,而是全量传输。在网络带宽高于磁盘带宽时,该选项比增量传输更高效。
--existing  :要求只更新目标端已存在的文件,目标端还不存在的文件不传输。注意,使用相对路径时如果上层目录不存在也不会传输。
--ignore-existing:要求只更新目标端不存在的文件。和"--existing"结合使用有特殊功能,见下文示例。
--remove-source-files:要求删除源端已经成功传输的文件。

本文参与 腾讯云自媒体分享计划 ,欢迎热爱写作的你一起参与!
本文分享自作者个人站点/博客:https://huahai.club复制
如有侵权,请联系 cloudcommunity@tencent.com 删除。
登录 后参与评论
0 条评论

相关文章

  • rsync配合ssh在不稳定网络下传输大文件

    jeremyxu
  • 如何在Linux中使用 Rsync 显示文件传输进度?

    只需添加--progress到您的 rsync 命令,它就会开始显示正在传输的文件:

    网络技术联盟站
  • 强烈建议使用 rsync 替换 cp/scp 进行文件拷贝

    rsync 归档模式最大的好处是可以拷贝原信息,如 ctime/mtime/mode 等等,这对于静态资源服务器相当有用!!!

    山月
  • Linux使用SCP进行文件传输

    scp就是secure copy,是用来进行远程文件拷贝的。数据传输使用 ssh,并且和ssh 使用相同的认证方式,提供相同的安全保证 。

    全栈程序员站长
  • Java中是否直接可以使用enum进行传输

    我们在进行传输的时候 会有一些状态值,如Status为1代表删除,为0代表失败或者怎么样的。只传输一个)0或者1过去给第三方(此处不包括给前端),如果没有契约第...

    袁新栋-jeff.yuan
  • Linux使用rsync客户端与服务端同步目录进行备份

    uid = nobody                          # 该选项指定当该模块传输文件时守护进程应该具有的uid.默认值为”nobody”...

    星哥玩云
  • 技术分享 | 你通常选用什么工具在 Linux 中进行数据传输?

    爱可生交付服务团队北京 DBA,对数据库及周边技术有浓厚的学习兴趣,喜欢看书,追求技术。

    爱可生开源社区
  • 技术分享 | 你通常选用什么工具在 Linux 中进行数据传输?

    前几天跟客户聊天,抱怨服务器之前的数据传输工具不好用,问我哪种传输工具效率高?还真被问住了,毕竟没经过实践嘛,今天就测试下。

    爱可生开源社区
  • 如何在Linux和Unix中通过网络快速传输大文件

    入门笔记
  • [诀窍]上G文件双机互传首选工具BBCP

    由来: 局域网双机拷贝单个大文件 【200G大小】,不要问我是啥! 也不要问我为毛会生成那么大的单文件,事实就是这样!然后就开始了操蛋之旅!再次做下记录备忘! ...

    小小科
  • 基于rsync的文件增量同步方案

    背景 犀牛云盘是美团点评内部一个基于美团云的文件协作平台,核心是文件的结构化云存储以及上传和下载的体验优化。文件同步是云盘功能的重要部分(包括文件内容的同步和文...

    美团技术团队
  • 如果美国政府不让中国使用aspera软件,我们的大文件传输还有哪些选择

    上周最热信息莫过于“美国对中兴通信ZTE的出口禁令”,美国断了“芯”,企业丢了魂,每年营收超千亿、全球第四大的通信设备制造商(前三为华为、爱立信、阿尔卡特朗讯)...

    云语科技
  • linux下如何实现快速拷贝大文件

    远程拷贝数据的时候,我们一般使用rsync命令,但是如果拷贝大量的小文件,会导致rsync的传输速度慢。使用tar pv lz4打包压缩传输,可以解决这问题,使...

    砸漏
  • Rsync服务简介部署使用及原理详解

    常见_iginkgo
  • linux远程复制文件命令小总结

    入门笔记
  • 备份数据的重要性以及rsync的基本使用

    主机角色 外网IP(NAT) 内网IP(LAN) 主机名称

    码农编程进阶笔记
  • 容器镜像中心

    容器总是存在一个镜像中心,而一个镜像中心的存在主要是为了保存所有的镜像image,而在使用的时候,总是要追求高可用,从而会有不同的架构。

    SRE运维实践
  • 使用WinSCP软件在windows和Linux中进行文件传输

    当我们的开发机是Windows,服务器是Linux时,如何在windows操作系统和linux操作系统之间进行文件传输呢?大部分使用ScureCRT或者putt...

    张善友
  • linux远程复制文件命令小总结

    原文链接:https://rumenz.com/rumenbiji/linux-scp-rsync.html

    入门笔记

扫码关注腾讯云开发者

领取腾讯云代金券