Linux学习----文件的使者-Rsync(马哥教育原创)

Rsync是Unix下的一款应用软件，它能同步更新两处计算机的文件与目录，并适当利用差分编码以减少数据传输。rsync中一项与其他大部分类似程序或协议中所未见的重要特性是镜像对每个目标只需要一次发送。rsync可拷贝／显示目录属性，以及拷贝文件，并可选择性的压缩以及递归拷贝。在常驻模式（daemon mode）下，rsync默认监听TCP端口873，以原生rsync传输协议或者通过远程shell如RSH或者SSH伺服文件。SSH情况下，rsync客户端运行程序必须同时在本地和远程机器上安装。Rsync的远程复制行为是对目录进行对比，相同的文件不再复制，只复制不同的文件，不像cp等命令需要先删除原文件再复制新文件，这样效率会高很多。Rsync的特点：1、 可以镜像保存整个目录树或文件系统；2、 较高的数据传输效率；3、 可以借助ssh实现安全数据传输；4、 支持匿名传输；Rsync算法：rsync公用程序利用由澳洲计算机程序师安德鲁·垂鸠（Andrew Tridgell）发明的算法，在当接受端电脑已经有相同结构（例如文件）但不同版本时，有效的将结构传输过通讯连接。接受端将文件拷贝打散成固定大小为S的不重叠片段，并对每个片段计算两个校验和：MD4散列函数与一个较弱的轮替校验和（rolling checksum）。它将这些校验和送给发送者。通讯协议版本30（与rsync版本3.0.0一并分发）现在使用MD5散列函数以替代MD4。发送者对位于其版本的文件中每个大小为S的片段计算轮替校验和，即使是重叠的片段。这可被有效的计算通过特别知识产权的轮替校验和算法：如果比特n到n+S-1的轮替校验和是R，从比特n+1到n+S的轮替校验和可从R，比特n，以及比特n+S计算出而不需要真正去检验中间的比特。因此，如果比特1到25的轮替校验和已被算出，那计算比特2到26的轮替校验和可完全依靠之前的校验和与比特1与比特26算出。rsync使用的轮替校验和是根据马克艾德勒（Mark Adler）的alder-32校验和算法。该算法也被用于zlib，而它本身也基于弗莱彻校验和（Fletcher's checksum）算法。发送者其后以接收者送来的一组轮替校验和比较它自己的轮替校验和以决定是否任何匹配存在。如果是的话，它便通过计算匹配区块的MD4校验和与接受端送来的MD4校验和比较来验证匹配。发送者稍后发送给接收者不与接收者方任何区块匹配的文件的那些部分，以及如何合并这些区块到接收者版本的组装指令。在实际上，这产生了与发送者端文件一模一样的拷贝。然而，在原则上是可能接收者的拷贝在这一点上不同：这可能发生在当两个文件有不同的区块但有着相同的MD4散列函数与轮替校验和；这种事情发生的概率在现实上极端罕见。如果发送者与接收者文件版本有许多区段相同，该公用程序只需发送相对小部分的数据以将文件同步。在rsync算法构成rsync应用程序核心并最优化两台电脑间TCP/IP的传输同时，rsync应用程序也支持其他种显著增进文件传输或备份的重要功能。他们包括在发送端与接收端个别利用zlib进行区块区块间压缩解压缩，以及支持通讯协议如ssh。该协议让加密传输兼具压缩与效率，通过rsync算法产生的差分数据变得可能。除ssh以外，stunnel亦可被利用于创造加密通道以保全被传输的数据。Rsync命令的工作模式：1、 shell模式，也称本地模式；2、 远程shell模式，可以利用ssh协议承载其远程传输过程；3、 列表模式，仅列出源中的内容，-nv；4、 服务模式，此时rsync工作为守护进程，能接受客户端的数据同步请求；Rsync命令的选项： -n：同步测试，不执行真正的同步过程；dry run（干跑） -v：详细输出模式 -q：静默模式 -c：checksum，开启校验功能 -r：递归复制 注意：rsync命令中，如果原路径是目录，且复制路径时目录末尾有/，则会复制目录中的内容，而非目录本身；如果没有/，则会同步目录本身及目录中所有文件；目标路径末尾是否有/无关紧要； -a：归档，保留文件的原有属性； -p：保留文件的权限； -t：保留文件的时间戳； -l：保留符号链接文件； -g：保留数组； -o：保留属主； -D：保留设备文件； -e ssh：使用ssh传输； -z：压缩后传输； --progress：显示进度条； --stats：显示如何执行压缩和传输；添加描述

Rsync是Unix下的一款应用软件，它能同步更新两处计算机的文件与目录，并适当利用差分编码以减少数据传输。rsync中一项与其他大部分类似程序或协议中所未见的重要特性是镜像对每个目标只需要一次发送。rsync可拷贝／显示目录属性，以及拷贝文件，并可选择性的压缩以及递归拷贝。在常驻模式（daemon mode）下，rsync默认监听TCP端口873，以原生rsync传输协议或者通过远程shell如RSH或者SSH伺服文件。SSH情况下，rsync客户端运行程序必须同时在本地和远程机器上安装。

Rsync的远程复制行为是对目录进行对比，相同的文件不再复制，只复制不同的文件，不像cp等命令需要先删除原文件再复制新文件，这样效率会高很多。

Rsync的特点：

1、 可以镜像保存整个目录树或文件系统；

2、 较高的数据传输效率；

3、 可以借助ssh实现安全数据传输；

4、 支持匿名传输；

Rsync算法：

rsync公用程序利用由澳洲计算机程序师安德鲁·垂鸠（Andrew Tridgell）发明的算法，在当接受端电脑已经有相同结构（例如文件）但不同版本时，有效的将结构传输过通讯连接。接受端将文件拷贝打散成固定大小为S的不重叠片段，并对每个片段计算两个校验和：MD4散列函数与一个较弱的轮替校验和（rolling checksum）。它将这些校验和送给发送者。通讯协议版本30（与rsync版本3.0.0一并分发）现在使用MD5散列函数以替代MD4。发送者对位于其版本的文件中每个大小为S的片段计算轮替校验和，即使是重叠的片段。这可被有效的计算通过特别知识产权的轮替校验和算法：如果比特n到n+S-1的轮替校验和是R，从比特n+1到n+S的轮替校验和可从R，比特n，以及比特n+S计算出而不需要真正去检验中间的比特。因此，如果比特1到25的轮替校验和已被算出，那计算比特2到26的轮替校验和可完全依靠之前的校验和与比特1与比特26算出。rsync使用的轮替校验和是根据马克艾德勒（Mark Adler）的alder-32校验和算法。该算法也被用于zlib，而它本身也基于弗莱彻校验和（Fletcher's checksum）算法。发送者其后以接收者送来的一组轮替校验和比较它自己的轮替校验和以决定是否任何匹配存在。如果是的话，它便通过计算匹配区块的MD4校验和与接受端送来的MD4校验和比较来验证匹配。发送者稍后发送给接收者不与接收者方任何区块匹配的文件的那些部分，以及如何合并这些区块到接收者版本的组装指令。在实际上，这产生了与发送者端文件一模一样的拷贝。然而，在原则上是可能接收者的拷贝在这一点上不同：这可能发生在当两个文件有不同的区块但有着相同的MD4散列函数与轮替校验和；这种事情发生的概率在现实上极端罕见。如果发送者与接收者文件版本有许多区段相同，该公用程序只需发送相对小部分的数据以将文件同步。在rsync算法构成rsync应用程序核心并最优化两台电脑间TCP/IP的传输同时，rsync应用程序也支持其他种显著增进文件传输或备份的重要功能。他们包括在发送端与接收端个别利用zlib进行区块区块间压缩解压缩，以及支持通讯协议如ssh。该协议让加密传输兼具压缩与效率，通过rsync算法产生的差分数据变得可能。除ssh以外，stunnel亦可被利用于创造加密通道以保全被传输的数据。

Rsync命令的工作模式：

1、 shell模式，也称本地模式；

2、 远程shell模式，可以利用ssh协议承载其远程传输过程；

3、 列表模式，仅列出源中的内容，-nv；

4、 服务模式，此时rsync工作为守护进程，能接受客户端的数据同步请求；

Rsync命令的选项：

-n：同步测试，不执行真正的同步过程；dry run（干跑）

-v：详细输出模式

-q：静默模式

-c：checksum，开启校验功能

-r：递归复制

注意：rsync命令中，如果原路径是目录，且复制路径时目录末尾有/，则会复制目录中的内容，而非目录本身；如果没有/，则会同步目录本身及目录中所有文件；目标路径末尾是否有/无关紧要；

-a：归档，保留文件的原有属性；

-p：保留文件的权限；

-t：保留文件的时间戳；

-l：保留符号链接文件；

-g：保留数组；

-o：保留属主；

-D：保留设备文件；

-e ssh：使用ssh传输；

-z：压缩后传输；

--progress：显示进度条；

--stats：显示如何执行压缩和传输；

Linux学习