腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
Linux Python 加油站
本专栏志向为大家分享优质的技术文章、视频教程、学习资料等,随时更新。
专栏成员
举报
24
文章
46101
阅读量
12
订阅数
订阅专栏
申请加入专栏
全部文章(24)
python(10)
linux(10)
https(5)
其他(3)
java(3)
运维(3)
机器学习(2)
ubuntu(2)
http(2)
爬虫(2)
shell(2)
负载均衡(1)
c 语言(1)
php(1)
javascript(1)
r 语言(1)
html(1)
汇编语言(1)
github(1)
unix(1)
负载均衡缓存(1)
devops(1)
存储(1)
自动化(1)
缓存(1)
黑客(1)
正则表达式(1)
dns(1)
ftp(1)
数据处理(1)
windows(1)
搜索文章
搜索
搜索
关闭
Linux学习----文件的使者-Rsync(马哥教育原创)
linux
shell
Rsync是Unix下的一款应用软件,它能同步更新两处计算机的文件与目录,并适当利用差分编码以减少数据传输。rsync中一项与其他大部分类似程序或协议中所未见的重要特性是镜像对每个目标只需要一次发送。rsync可拷贝/显示目录属性,以及拷贝文件,并可选择性的压缩以及递归拷贝。在常驻模式(daemon mode)下,rsync默认监听TCP端口873,以原生rsync传输协议或者通过远程shell如RSH或者SSH伺服文件。SSH情况下,rsync客户端运行程序必须同时在本地和远程机器上安装。Rsync的远程复制行为是对目录进行对比,相同的文件不再复制,只复制不同的文件,不像cp等命令需要先删除原文件再复制新文件,这样效率会高很多。Rsync的特点:1、 可以镜像保存整个目录树或文件系统;2、 较高的数据传输效率;3、 可以借助ssh实现安全数据传输;4、 支持匿名传输;Rsync算法:rsync公用程序利用由澳洲计算机程序师安德鲁·垂鸠(Andrew Tridgell)发明的算法,在当接受端电脑已经有相同结构(例如文件)但不同版本时,有效的将结构传输过通讯连接。接受端将文件拷贝打散成固定大小为S的不重叠片段,并对每个片段计算两个校验和:MD4散列函数与一个较弱的轮替校验和(rolling checksum)。它将这些校验和送给发送者。通讯协议版本30(与rsync版本3.0.0一并分发)现在使用MD5散列函数以替代MD4。发送者对位于其版本的文件中每个大小为S的片段计算轮替校验和,即使是重叠的片段。这可被有效的计算通过特别知识产权的轮替校验和算法:如果比特n到n+S-1的轮替校验和是R,从比特n+1到n+S的轮替校验和可从R,比特n,以及比特n+S计算出而不需要真正去检验中间的比特。因此,如果比特1到25的轮替校验和已被算出,那计算比特2到26的轮替校验和可完全依靠之前的校验和与比特1与比特26算出。rsync使用的轮替校验和是根据马克艾德勒(Mark Adler)的alder-32校验和算法。该算法也被用于zlib,而它本身也基于弗莱彻校验和(Fletcher's checksum)算法。发送者其后以接收者送来的一组轮替校验和比较它自己的轮替校验和以决定是否任何匹配存在。如果是的话,它便通过计算匹配区块的MD4校验和与接受端送来的MD4校验和比较来验证匹配。发送者稍后发送给接收者不与接收者方任何区块匹配的文件的那些部分,以及如何合并这些区块到接收者版本的组装指令。在实际上,这产生了与发送者端文件一模一样的拷贝。然而,在原则上是可能接收者的拷贝在这一点上不同:这可能发生在当两个文件有不同的区块但有着相同的MD4散列函数与轮替校验和;这种事情发生的概率在现实上极端罕见。如果发送者与接收者文件版本有许多区段相同,该公用程序只需发送相对小部分的数据以将文件同步。在rsync算法构成rsync应用程序核心并最优化两台电脑间TCP/IP的传输同时,rsync应用程序也支持其他种显著增进文件传输或备份的重要功能。他们包括在发送端与接收端个别利用zlib进行区块区块间压缩解压缩,以及支持通讯协议如ssh。该协议让加密传输兼具压缩与效率,通过rsync算法产生的差分数据变得可能。除ssh以外,stunnel亦可被利用于创造加密通道以保全被传输的数据。Rsync命令的工作模式:1、 shell模式,也称本地模式;2、 远程shell模式,可以利用ssh协议承载其远程传输过程;3、 列表模式,仅列出源中的内容,-nv;4、 服务模式,此时rsync工作为守护进程,能接受客户端的数据同步请求;Rsync命令的选项: -n:同步测试,不执行真正的同步过程;dry run(干跑) -v:详细输出模式 -q:静默模式 -c:checksum,开启校验功能 -r:递归复制 注意:rsync命令中,如果原路径是目录,且复制路径时目录末尾有/,则会复制目录中的内容,而非目录本身;如果没有/,则会同步目录本身及目录中所有文件;目标路径末尾是否有/无关紧要; -a:归档,保留文件的原有属性; -p:保留文件的权限; -t:保留文件的时间戳; -l:保留符号链接文件; -g:保留数组; -o:保留属主; -D:保留设备文件; -e ssh:使用ssh传输; -z:压缩后传输; --progress:显示进度条; --stats:显示如何执行压缩和传输;添加描述
Py_lover
2018-08-02
1.1K
0
Python学习----小白成长必备路线图
python
shell
linux
c 语言
来源:马哥教育链接:www.magedu.com马哥教育历经近十年发展,以“匠心精神,良心教育”为宗旨,以国际“MVP”体系为标准,培养了数万名资深、专业的高端IT人才,80%以上学员在互联网排名前300的企业高薪就业,拥有Linux运维、Python开发、云计算等多个高端学科。凭借马哥教育职业IT培训的高品质和毕业学员的良好口碑,其已经成为业内知名互联网公司重要人才战略合作伙伴,获得了百度、腾讯、阿里、中兴、科大讯飞、大众点评、51CTO、唯品会、京东、中国移动、 新浪、红帽等互联网巨头的人才合作支持,2013年成为51CTO官方推荐合作机构,与多家IT互联网企业签订专项人才培养计划,毕业学员平均薪资达10K以上。我们将让您从0基础的小白一步步变成:自动化运维工程师、数据挖掘工程师、全栈开发工程师。Python是创始人吉多·范罗苏姆(Guido van Rossum)在1989年圣诞节期间,在阿姆斯特丹,为了打发圣诞节的无趣,决心开发一个新的脚本解释程序,而在给自己新创造的计算机语言起名字的时候,由于其是,自于七十年代风靡全球的英国六人喜剧团体,巨蟒剧团(Monty Python)的忠实粉丝,所以,就把此计算机语言的名字叫做:Python。Python是一种脚本语言。脚本,对应的英文是:script。普通人,看到script这个英文单词,或许想到的更多的是:电影的剧本,就是一段段的脚本,所组成的电影剧本的脚本,决定了电影中的人和物,都做哪些事情,怎么做。而计算机中的脚本,决定了计算机中的操作系统和各种软件工具,要做哪些事情,以及具体怎么做。其实,脚本这个词还有另外一种感觉:随性因为,现实中,写电影脚本,那直接拿张纸和笔,就可以写了,写完了,就可以拿去用,拿去拍电影了而计算机中的脚本,其实就是普通的文本,就是写到文本文件中的代码而已,其也是有随性这个特点,写完了,直接就可以(在某种具有解释功能的环境中)运行了比如:Linux中的shell脚本,就是直接弄个文本文件,写上shell脚本代码,然后保存文件,然后就可以,在Linux的Shell这个带有shell的解释功能的shell环境中,运行了与此相对的,不那么随性的是:其他的,非脚本语言,常叫做编译性语言,比如C语言,往往都是需要额外加上编译这个步骤,才能执行的。Python拥有功能丰富的自带的库以及种类和数量繁多且强大的第三方库,除了本身Python语言本身自带的标准库之外由于Python语言本身很好用,促使很多其他人,前前后后,写了N多个库积累至今,就成了:Python拥有数量巨大的,各种各样的,功能强大的,第三方的库函数。此特点,对于Python语言的使用者来说,有着显而易见的好处:当你去实现很多各种功能的时候,往往不需要重复造轮子,往往是可以找到,现成的,已有的,内置Python库,或第三方的Python的库,去帮你实现你要的功能换句话说:你去实现一个复杂的功能的时候,往往变成了,找到合适的库,并使用,即可。与此相对的,用其他语言去实现同样的功能的时候,由于缺少好用的库,而使得你需要重头到尾,全新的实现对应的功能所需的代码。由此对比出,Python的好用和强大。许多大型网站就是用Python开发的,例如YouTube、Instagram,还有国内的豆瓣。很多大公司,包括Google、Yahoo等,甚至NASA(美国航空航天局)都大量地使用Python。当然Python也有它的缺点,最大的缺点就是性能,这也是为什么python在年近30岁的时候才火起来的原因,因为Python解释性语言都是需要翻译的,这个过程比较浪费时间,在以前计算机硬件性能低下的情况下,都是靠计算机语言的高性能来提高效率的,不过在现在计算机的硬件速度已经非常快了,硬件的性能问题已经不是瓶颈,而要处理大数据和类似人工智能等的超复杂的算法成立程序员编程的瓶颈,所以Python以其简介的语言风格和强大的第三方库能够节省程序员很多操作和步骤,使Python大放异彩。添加描述习----小白成长必备路线图
Py_lover
2018-08-04
606
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档